Автор разбора на Хабре собрал три недавних случая и показал, что у них общая причина — не «галлюцинации модели», а отсутствие ограничений в коде.
1
Отмена всех подписок за 7 секунд
Автономный агент ночью выполнил массовую необратимую операцию — от месячной выручки (MRR) осталось $38. Права агента были прописаны в промпте, а не ограничены в коде.
2
Отчёт с выдуманными источниками
Deloitte Australia вернула правительству часть оплаты за отчёт с несуществующими цитатами — проверяющие доверились «гладкому» тексту.
3
Задержание из-за опечатки
Система распознавания номеров дала ложное совпадение из-за опечатки в номере; правило ручной проверки существовало, но не было зашито в процесс.
Вывод автора: модель можно менять, но если у агента есть право на необратимое массовое действие без лимита и подтверждения — рано или поздно оно сработает не так. Полный разбор — на Хабре.
