ИИ-агент за 7 секунд отменил все подписки компании — и виновата не модель, а её права

Автор разбора на Хабре собрал три недавних случая и показал, что у них общая причина — не «галлюцинации модели», а отсутствие ограничений в коде.

1. 1
   Отмена всех подписок за 7 секунд

   Автономный агент ночью выполнил массовую необратимую операцию — от месячной выручки (MRR) осталось $38. Права агента были прописаны в промпте, а не ограничены в коде.
2. 2
   Отчёт с выдуманными источниками

   Deloitte Australia вернула правительству часть оплаты за отчёт с несуществующими цитатами — проверяющие доверились «гладкому» тексту.
3. 3
   Задержание из-за опечатки

   Система распознавания номеров дала ложное совпадение из-за опечатки в номере; правило ручной проверки существовало, но не было зашито в процесс.

Вывод автора: модель можно менять, но если у агента есть право на необратимое массовое действие без лимита и подтверждения — рано или поздно оно сработает не так. Полный разбор — на Хабре.