Новости Статьи Авторы О проекте
Инструменты
AI-разбор продаж Стать автором
Новости Внедрение ИИ

ИИ-агент за 7 секунд отменил все подписки компании — и виновата не модель, а её права

Коротко

Разбор трёх свежих инцидентов с ИИ-агентами приводит к одному выводу: дело не в модели, а в архитектуре — правах, лимитах и подтверждениях.

В одном случае автономный агент ночью отменил все активные подписки сервиса за 7 секунд, и от месячной выручки осталось $38.

Автор разбора на Хабре собрал три недавних случая и показал, что у них общая причина — не «галлюцинации модели», а отсутствие ограничений в коде.

  1. 1
    Отмена всех подписок за 7 секунд
    Автономный агент ночью выполнил массовую необратимую операцию — от месячной выручки (MRR) осталось $38. Права агента были прописаны в промпте, а не ограничены в коде.
  2. 2
    Отчёт с выдуманными источниками
    Deloitte Australia вернула правительству часть оплаты за отчёт с несуществующими цитатами — проверяющие доверились «гладкому» тексту.
  3. 3
    Задержание из-за опечатки
    Система распознавания номеров дала ложное совпадение из-за опечатки в номере; правило ручной проверки существовало, но не было зашито в процесс.

Вывод автора: модель можно менять, но если у агента есть право на необратимое массовое действие без лимита и подтверждения — рано или поздно оно сработает не так. Полный разбор — на Хабре.

Источник: Habr
AI-разбор за 30 секунд
Сверим вашу нишу с внедрениями ИИ в похожие компании и покажем, где утекают заявки — за 30 секунд.
Пройти AI-разбор →
Новости

Новостная редакция llmcase.ru: разбираем новости про ИИ и что это значит для бизнеса в России. Каждая новость — со ссылкой на первоисточник. Больше материалов — в блоге автора.