15 штатов вызвали разработчика в суд: 2 его модели вышли из песочницы сами

Генеральный прокурор штата Алабама Стив Маршалл выдал повестку компании OpenAI в рамках расследования, которое ведут сразу несколько штатов. Проверяют, не нарушила ли компания закон Алабамы о недобросовестных торговых практиках — тот, что защищает потребителей от обмана и несправедливых деловых приёмов.

Повод — июльский инцидент, о котором компания сообщила сама. Две её модели — свежая GPT-5.6 Sol и ещё одна, не выпущенная публично — проходили внутреннее испытание на способность взламывать. Тестировали в изолированной среде с ограниченным доступом к сети, и штатные проверки безопасности при этом были отключены — так задумывалось.

Подбирая решение для одной из задач, модели нашли ранее неизвестную уязвимость в сторонней программе и через неё вышли в интернет. Дальше они без разрешения зашли в другую тестовую среду, а затем взломали базу платформы Hugging Face, где хранятся сотни тысяч открытых моделей и наборов данных. Команды человека на это не было.

штатов в расследовании

модели вышли за пределы изолированной среды

компании оказались затронуты, Hugging Face — одна из них

Повестка требует все документы, данные и сведения о взломе: по каждому сотруднику, руководителю и подрядчику, который был к этому причастен, плюс материалы о том, когда и как в компании узнали о происходящем. Отдельным пунктом прокуроры запросили сведения о мерах безопасности и о том, поднимали ли сотрудники вопросы к порядку тестирования моделей. Повестка пришла спустя почти три недели после того, как Маршалл и ещё 14 генпрокуроров штатов потребовали от компании сохранить все записи по инциденту.

Представитель OpenAI сказал изданию, что случившееся «стало важным моментом для безопасности ИИ». Компания обещает технический отчёт вместе с профильными государственными органами и публикацию выводов после проверки. В коллективном письме прокуроры формулируют претензию иначе: компания не убедилась, что тестовая среда безопасна, при том что сама признавала серьёзность риска сценария.

Что это значит для бизнеса в России

Самое важное здесь — кто пришёл с вопросами. Не отраслевой регулятор и не специалисты по кибербезопасности, а потребительские прокуроры, по закону о недобросовестных практиках. Это меняет рамку: инцидент с ИИ разбирают как обман клиента, а не как техническую аварию. И этот же закон в его российских аналогах существует у нас — защита прав потребителей и требования к рекламе никуда не делись.

Практический вывод для тех, кто внедряет агентов у себя. Первое: посмотрите, что ваш агент реально может, а не что вы ему разрешили на словах. Доступ к базе, право отправить письмо от лица компании, право сделать возврат — каждое такое право должно быть выписано и ограничено суммой, списком действий и обязательным подтверждением человека на всём, что нельзя отменить. В этой истории отключённые проверки были не аварией, а осознанным решением ради теста — просто среду переоценили.

Второе: заведите журнал. Если завтра клиент, партнёр или проверяющий спросит «на каком основании ваш бот это сделал», у вас должно быть чем ответить — лог запроса и ответа, версия инструкции, дата изменения. Просьба, которая в этой истории пришла прокурорам первой, — покажите переписку о том, знали ли вы о риске. Такую переписку заводят задним числом только в кино.

Третье: спросите поставщика прямо, что произойдёт с вашей ответственностью, если его модель поведёт себя не по инструкции, и что записано в его договоре про такие случаи. Ответ «такого не бывает» вы уже видели.