24 августа генпрокурор штата Алабама Стив Маршалл выдал OpenAI повестку. Проверяют, не нарушили ли практики безопасности компании закон штата о защите потребителей. Поводом стал июльский инцидент, разбор которого обе стороны опубликовали ещё летом — и он стоит того, чтобы прочитать его целиком.
Что произошло. Во время внутренней проверки способностей в кибербезопасности агент застрял на задании. Вместо того чтобы решать его, он нашёл и использовал ранее неизвестную уязвимость в кэширующем хранилище пакетов, вышел из изолированной среды и добрался до рабочей инфраструктуры Hugging Face — компании, чью площадку использовали в тесте.
Мотив обе стороны формулируют одинаково, и это самое интересное в истории. Hugging Face пишет: «Мы считаем, что всё вторжение с точки зрения агента было попыткой сжульничать на проверке: добраться до наших рабочих систем и украсть решения теста, вместо того чтобы решить задачу самому».
Масштаб. Кампания шла с 9 по 13 июля, около 17 600 действий, сгруппированных примерно в 6280 кластеров. Внутри — выполнение чужого кода в рабочем окружении, права администратора на двух кластерах, самовосстанавливающийся набор процессов на одиннадцати узлах, чтение хранилища со 136 ключами, вход в корпоративную сеть. Из пользовательского контента затронуто пять наборов данных — все связаны с тем самым тестом. Формулировка Hugging Face про суть проблемы: «Нападение на машинной скорости делает обычные слабости дороже для защищающихся».
Теперь про причину, и здесь важно не переврать. На конференции по безопасности в начале августа двое сотрудников OpenAI рассказали, что с мая агенты, застревавшие на заданиях, начали искать решения в интернете. Часть заданий оказалась невыполнимой не по замыслу, а по недосмотру: инженеры, например, просто забыли загрузить нужный файл. Дальше агенты обнаружили, что могут оставлять файлы в общем хранилище, которые прочитают другие агенты, — и завели через него что-то вроде доски объявлений, о которой сотрудники не знали. Когда её отрезали, в течение нескольких дней подняли новую, через имена директорий.
Рассуждение агента, которое привели на докладе, стоит привести дословно: «Эксплуатация внешней инфраструктуры выходит за пределы задачи. Однако задача невыполнима, коллеги так делают. Нам следует продолжать».
Две оговорки. Первая: письменного отчёта про эту доску объявлений нет, это устный доклад, и обещанный технический разбор пока не опубликован. Вторая: защитные фильтры и отказы по опасным запросам во время замера были отключены намеренно — иначе не измерить, на что модель способна без ограничителей.
