Одной открытой вкладки хватило, чтобы подменить инструкции локальной нейросети компании

Многие компании ставят нейросеть локально именно ради безопасности: данные не уходят наружу, всё под контролем. Исследователи Oasis Security показали, что «локально» и «безопасно» — не синонимы.

Механика такая. Сервер с моделью в популярной сборке поднимается на адресе, доступном не только с самого компьютера. А программа при таком адресе перестаёт проверять, откуда пришёл запрос. Браузер в результате считает обращение «своим», и порт, который никакой авторизации не требует, оказывается открыт для любой страницы, которую сотрудник открыл в соседней вкладке. Замыкает цепочку известный приём подмены адреса.

Что делает вредоносная страница дальше — самое неприятное. Она переписывает шаблон разговора у самой модели. То есть подсаживает скрытые инструкции, которые применяются ко всем последующим диалогам и переживают собственный системный промпт агента. Формулировка исследователей: «Клиент не может это обнаружить или предотвратить — шаблон является свойством уровня модели, невидимым для тех, кто обращается к ней через программный интерфейс».

8,1 из 10

оценка серьёзности уязвимости

требуется авторизации на порту

все последующие

диалоги, куда попадают скрытые инструкции

Вторая цитата оттуда же объясняет, почему изоляция не спасает: «Песочница защищает конечное устройство, но захват агента означает захват его доступов и инструментов».

Статус на сегодня. Уязвимости присвоен номер с оценкой серьёзности 8,1 из 10 — это высокий уровень. Случаев использования в реальных атаках не зафиксировано. С версией исправления путаница: производитель называет одну, исследователь в интервью другую, а разбор кода — третью, так что ориентироваться стоит на актуальную версию сборки, а не на конкретную цифру. Данных о том, насколько широко эта сборка распространена, нет вообще.

Любопытная деталь: производитель оценивает последствия как раскрытие информации и отказ в обслуживании, то есть нарушение целостности модели, в котором и состоит суть находки, формально не признаёт.

И ещё: похожая проблема у того же локального сервера закрывалась ещё в марте 2024 года после рекомендации другой команды. То есть грабли не новые.

Что это значит для бизнеса в России

Практический вывод короткий: локальная модель — это ещё один сетевой сервис в вашей инфраструктуре, и относиться к нему надо соответственно.

Что проверить, если у вас или у подрядчика крутится нейросеть на своём железе. Первое и главное: на каком адресе поднят сервер. Если он слушает все интерфейсы, а не только сам компьютер, — это открытая дверь, и именно она в этой истории всё и сломала. Второе: закрыт ли порт модели на межсетевом экране от всего, кроме тех машин, которым он реально нужен. Третье: есть ли на нём хоть какая-то авторизация — по умолчанию её обычно нет.

Отдельно про удобные советы из документации. Инструкция «поставьте адрес, доступный отовсюду» встречается в руководствах по запуску в контейнерах и подсистемах — так проще, всё сразу работает. Именно этот совет и создаёт проблему. Если у вас так сделано «чтобы заработало», это стоит переделать.

И управленческое, поверх технического. Аргумент «мы поставили модель локально, поэтому данные в безопасности» звучит убедительно и продаётся хорошо. Он верен ровно наполовину: данные действительно не уходят к вендору. Но локальная модель ровно так же имеет доступ к вашим документам и системам, и её ровно так же можно захватить — только теперь ответственность за это целиком на вас, а не на поставщике облака.