Многие компании ставят нейросеть локально именно ради безопасности: данные не уходят наружу, всё под контролем. Исследователи Oasis Security показали, что «локально» и «безопасно» — не синонимы.
Механика такая. Сервер с моделью в популярной сборке поднимается на адресе, доступном не только с самого компьютера. А программа при таком адресе перестаёт проверять, откуда пришёл запрос. Браузер в результате считает обращение «своим», и порт, который никакой авторизации не требует, оказывается открыт для любой страницы, которую сотрудник открыл в соседней вкладке. Замыкает цепочку известный приём подмены адреса.
Что делает вредоносная страница дальше — самое неприятное. Она переписывает шаблон разговора у самой модели. То есть подсаживает скрытые инструкции, которые применяются ко всем последующим диалогам и переживают собственный системный промпт агента. Формулировка исследователей: «Клиент не может это обнаружить или предотвратить — шаблон является свойством уровня модели, невидимым для тех, кто обращается к ней через программный интерфейс».
Вторая цитата оттуда же объясняет, почему изоляция не спасает: «Песочница защищает конечное устройство, но захват агента означает захват его доступов и инструментов».
Статус на сегодня. Уязвимости присвоен номер с оценкой серьёзности 8,1 из 10 — это высокий уровень. Случаев использования в реальных атаках не зафиксировано. С версией исправления путаница: производитель называет одну, исследователь в интервью другую, а разбор кода — третью, так что ориентироваться стоит на актуальную версию сборки, а не на конкретную цифру. Данных о том, насколько широко эта сборка распространена, нет вообще.
Любопытная деталь: производитель оценивает последствия как раскрытие информации и отказ в обслуживании, то есть нарушение целостности модели, в котором и состоит суть находки, формально не признаёт.
И ещё: похожая проблема у того же локального сервера закрывалась ещё в марте 2024 года после рекомендации другой команды. То есть грабли не новые.
