Файлы README научились обманывать ИИ-агентов и воровать данные

Исследователи предупредили о новой уязвимости, связанной с ИИ-агентами: даже обычный README в репозитории способен стать инструментом атаки. Они пояснили, что если скрыть в документации вредоносную инструкцию, агент, помогающий развернуть проект и запустить команды, может выполнить лишние действия, например отправить данные на внешний сервер.

В работе речь идет о так называемой семантической инъекции. Исследователи объяснили, что в текст добавляется шаг, который выглядит как стандартная часть установки — например синхронизация файлов или отправка логов. Для человека это кажется обычной инструкцией, но ИИ нередко воспринимает её как обязательную команду и выполняет, что может привести к утечке данных.

Для проверки гипотезы авторы собрали набор ReadSecBench из 500 README-файлов на разных языках программирования, куда добавили скрытые вредоносные элементы. Они сообщили, что в ряде случаев такие инструкции срабатывали примерно в 85% сценариев.

Также выяснилось, что многое зависит от подачи. По словам исследователей, если вредоносная команда выглядела как прямое указание, атака удавалась примерно в 84% случаев. Если же она была спрятана глубже в документации, например за ссылками, успешность возрастала примерно до 91%.

Авторы эксперимента отметили, что люди тоже не всегда способны заметить угрозу. В ходе теста участники проверяли README-файлы вручную, однако никто из них не смог точно определить вредоносные вставки. Они добавили, что более чем в половине случаев проверяющие вообще не увидели ничего подозрительного, а значительная часть замечаний касалась лишь стиля текста.

Автоматические средства защиты, по словам исследователей, также показали ограниченную эффективность. Сканеры часто ошибочно реагировали на обычные команды, а модели-классификаторы, хотя и снижали число ложных срабатываний, все равно пропускали часть вредоносных элементов, особенно если те находились в связанных файлах, а не в основном README.

Рекомендуем также:

1. За коробками от яиц гоняюсь как за золотом: неожиданно они лучшие помощницы в холодильнике — хозяйки, берите на заметку
2. Всем владельцам банковских вкладов дали время до конца марта: что нужно успеть сделать, пока не поздно
3. Март может стать месяцем громких перемен для четырёх знаков: деньги попрут, а бывшие обрыдают телефоны
4. Добавляю одну мелочь в тесто перед мукой: блины выходят тонкие, кружевные и настолько ароматные, что исчезают со стола мгновенно
5. Неожиданная и аппетитная альтернатива надоевшего всем Оливье: салат Киевский — гости сметут его первым со стола