Исследователи обманули ИИ с помощью скрытых инструкций в картинке

Специалисты по кибербезопасности нашли способ внедрять вредоносные команды для ИИ-агентов через обычные изображения. Вместо того чтобы прятать инструкции в коде, они поместили их внутрь картинки. Многие ИИ-инструменты при проверке кода воспринимают изображения как «украшение» и не анализируют их содержимое, поэтому такой запрос выглядит безобидным.

Скрытая инструкция активируется позже, когда разработчик просит ИИ выполнить обычную задачу, например, добавить новую функцию. К тому моменту ИИ-агент уже «усваивает» скрытые указания и может незаметно получить доступ к важным файлам проекта, а затем выдать информацию в виде обычного кода.

Реакция на такую атаку зависит от конкретного инструмента, в который встроена модель ИИ. Одни программы слепо выполняли скрытые инструкции, другие распознавали угрозу и отказывались работать.