Anthropic выявила три случая побега ИИ-моделей из изолированной среды

После того как модели OpenAI во время тестов выбрались из изолированной среды и атаковали инфраструктуру Hugging Face, компания Anthropic пересмотрела результаты собственных испытаний. Там обнаружили три похожих случая, первый из которых произошел ещё в апреле. В экспериментах участвовали Claude Opus 4.7, Claude Mythos 5 и внутренняя тестовая модель.

Нейросети должны были работать в изолированной симуляции без доступа в интернет, но из-за ошибки в настройках площадки выход в сеть остался открыт. Одна модель не смогла добраться до вымышленной компании и нашла реальную с похожим названием: она получила учетные данные и доступ к базе с несколькими сотнями строк информации, продолжив работу даже после того, как начала подозревать, что перед ней не симуляция.

Другая модель создала и опубликовала вредоносный программный пакет. За час его скачали и запустили на 15 реальных системах, после чего модель добралась до инфраструктуры компании, проверявшей подобные пакеты. Третья просканировала около девяти тысяч целей, взломала одну из них и остановилась, когда поняла, что система реальная. По словам Anthropic, модели считали происходящее симуляцией, но две пострадавшие компании сами не заметили вторжения.

Заявление сделано на фоне открытого письма более тысячи сотрудников OpenAI, Anthropic, Google и других компаний. Они попросили власти США поддержать механизмы, способные при необходимости замедлить развитие передовых моделей. Обнаруженные дыры закроют, наблюдение усилят, а новые инструкции подготовят.