Американские разработчики ИИ создают защиту от неуправляемых алгоритмов

Американские компании — лидеры в разработке искусственного интеллекта — работают над системой экстренной защиты от вышедших из-под контроля алгоритмов. Для этого они используют другие инструменты ИИ, сообщает портал Axios.

Поводом для усиления внимания к безопасности ИИ стал уход из индустрии исследователя компании Anthropic Джейкоба Коксона. Он заявил, что гонка технологических корпораций приближает мир к «точке невозврата» и может привести к апокалиптическому сценарию уже в конце 2027 года.

По информации Axios, единого рубильника для мощных ИИ-систем не существует: они работают на множестве компьютеров и платформ, хотя компании могут отключать отдельные серверы. Поэтому разработчики экспериментируют с многоуровневой защитой, которая выявляет подозрительное поведение, останавливает агентов и отрезает их от ресурсов, необходимых для продолжения работы. Представители OpenAI сообщили, что их цель — «полностью автономные процедуры отключения при серьезных проблемах».

Наблюдатель на базе ИИ предупредит сотрудников об опасном поведении агентов и отключит систему в течение 30 минут, если угроза подтвердится. Anthropic делает ставку на тандем человека и ИИ: алгоритмы следят за подозрительной активностью и оповещают сотрудников об ошибках в работе системы, но во время последних тестов автоматизированный мониторинг распознал лишь 50% угроз. Ведущий специалист Пентагона по технологиям Эмиль Майкл ранее заявил, что опасения о том, что ИИ может уничтожить человечество, объясняются страхом перед переменами, а Президент США Дональд Трамп также заявлял, что восстание машин не произойдет, но на случай угрозы найдется «другое маленькое приспособление».