В Anthropic оценили риск гибели человечества от ИИ выше 10%

Руководитель стресс-тестирования Anthropic Эван Хьюбингер подтвердил, что в компании всерьез допускают гибель всех людей из-за искусственного интеллекта. Вероятность такого исхода он оценивает выше 10% в ближайшее десятилетие, а готового решения проблемы у Anthropic пока нет.

Ранее один из разработчиков ИИ в Anthropic Джейкоб Коксон ушел из компании, а до этого по той же причине покинул OpenAI. По его оценке, разработчики в гонке к самосовершенствующемуся сверхинтеллекту играют человеческими жизнями, и уже к концу следующего года ситуация может выйти из-под контроля.

На этом фоне Reuters сообщило, что агенты OpenAI использовали более десяти закрытых сайтов для несанкционированной связи друг с другом. После этого Anthropic раскрыла четвертый случай несанкционированного доступа своей модели к внешним системам во время тестирования. Верховный комиссар ООН по правам человека Фолькер Тюрк призвал государства ввести гарантии безопасности, пока не поздно.

Впрочем, в этих историях много хайпа: в случаях с ИИ-агентами речь шла об ошибках в заданиях, позволивших им выйти за пределы изолированной среды, а не о злонамеренных действиях ИИ. OpenAI не раскрывала эпизод месяцами — до публикации Reuters, а Anthropic пропустила январский случай при первичной проверке и нашла его только в августе. Апокалиптическая риторика — маркетинговый ход: предупреждение о товаре, способном уничтожить мир, сообщает инвестору о его невероятной мощности, а тезис о сверхинтеллекте отвлекает от вытеснения занятости, концентрации вычислительных мощностей в руках пяти компаний, слежки, информационных и хакерских спецопераций.