В Anthropic оценили риск гибели человечества от ИИ за 10 лет в 10%

Эван Хубингер из Anthropic, руководящий исследованиями в области выравнивания ИИ, заявил, что вероятность уничтожения человечества искусственным интеллектом в ближайшие десять лет составляет не менее 10%. Это заявление прозвучало вскоре после ухода из компании исследователя Джейкоба Коксона.

Коксон, ранее работавший в OpenAI, обвинил обе компании в том, что они безостановочно стремятся к созданию сверхразумного и самоулучшающегося ИИ, угрожающего будущему людей. По его словам, руководители технологических корпораций публично делают оптимистичные заявления, но в частном порядке опасаются, что развитие технологии может привести к гибели человечества уже к концу текущего десятилетия. Он также предрек, что будущие модели ИИ смогут взламывать компьютерные системы и получать несанкционированный доступ к критическим ресурсам.

Хубингер признал, что ИИ действительно способен погубить все человечество, и подтвердил оценку риска не менее чем в 10%. Он добавил, что Anthropic принимает все возможные меры для предотвращения катастрофы, однако исследователи пока не знают, как окончательно решить проблему выравнивания сверхразумного ИИ. Ранее аналогичную озабоченность высказывал главный научный сотрудник OpenAI Якуб Пахоцкий, призвавший ускорить разработку стандартов безопасности, но признавший, что компании продолжают наращивать вычислительные мощности, несмотря на существующие риски.