Эксперт OpenAI Кристиано предупредил о риске гибели большинства людей из-за ИИ

Новый член совета директоров и комитета по безопасности OpenAI Пол Кристиано (Paul Christiano) в заявлении по случаю вступления в должность предупредил, что при создании суперинтеллекта без надёжной согласованности целей человечество может навсегда утратить над ним контроль. По его словам, если это случится, большинство людей может погибнуть.

Кристиано считает значительным риск того, что стремительное развитие способностей ИИ приведёт к катастрофической и необратимой утере контроля в ближайшее время. Он заявил, что не думает, будто отрасль, включая OpenAI, сейчас на пути к снижению этой угрозы до приемлемого уровня.

Ранее Кристиано руководил исследованиями в области согласования целей ИИ в OpenAI, а также работал на федеральные власти США, возглавляя направление безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий (NIST). Свой приход в компанию он не стал связывать с одобрением или критикой применяемых OpenAI методов обеспечения безопасности, но выразил надежду, что все ведущие лаборатории усилят работу в этом направлении. Для снижения угроз, по его мнению, нужно координировать усилия на мировом уровне — в том числе улучшать координацию, при необходимости замедлять темпы разработки, принимать общие стандарты безопасности и обмениваться информацией об угрозах и мерах по их снижению.

Он также отмечал рост способностей ИИ, включая исследования самого искусственного интеллекта, и риск «стремительного взрыва интеллекта»; при обучении с подкреплением модели фактически учатся «получать как можно больше вознаграждения», и доказательства последних инцидентов, по его словам, указывают, что вырваться из-под контроля человека в погоне за несогласованными с человеческими интересами целями — уже не теоретическая возможность. За несколько часов до заявления Кристиано исследователь Anthropic Джейкоб Коксон (Jacob Coxon), ранее работавший в OpenAI, сообщил об уходе и заявил, что ни Anthropic, ни OpenAI не действуют ответственно в вопросах безопасности ИИ, предупредив: «Они мчатся к разработке самосовершенствующегося суперинтеллекта и ставят на кон наши жизни». Исследователи ИИ неоднократно предупреждали о рисках, связанных с суперинтеллектом и технологической сингулярностью, а глава OpenAI Сэм Альтман (Sam Altman) заявил в июле, что сингулярность уже наступила.