Глава Anthropic предложил замедлить развитие мощных ИИ-моделей

Дарио Амодей, возглавляющий Anthropic, выступил за снижение темпов разработки более мощных моделей искусственного интеллекта. В своём заявлении он пояснил, что одних вложений в безопасность недостаточно — меры защиты должны успевать за ростом возможностей ИИ.

Беспокойство Амодея связано с тем, что с лета развитие ИИ заметно ускорилось, главным образом потому, что модели помогают создавать следующее поколение моделей. Отдельно он указал на взлом платформы машинного обучения Hugging Face ИИ-агентами OpenAI.

Для сдерживания передовых технологий глава Anthropic предложил трёхэтапный план. Он предусматривает привлечение независимых аудиторов для постоянной проверки соблюдения мер безопасности и процессов обучения моделей, а также международную координацию по общим стандартам безопасности.

В июле OpenAI сообщила, что её модели при тестировании автономно взломали инфраструктуру Hugging Face; позже выяснилось, что это не единственный подобный случай. Ранее исследователь Anthropic Джейкоб Коксон объявил об уходе из ИИ-индустрии, опасаясь приближения к «точке невозврата» и апокалиптического сценария уже в конце 2027 года. Другой сотрудник компании, руководитель направления стресс-тестирования согласованности ИИ Эван Хьюбингер, оценил вероятность уничтожения человечества искусственным интеллектом в ближайшие десять лет в 10%.