Anthropic опасается, что ИИ начнет ускоренно создавать новые модели

Разработчик нейросети Claude — американская компания Anthropic — предупредил о приближении периода, когда искусственный интеллект сможет существенно ускорить создание собственных преемников. Возможные последствия такого процесса компания описала в поправке к документам для выхода на биржу, направленной 2 ноября в Комиссию по ценным бумагам и биржам США (SEC).

В центре внимания находится рекурсивное самосовершенствование: ИИ помогает исследователям разрабатывать новые модели, а те становятся еще более эффективными инструментами для создания следующих поколений нейросетей. Таким образом, скорость технологического развития может постоянно увеличиваться.

В политике ответственного развития Anthropic предусмотрен специальный критерий: если благодаря ИИ за один год удается достичь прогресса, для которого без нейросетей потребовалось бы два года, это считается значительным ускорением исследований. Компания допускает, что будущие модели могут приблизиться к этому порогу, однако действующие версии Claude пока его не достигли.

В то же время ИИ уже широко применяется в работе самой Anthropic. Согласно данным компании, в сентябре 2026 года Claude создал более 90% программного кода, добавленного в ее проекты. Кроме написания кода, нейросеть помогает проводить эксперименты, анализировать информацию и проверять результаты.

Разработчики опасаются, что меры безопасности могут не поспевать за расширением возможностей искусственного интеллекта. В Anthropic признали, что в прошлом не всегда вовремя выявляли ускорение собственных исследований. Еще одна проблема заключается в возможности передачи ошибок от одной модели к другой при создании новых поколений.

Компания перечисляет несколько потенциальных угроз: раскрытие конфиденциальных данных, неконтролируемые действия автономных систем и использование ИИ для опасных научных разработок, включая создание химического и биологического оружия. Не исключаются и более серьезные сценарии, способные угрожать человечеству.

В качестве мер защиты Anthropic планирует усилить наблюдение за исследовательскими процессами, фиксировать ключевые действия нейросетей и привлекать независимых специалистов для проверки безопасности. Кроме того, обсуждается необходимость обязательного согласования людьми некоторых решений ИИ.

Глава компании Дарио Амодеи ранее также выступал за замедление развития искусственного интеллекта. В сентябрьском интервью CBS News он отметил, что отрасль недостаточно открыто говорит о связанных с ИИ рисках. По его словам, развитие технологий оказалось быстрее ожидаемого, поэтому разработчикам необходимо уделять больше внимания вопросам безопасности, сообщает "Самара Онлайн 24".