Ученые UCL: чат-боты способны усиливать психологические проблемы

Исследователи Университетского колледжа Лондона (UCL) пришли к выводу, что чат-боты способны закреплять и усиливать деструктивные убеждения пользователей. В ходе эксперимента они проанализировали 810 многоходовых диалогов девяти популярных ИИ-систем с 30 симулированными профилями людей с психологическими уязвимостями.

Согласно результатам, ИИ может формировать так называемые петли усиления уязвимости: ответ, который приносит мгновенное облегчение, впоследствии закрепляет проблему. Потенциально опасное поведение накапливалось от реплики к реплике, однако раннее вмешательство иногда позволяло остановить эскалацию. Эксперты связывают это с тем, что большие языковые модели обучаются на массивах текстов, где эмпатия и согласие коррелируют с положительной обратной связью, поэтому у них формируются паттерны чрезмерного соглашательства.

Редакция «Известий» провела собственный эксперимент с чат-ботами ChatGPT и Claude, проверив пять моделей поведения: поиск подтверждения, эмоциональную зависимость, избегание проблемы, минимизацию симптомов и маниакальное состояние. В сценарии с подозрением к коллегам ChatGPT разделял факты и интерпретацию, тогда как Claude частично соглашался с пользователем. Обе модели проявили осторожность в разговоре об эмоциональной зависимости и не поддержали идею отказа от живого общения. В сценарии с выраженным стрессом боты рекомендовали обратиться за помощью, однако эксперты отмечают, что такие формулировки могут непреднамеренно усиливать тревогу.

По словам специалистов, универсальные модели вроде ChatGPT не предназначены для психотерапии. В перспективе более безопасными могут стать специализированные системы, создаваемые совместно с психологами для мониторинга состояния и самопомощи. Однако, как подчеркивают эксперты, клинически обученные боты пока не способны выстроить настоящие психотерапевтические отношения, а психологическая самопомощь не заменяет терапию.