ИИ выдумывает ответы на вопросы пользователей

Специалисты Центра цифровой журналистики Tow при Columbia Journalism Review изучили, насколько точно искусственный интеллект определяет источники новостей. Оказалось, что в более чем 60% случаев ИИ-сервисы ошибаются при поиске заголовков, изданий и дат публикаций по фрагменту текста.

Исследование приобрело особую актуальность, так как каждый четвертый американец уже предпочитает искать информацию не через Google или Bing, а с помощью ИИ-поисковиков.

Кто ошибается чаще всего?

Эксперты протестировали восемь сервисов и выяснили, что самые большие проблемы с точностью у:

• Grok 3 – 94% ошибок
• ChatGPT Search – 67% ошибок (134 из 200 запросов)
• Perplexity – 37% ошибок (лучший результат, но все еще далек от идеала)

Методика проверки была простой: аналитики копировали фрагменты реальных новостных статей и просили ИИ найти первоисточник – заголовок, издателя, дату выхода и ссылку на материал. В ходе эксперимента провели 1600 тестов.

Главная проблема – выдуманные ответы

Вместо того чтобы признать, что не знают ответа, ИИ-сервисы создавали правдоподобные, но полностью ложные данные. Они придумывали несуществующие ссылки, подделывали даты публикаций и даже называли фейковые издания. Это явление называется конфабуляцией, и оно наблюдалось у всех протестированных моделей.

Парадокс: платные версии работают хуже бесплатных

Платные подписки на Perplexity Pro ($20 в месяц) и Grok 3 ($40 в месяц) снизили точность результатов. В отличие от бесплатных версий, которые признают, что не могут найти ответ, премиальные сервисы стараются ответить на любой вопрос – даже если для этого приходится придумывать факты.

Игнорирование правил интернета

ИИ-поисковики нарушают стандарт robots.txt, который запрещает индексировать некоторые страницы. Например, бесплатная версия Perplexity нашла и обработала десять защищенных статей National Geographic, несмотря на запрет.

Кроме того, вместо ссылок на оригинальные материалы ИИ-боты часто отправляют пользователей на агрегаторы вроде Yahoo News, лишая издателей трафика и доходов от рекламы.

Более 50% ссылок от Google Gemini и Grok 3 ведут на несуществующие страницы. У Grok 3 ситуация особенно плохая: из 200 проверенных адресов 154 оказались «мертвыми».

Выводы: издатели в тупике

• Запретить ИИ индексировать контент – значит, он все равно найдет материал на сторонних ресурсах и не укажет источник.
• Разрешить индексирование – не дает гарантий, что пользователи перейдут на сайт оригинального издания.

Операционный директор Time Марк Говард высказался на этот счет:

«Хуже, чем сейчас, эти технологии уже не будут работать».

Как отреагировали OpenAI и Microsoft?

• OpenAI пообещала исправиться: компания будет указывать источники, добавлять ссылки и цитировать оригинальные материалы.
• Microsoft заявила, что соблюдает стандарт robots.txt и учитывает интересы правообладателей.

Но пока пользователям остается лишь фильтровать полученную информацию и не доверять ИИ-поисковикам на 100%.