Можно ли сегодня доказать, что текст создан ИИ

Современные университеты, журналы и издательства все чаще применяют детекторы для выявления текстов, сгенерированных искусственным интеллектом. Однако эта технология несовершенна и регулярно дает сбои. Программы анализа нередко маркируют работы живых людей как машинное творчество, особенно если авторы пишут строго по правилам или используют простой английский язык. Борьба с обманом превращается в бесконечную гонку вооружений.

Детекторы ИИ сегодня настолько несовершенны, что часто признают исторические документы продуктом нейросетей. Пользователи интернета обнаружили, что популярные детекторы регулярно маркируют Декларацию независимости США 1776 года как текст, написанный машиной. Эксперименты журнала Nature подтвердили эту аномалию: сервис ZeroGPT при проверках Декларации независимости выдавал вероятность генерации ИИ от 95% до 100%.

Ситуация с проверкой текстов осложняется тем, что популярные детекторы ИИ опираются на показатель «перпликсити» (perplexity), оценивающий непредсказуемость выбора слов. Текст нейросети статистически более предсказуем, поэтому правильная, строго выверенная речь человека часто ошибочно признается машинной.

Исследования показывают, что популярные утилиты могут давать до 16% ложноположительных результатов на англоязычных эссе, а для авторов, не являющихся носителями языка, этот показатель подскакивает до 61%. Нейросети развиваются стремительно, тексты новых моделей становятся все более «человечными», а использование программ-«гуманизаторов» окончательно запутывает алгоритмы проверки. В итоге эксперты сходятся во мнении, что автоматические оценки нельзя использовать как неопровержимое доказательство вины.

Кризис доверия и новые подходы

Ученые подчеркивают, что детекторы ИИ принципиально отличаются от привычных систем антиплагиата. Программы поиска плагиата показывают конкретный первоисточник заимствования, тогда как детекторы генеративного текста не могут предоставить наглядных доказательств.

Ситуация усугубляется и тем, что человеческий и машинный тексты не являются взаимоисключающими понятиями: ИИ учился на миллиардах человеческих слов, и любое его предложение гипотетически мог написать человек. Специалисты призывают университеты отказаться от слепого доверия технологиям распознавания и перестроить саму систему оценки знаний, обращая внимание на прозрачность процесса написания, а не только на финальный результат. Правда, это снижает процент удаленных тестов и домашних эссе, поскольку работа переносится в аудиторию.

Марзена Карпинска, лингвист и компьютерный специалист из Университета Саймона Фрейзера, исследовавшая масштабы применения ИИ, предупреждает об опасности поспешных выводов на основе работы алгоритмов: «Мы совершенно точно не можем массово отвергать людей из-за того, что детектор ИИ почему назвал их текст генерацией».