Ученые МГППУ создали алгоритмы для проверки ИИ-систем на «галлюцинации»
Специалисты Московского государственного психолого-педагогического университета разработали новые алгоритмы и программное обеспечение, которые помогают выявлять «галлюцинации» в ответах больших языковых моделей — то есть убедительные, но ложные утверждения. Об этом сообщили в пресс-службе МГППУ.
В университете пояснили, что созданные алгоритмы позволяют проверять корректность содержания ответов интеллектуальных ассистентов и автоматически формировать запросы по заданной аннотации, фактически облегчая работу промпт-инженеров.
Предложенный подход основан на использовании двух алгоритмов: один подбирает оптимальный запрос, другой оценивает правдоподобность утверждений. Запросы и ответы рассматриваются как элементы особых метрических пространств, где расстояние между текстами определяется их семантическим сходством. Такая формализация позволяет измерять «смысловую близость» высказываний и применять статистические методы для анализа их достоверности.
Разработчики считают, что их результаты будут полезны программистам и математикам, работающим с большими языковыми моделями, особенно в задачах контроля качества и надёжности генерации текста.
Рекомендуем также:
Есть жалобы? Канал для добрых казанцев, которых вывели из себя. Делитеcь тем, что вас разозлило: Злой Казанец
