Ученые нашли метод борьбы с галлюцинациями ИИ

Международная команда исследователей под руководством ученых из Хайфского Техниона (Израиль) разработала экономичный способ отслеживания сбоев в работе нейросетей. Новый метод не требует полного понимания сложных внутренних механизмов ИИ.

Главная трудность контроля искусственного интеллекта — эффект «черного ящика». Современные нейросети состоят из миллиардов параметров, и логика их выводов остается непрозрачной. Из-за этого «галлюцинации» — уверенная генерация ложной информации — долгое время были непредсказуемы.

Ученые предложили создавать внешнего «инспектора» — легкую и дешевую нейросеть, которая обучается на внутренних сигналах большой модели. Когда ИИ галлюцинирует, геометрия его внутренних активаций отличается от нормальной. Маленькая нейросеть быстро учится видеть эту разницу, предоставляя пользователям инструмент контроля.

Работы группы доктора Хаггая Марона, ведущейся совместно с NVIDIA, получили признание на престижных конференциях. Последние результаты будут представлены на AAAI-2026 в Сингапуре.

Новый подход открывает перспективы для создания систем предупреждения и стандартов безопасности в медицине, образовании, науке и госрегулировании. «Этот опыт открывает двери для интеграции ИИ в ответственные структуры», — отметил доктор Марон.