Сколтех разработал метод, позволяющий ИИ признавать свои ошибки

Исследователи из Центра искусственного интеллекта Сколтеха, совместно с коллегами из Института проблем передачи информации РАН, разработали метод, который позволяет нейросетям более точно оценивать свою "уверенность" в прогнозах. Этот метод использует специальные тренировочные данные (Confidence-Aware Training Data) и направлен на повышение надежности нейросетевых моделей, особенно в критичных областях, таких как медицина и промышленность.

Современные нейросетевые модели могут показывать высокую точность, однако часто они проявляют избыточную уверенность, даже когда данные являются неясными или содержат шум. Это может быть опасным в таких сферах, как медицинская диагностика, безопасность на производстве или автономные системы. Новый подход помогает моделям более точно определять моменты, когда их прогноз требует дополнительной проверки человеком.

Метод был протестирован на реальных данных, включая задачи медицинской диагностики, такие как типирование крови. Результаты показали значительный рост точности в оценке неопределенности при классификации и сегментации данных.

Основное отличие новой методики от классических подходов заключается в том, что вместо стандартных бинарных меток (0 или 1) используются «мягкие» метки — значения от 0 до 1, отражающие степень уверенности экспертов в правильности данных. Это позволяет нейросети принимать более осторожные решения и более эффективно реагировать на неопределенные ситуации.

Кроме того, метод учитывает два типа неопределенности: эпистемическую (связанную с недостаточностью данных) и алеаторную (возникающую из-за шума в данных).

Этот подход имеет потенциал для применения в ответственных областях, таких как медицинские диагностические системы, промышленная автоматизация и автономные системы, где надежность искусственного интеллекта имеет критическое значение.

Результаты были представлены на престижной Международной конференции по использованию компьютерного зрения (WACV-2025) и опубликованы в сборнике конференции.

«Мы научили нейросеть не только принимать решения, но и выделять ситуации, в которых риск ошибки особенно высок. Это важное улучшение, которое поможет в принятии решений в таких областях, как медицина, где ошибки могут стоить очень дорого», — отметил Алексей Зайцев, доцент Сколтеха и заведующий Лабораторией прикладных исследований.

Источник: КазаньОнлайн24