Сбер и ВШЭ создали нейросеть для распознавания эмоций и амбивалентности

Ученые Центра практического искусственного интеллекта Сбера совместно с коллегами из НИУ ВШЭ и Санкт-Петербургского Федерального исследовательского центра РАН разработали нейросеть, которая одновременно распознает эмоции, оценивает видимые черты личности и выявляет амбивалентность — неуверенность или противоречивость поведения. Модель анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов.

Результаты работы опубликованы в журнале IEEE Access. По словам научного директора Центра практического искусственного интеллекта Сбера Андрея Савченко, использование данных о личности и амбивалентности заметно улучшило распознавание эмоций на незнакомых данных. Вместе с тем он отметил, что до универсального эмоционального ИИ еще далеко: многозадачное обучение не всегда превосходит специализированные модели, а для других психологических характеристик не хватает данных.

Нейросеть обучали на суперкомпьютере НИУ ВШЭ «Харизма», применяя для трех задач разные корпуса данных со своей разметкой. Исследователи сравнили три режима обучения: только с размеченными данными, с привлечением дополнительных корпусов и с обучением на нескольких задачах одновременно. Дополнительные данные улучшили распознавание эмоций примерно на 6%, оценку воспринимаемых черт личности — на 3,2%, а многозадачность позволила повысить качество распознавания эмоций на незнакомом корпусе на 13,7%.

В работе также участвовали доцент Школы информатики, физики и технологий НИУ ВШЭ — Санкт-Петербург Дмитрий Рюмин и старший научный сотрудник Лаборатории речевых и мультимодальных интерфейсов СПб ФИЦ РАН, руководитель проекта в отделе прикладных технических решений НИУ ВШЭ Елена Рюмина. Они пояснили, что новый подход позволяет анализировать разные проявления человека во взаимосвязи, а качество работы с новыми данными повысилось. До конца 2026 года авторы планируют повысить адаптивность модели, а затем внедрить нейросетевых экспертов, которые будут по-разному учитывать голос, содержание речи, жесты и другие особенности поведения в зависимости от задачи.