Новая система FLEX учит роботов понимать невысказанные требования людей

Учёные MIT и Нью-Йоркского университета представили разработку FLEX, которая помогает роботам понимать смысл человеческих команд за пределами их буквальной формулировки. Платформа учит машины самостоятельно выявлять подразумеваемые ограничения и учитывать их при выполнении заданий. Об этом пишет ProGorodNSK.ru. Результаты исследования планируют представить на конференции по машинному обучению.

Система использует большую языковую модель, чтобы извлекать из обычных фраз дополнительные правила. Так, просьба принести кофе с уточнением не задеть ноутбук воспринимается не просто как запрет пролить напиток на конкретное устройство. Робот делает вывод, что необходимо избегать контакта и с другой электроникой, например телефоном, даже если человек о нём не говорил.

По словам научного сотрудника MIT Натана Денглера, люди без труда распознают подобные смысловые нюансы, но для машин их приходится формализовать. Именно эту задачу и решает FLEX.

Алгоритм включает три последовательных шага. Сначала робот выделяет предметы, которые могут повлиять на выполнение задачи. Затем модель GPT-4 обобщает сведения и формулирует более универсальное правило. Например, вместо запрета задевать одну кружку система определяет необходимость беречь все хрупкие предметы. После этого компьютерное зрение проверяет окружающее пространство и удаляет из списка объекты, которые больше не присутствуют в обстановке. На обработку уходит примерно пять секунд.

Разработку протестировали в виртуальных сценариях, где робот должен был подавать кофе, передвигать свечу и переносить шар для боулинга. В ходе испытаний система учитывала просьбы не задевать бумагу и не ронять предметы на кружку, а также применяла эти ограничения к другим похожим объектам. В частности, робот учился обходить электронные устройства, хрупкие вещи и легковоспламеняющиеся предметы.

Руководитель исследования Андреа Бобу подчеркнула, что у разных людей могут быть собственные приоритеты и правила. По её словам, платформе достаточно одной-двух фраз, чтобы определить дополнительные требования пользователя.

Работу поддержали MIT Generative AI Impact Consortium и программа MIT Schwarzman College of Computing, сообщает "Самара Онлайн 24".