Generalist AI представила модель GEN-1.5 для обучения роботов одной демонстрацией

Американский стартап Generalist AI представил мультимодальную модель GEN-1.5, которая позволяет роботам осваивать новые физические действия по одной короткой демонстрации. Разработчики сообщили об этом в официальном блоге, отметив, что робот под управлением модели успешно импровизировал, например, использовал банан вместо щетки.

Модель обучали более восьми месяцев на записях взаимодействий с объектами в жилых домах, на складах и фабриках. Она обрабатывает видео, показания сенсоров, текстовые команды и данные о положении манипуляторов, удерживая в контекстном окне около 30 секунд данных и генерируя команды с частотой 100 герц. Для освоения нового действия достаточно 3–12 секунд демонстрации, которую можно показать на камеру или создать в симуляции; этот подход назван физическим промптингом.

Во время тестов робот с двумя манипуляторами в среднем справлялся с задачами в 59% случаев (стандартное отклонение 10%), а после десяти шагов дообучения на пяти минутах данных — в 83% случаев (стандартное отклонение 9%). Один шаг на одной минуте данных давал 66,5% на отдельной задаче. В тестах на импровизацию модель использовала банан вместо щетки, совок вместо щетки, а также открывала банки двумя руками, перенося навык на незнакомые емкости.

Разработчики отмечают, что пока модель работает с простыми короткими задачами, а навыки из контекста менее устойчивы, чем после дообучения. В будущем они надеются снизить объем данных и вычислений за счет масштабирования. Кроме того, инженеры Toyota представили человекоподобного робота Punyo для захвата крупных мягких объектов.