Российские учёные создали надстройку для нейросетей с управлением временем

Учёные из России разработали компактную надстройку для генеративных нейросетей, которая управляет частотой кадров и динамикой событий в видео. Как сообщила ТАСС пресс-служба Сбербанка, модуль позволяет ИИ «понимать» течение времени при создании роликов. По данным банка, разработку также можно применять для генерации физически достоверных синтетических данных, необходимых для обучения физического ИИ.

Современные генеративные системы не всегда верно передают скорость событий: быстрые действия могут неестественно растягиваться, а медленные — замирать или ускоряться. Это связано с архитектурой моделей и тем, что при обучении приоритет отдают эстетике отдельного кадра, а не физической достоверности. Чтобы исправить это, российские математики создали модуль из двух независимых блоков: один отвечает за частоту кадров, второй — за динамику сцены в каждый момент.

Для обучения надстройки подготовили набор из 40 тыс. видеороликов с разной частотой и динамикой, включая сцены с людьми и медленные природные процессы. Система работает в двух режимах: в первом она подключается к уже обученной модели и делает движения плавнее, не меняя общий характер генерации; во втором — дообучается вместе с генеративной нейросетью и получает возможность менять не только плавность, но и физику сцены.

Проверка прошла на моделях Kandinsky 5.0 Video Lite и Wan2.2. Замеры показали, что разработка на 29% повысила естественность движений, на 8% улучшила визуальное качество и на 19% повысила соответствие видео текстовому запросу. «Раньше скорость происходящего в кадре задавали только слова в запросе, а повлиять на реальную динамику в создаваемом видео было достаточно сложно. С помощью нашей надстройки модель понимает, как процессы разворачиваются во времени, и умеет естественно задавать нужный ритм в любой сцене, а не заучивает готовые шаблоны. Это ключевое условие для обучения физического ИИ и будущих моделей мира», — пояснил управляющий директор по исследованию данных Сбера Денис Димитров. Исходный код проекта опубликован в открытом виде на популярных платформах для работы ИИ.