Российские математики создали модуль для управления временем в видео

Ученые из России разработали модуль для генеративных нейросетей, который позволяет контролировать скорость происходящих в видео событий и частоту кадров. По данным ТАСС, технология должна помочь искусственному интеллекту точнее учитывать течение времени при создании видеоконтента.

До появления разработки скорость событий в создаваемых роликах в основном зависела от формулировки текстового запроса. При этом модели не всегда правильно передавали динамику сцены: быстрые движения могли становиться слишком медленными, а медленные процессы — ускоряться.

Новый модуль состоит из двух блоков. Один отвечает за частоту кадров, другой контролирует динамику событий. Для его обучения исследователи подготовили 40 тысяч видеороликов, в которых представлены сцены с разной скоростью движения, включая действия людей и медленные природные процессы.

Надстройка может использоваться двумя способами. При подключении к уже обученной модели она повышает плавность движения, не меняя общий характер создаваемого видео. При совместном дообучении с генеративной нейросетью технология позволяет корректировать плавность и физику происходящего в сцене.

Эффективность разработки проверили на моделях Kandinsky 5.0 Video Lite и Wan2.2. Исследование показало рост естественности движений на 29%, визуального качества на 8% и соответствия видеороликов текстовым запросам на 19%.

По словам управляющего директора по исследованию данных Сбера Дениса Димитрова, способность модели естественно задавать ритм событий является важным условием для обучения физического искусственного интеллекта и будущих моделей мира.

Разработка также может применяться для создания физически правдоподобных синтетических данных. Исходный код проекта опубликован на популярных платформах для работы с искусственным интеллектом, сообщает "Самара Онлайн 24".