AI Journey 2023: пользователи GigaChat смогут генерировать уникальную музыку по текстовому запросу

Сбер расширит возможности своего сервиса благодаря интеграции в GigaChat нейросетей CLaMP и SymFormer

Скоро GigaChat сможет генерировать музыкальные треки по произвольным текстовым запросам пользователей. Об этом рассказал вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов в рамках международной конференции по искусственному интеллекту AI Journey 2023.

Для генерации музыки человеку будет достаточно сформулировать задачу, например, «Сочини весёлую музыку в стиле кантри» или «Напиши трек для лаундж-зоны бизнес-центра». В ответ GigaChat будет выдавать аудиофайл с уникальной музыкальной композицией и нотную партитуру в формате MIDI, который понимает любая DAW (Digital Audio Workstation). Пользователь сможет прослушать и скачать получившийся трек, а MIDI-файл использовать в собственных творческих проектах (редактировать гармонии, изменять аранжировку и получать разнообразные варианты звучания трека) и даже в музыкальном продакшене.

Генерация музыки в GigaChat возможна благодаря интеграции нейросетей CLaMP и SymFormer. Для обучения SymFormer использовались платформа ML Space на базе суперкомпьютера Christofari и датасет из более 200 тысяч композиций разных стилей: от классики до современной электронной музыки и рока. Модель для генерации треков основана на принципе рассмотрения музыки в качестве нотного текста — в этом помогла адаптация подхода text-2-image к нотному домену.

Создание музыкальных треков происходит в несколько этапов:

Первый этап. С помощью модели CLaMP текстовый запрос пользователя обрабатывается и конвертируется на понятный для генератора мелодий язык.

Второй этап. Полученные данные, включая информацию о стиле, попадают в SymFormer, где происходит генерация нескольких вариантов мультидорожечного трека, из которых нейросеть выбирает наиболее удачные варианты по стилю и композиции.

Третий этап. На финальном этапе механизм рендеринга формирует аудиофайл и передаёт результат пользователю.

Денис Филиппов, вице-президент по Цифровым поверхностям «Салют» Сбербанка:

«Новые возможности GigaChat будут полезны не только музыкальным энтузиастам и представителям творческих профессий. Одним из сегментов целевой аудитории сервиса мы видим представителей среднего и малого предпринимательства. Благодаря GigaChat они смогут быстро, качественно и, что важно, абсолютно легально решать задачи бизнеса: создавать фоновое музыкальное сопровождение для кафе, салонов красоты и залов ожидания, генерировать треки для рекламных видеороликов и соцсетей».

Ранее этой осенью в рамках культурной программы Восточного экономического форума (ВЭФ) во Владивостоке состоялся первый в мире симфонический концерт с импровизациями от искусственного интеллекта. Вместе с оркестром Мариинского театра Приморской сцены выступила нейросеть SymFormer. В первой части симфонии «Космос», написанной композитором Петром Дранга, нейросеть управляла экспрессивностью исполнения, а в третьей и четвертой частях симфонии импровизировала в режиме реального времени на основе той информации, которую получила от партитуры музыканта.