Нейросеть распознает джазовых пианистов с точностью 94 процента

Британские исследователи из Кембриджского университета обучили сверточную нейросеть распознавать джазовых пианистов по их индивидуальному стилю игры. На ранее не встречавшихся записях точность определения исполнителя достигла 94,4 процента. Результаты опубликованы в журнале Nature Machine Intelligence.

В основе обучения — 84 часа записей 20 пианистов, включая Билла Эванса, Оскара Питерсона, Телониуса Монка и Кита Джарретта. Аудио перевели в формат MIDI, чтобы убрать влияние условий записи и сохранить особенности исполнения. Сначала использовали классические алгоритмы: логистическая регрессия показала точность 77 процентов, но позволила выявить характерные приемы — например, нисходящие арпеджио у Эванса или опевание целевых нот у Питерсона.

Лучший результат дала нейросеть ResNet с 50 слоями — 94,4 процента для целых записей и 80,5 для отдельных фрагментов, однако ее решения сложно интерпретировать. Поэтому авторы создали модель, которая раздельно анализирует мелодию, гармонию, ритм и динамику; ее точность составила 91,3 процента. Оказалось, что по одной гармонии пианиста можно определить в 74 процентах случаев, дополнительную информацию дает ритм, а наименьший вклад — у динамики.

Исследователи также сделали веб-приложение, где можно послушать характерные особенности игры каждого из 20 музыкантов. В дальнейшем они планируют расширить набор инструментов и применить подход к другим исполнителям.