Автоматическая транскрипция и разделение музыки на источники

Автоматическая транскрипция музыки — одна из важнейших задач в области обработки музыкальной информации. В существующих решениях в этой области чаще всего рассматривается транскрипция только классической музыки, а зачастую вообще только музыки, сыгранной на пианино. Во многом это связано с отсутствием датасета, содержащего в себе транскрипции более современной музыки. В данной работе ставится задача предложить алгоритм автоматической транскрипции современной полифонической мультиинструментальной музыки. Для решения поставленной задачи был найден и дополнен подходящий датасет. В этой работе предлагается новая модель, предназначенная для транскрипции музыки с применением актуальных нейросетевых архитектур. Так как современная музыка имеет четкую ритмическую структуру, в работе также предлагается использовать ритмическую разметку для улучшений предсказаний времени начала нот. Важным аспектом данной работы является изучение влияния формата входных данных на качество работы алгоритма. Сравнив на этих же данных предложенный алгоритм с существующими подходами можно прийти к выводу, что предложенное решение показывает значительный прирост в качестве на мультиинструментальных данных как на стандартных метриках, так и на обучаемой метрике, которая лучше коррелирует с тем, как воспринимает транскрипции человек.