Автоматизированное редактирование и ранжирование наложения видео на музыку

Это первая часть большого проекта под названием «Автоматизированное редактирование и ранжирование наложения видео на музыку». Основная задача этого проекта - создать систему автоматической генерации музыкального видео, которая одновременно выполняет рекомендации по звуковому сопровождению и редактирование видео. Мой коллега по этому проекту - Павел Адаменко, еще один студент ВШЭ. Данная работа отвечает за музыкальную рекомендацию. Она пытается сравнить все существующие методологии для классификации музыки по жанру и настроению и представляет новую методологию для решения этой задачи. Опираясь на эту классификацию, будет намного проще создать музыкальную рекомендательную систему. Это будут не только обычные аудио признаки, но и аудио признаки с некоторыми дополнительными знаниями о музыкальном жанре и эмоциях, которые действительно могут повысить качество рекомендаций. В первой главе описана общая проблема музыкальных рекомендаций: зачем нужна хорошая музыкальная рекомендательная система для индустрии, почему так сложно классифицировать музыку по жанру и настроению. Также кратко рассмотрены последние достижения в этой области с интересными подходами для решения вышеупомянутых проблем, включая методы глубинного обучения. Во второй главе представлена собственная методологию классификации музыки по жанру и настроению. Происходит глубокое погружение в методы извлечения аудио признаков и обсуждение вариантов с глубинным обучением, чтобы решить обе задачи классификации. В этой главе будет некоторая дополнительная информация об архитектуре сверхточной нейронной сети, которая использовалась для классификации музыки по жанру и настроению. В заключительной части главы представлена концепция музыкальной рекомендательной системы и некоторые метрики, чтобы понять качество этой концепции. В третьей главе речь пойдет об экспериментах и результатах для классификации музыки по жанру и настроения на выбранном наборе данных и результаты собственной рекомендательной системы. Также будет произведено сравнение значений текущих экспериментов с другим методами на тех же самых наборах данных. В заключении происходит обобщение всех результатов этой работы и рассуждения о будущем применении. В частности, аудио признаки из классификации жанров и настроений будут использованы во второй части проекта «Автоматизированное редактирование и ранжирование наложения видео на музыку». В библиографии можно найти все источники, которые использовались в статье.