• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Автоматическое создание синхронизированных музыкальных видео

ФИО студента: Михеев Александр Георгиевич

Руководитель: Макаров Илья Андреевич

Кампус/факультет: Факультет компьютерных наук

Программа: Науки о данных (Магистратура)

Год защиты: 2020

В настоящее время создание красивых, интересных видеороликов с соответствующим звуковым сопровождением становится очень популярной задачей для крупных социальных сетей, рекламных и маркетинговых компаний, а также в повседневной жизни пользователей интернета. Тем не менее, похоже, что проблема выбора музыки в качестве фона для конкретного видео иногда требует очень утомительной ручной работы и экспериментов. Мы предлагаем, как автоматизировать этот процесс, что может быть применимо во многих сценариях конечных пользователей. В первую очередь для создания музыкального видео необходимо выбрать наиболее подходящую музыку. Для конкретного видео наша система получает сигнал видео усилений, определяющий среднее распределение замедления движений на видео по времени, полученный с использованием алгоритма оптического потока. Из возможных музыкальных аудиодорожек наша система извлекает сигнал аудио усилений, определящий распределение музыкального темпа по времени. Основываясь на этих двух сигналах, мы вводим новые метрики сходства между необработанным видео и музыкой-кандидатом, которые используются при принятии решения о музыкальной рекомендации для конкретного видео. Этот подход требует только исходных видео и аудио сигналов и не требует какой-либо дополнительной информации, что является одним из основных преимуществ среди современных решений рекомендации музыки для видео. Мы проводили эксперименты с использованием непрерывной метрики, основанной на взаимной корреляции двух сигналов и дискретной метрики, основанной на расстоянии между извлеченными битами из видео и звука. Обе метрики показали преимущества предложенной модели по сравнению с различными случайными наложениями видео и музыки. Чтобы оценить результаты, мы измеряли точность определения соответствия оригинальной пары видео-музыка по сравнению с другими музыкальными наложениями.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ