Глубокое обучение в задаче распознавания эмоций на видео со звуком

ФИО студента: Семкин Павел Валерьевич

Руководитель: Серебряков Григорий Андреевич

Кампус/факультет: Факультет информатики, математики и компьютерных наук (Нижний Новгород)

Программа: Прикладная математика и информатика (Бакалавриат)

Оценка: 8

Год защиты: 2021

В работе рассматривается задача автоматического распознавания эмоций на видео со звуком. В ходе исследования был создан и апробирован подход, позволяющий объединить изображения, взятые из видеоряда, со звуковыми фрагментами. Для каждого кадра из аудиодорожки вырезался соответствующий ему звуковой фрагмент длиной в 2 секунды и конвертировался в мел-спектрограмму для дальнейшей обработки нейронной сетью. Благодаря использованию звуковой информации, без значительного усложнения самой модели удалось добиться существенного повышения качества относительно базовой модели, обученной на открытом наборе данных AffWild2. Кроме того, проведено сравнение различных подходов к обработке видео, включая рекуррентные нейронные сети.

Текст работы (работа добавлена 19 мая 2021 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ