• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Суммаризация видео с помощью нейронных сетей

ФИО студента: Легеза Игнат Игоревич

Руководитель: Озерин Алексей Юрьевич

Кампус/факультет: Факультет компьютерных наук

Программа: Финансовые технологии и анализ данных (Магистратура)

Год защиты: 2020

Суммаризация видео, а в частности выделение интересных моментов (highlight detection), является сложной и постепенно набирающей популярность задачей среди исследователей, специализирующихся на компьютерном зрении. Растущий интерес к данной задаче обосновывается ростом доли потребления видеоконтента среди интернет-пользователей. По этой причине, для привлечения и сохранения пользовательского внимания, от сервисов, агрегирующих видеоконтент, потребуется использовать не только рекомендательные системы, но и модели, которые будут подбирать для видео наиболее интересную обложку и превью. Последняя проблема как раз может быть решена с помощью выделения интересных моментов в видео. Большинство подходов к данной задаче, на данный момент, основываются на обучении с учителем, что требует больших трудозатрат на разметку необходимого для обучения количества видеофайлов. В данной работе мы реализовали подход, основанный на обучении без учителя, главной идеей которого является использование большого количества коротких и длинных видео из Instagram. Наша гипотеза заключается в том, что, выкладывая короткие видео, пользователи стараются сохранить в них только интересные моменты, что нельзя сказать про продолжительные видео, которые могут включать в себя как интересные, так и неинтересные фрагменты. На основе 150 тысяч выгруженных видеофайлов мы обучили несколько домен-специфичных ранжирующих нейронных сетей и представили их сравнительные результаты по метрике mAP на двух публичных размеченных датасетах: YouTube Highlights и TVSum.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ