Разбиение видео на семантические сцены

В работе рассматривается применение архитектуры Трансформер для реше­ния задачи разбиения видео на семантические сцены. Такое разбиение позволяет выделить отдельные сюжетные части видео для их последующего анализа по­ отдельности и совместно. Задача рассматривается в следующей постановке: на видео с помощью существующих алгоритмов выделяются короткие сцены, снятые последовательно одной камерой; рассматриваемый в работе метод группи­рует полученные короткие сцены в итоговые семантические сцены. Короткие сцены внутри семантической сцены объединены сюжетной линией, героями, ме­стом действия и составляют обособленную часть повествования. Задача группи­ровки решается как задача бинарной классификации элементов последователь­ности ­- для каждой короткой сцены предсказывается, является ли она концом семантической сцены. Адаптация архитектуры Трансформер позволяет учиты­вать более длинный контекст видео, относительно учета контекста в существу­ющих подходах. Помимо этого, для такой архитектуры возможно использовать предобучение на неразмеченных данных (подобно моделям BERT и VideoBERT) и существующие веса архитектур на основе сети Трансформер, предобученные для других задач. В работе представлены эксперименты по адаптации энкоде­ра модели Трансформер для задачи сегментации видео на семантические сце­ны, проведены эксперименты с размером архитектуры, длиной подаваемого на вход сети контекста, повышением стабильности обучения, предобучением с по­мощью маскирования, использованием весов существующей предобученной мо­дели COOT для анализа видео, добавлением блока BNet из модели LGSS спе­цифичного для данной задачи. Полученная модель сравнима по качеству с суще­ствующими методами сегментации видео на семантические сцены и превосходит решения, использующие только признаки места действия, по метрикам Average Precision и mean Intersection over Union на открытом датасете художественных фильмов MovieNet-­SSeg.