Методы суммаризации видео

Количество пользовательского контента увеличивается на ежедневной основе. Особенно, это касается видео, которые стали популярны благодаря таким социальным сетям, как ТикТок. Другие интернет ресурсы не отстают и упрощают для пользователей способы поделиться своим видео. Именно поэтому, автоматические средства для выявления ключевой информации в контенте и уменьшения его объема необходимы. Цель суммаризации видео – помочь с решением этой проблемы. В данной работе мы представляем архитектуру, основанную на применении трансформера к суммаризации видео методом обучения с учителем. Предыдущие работы, основанные на использовании механизма внимания либо использовали упрощенную версию, либо утяжеляли вычисления, добавляя рекуррентные нейронные сети. Предложенная нами архитектура использует все преимущества трансформеров. Проведенная обширная оценка модели на двух наборах контрольных данных показала, что модель превосходит существующие подходы на 3% на данных SumMe и показывает сравнимые результаты на данных TVSum.