Интерполяция кадров видео

Интерполяция кадров видео – это совокупность методов, позволяющих увеличивать частоту кадров. Другими словами, в видеопотоке, представленном последовательностью изображений, данные алгоритмы предсказывают промежуточные. В данной работе проводится исследование существующих подходов, позволяющих решать задачу интерполяции, анализируются их достоинства и недостатки. Более подробно разобраны методы, использующие оптический поток и адаптивные свертки. Подход с использованием адаптивных сепарабельных сверток, показавший передовые результаты, позволяет получить выходное изображение за один проход через нейросесть путем предсказания фильтров для последующей свертки входных кадров. В то время, как большинство исследований фокусируются на синтезации одного кадра посередине между ключевыми, данная работа предлагает усовершенствование метода сепарабельных сверток, позволяющее генерировать промежуточный кадр в заданной временной точке путем внедрения информации о времени в карты признаков нейросети. Неявная подача временной отметки в таком виде ранее не была представлена в работах области интерполяции кадров. Результаты представлены иллюстрациями работы алгоритма на синтетических и реальных данных. Более того, в работе предложены модификации алгоритма сепарабельных сверток путем добавления предобученных фильтров, которые позволяют восстанавливать более сложные структуры кадров. Также в исследовании приведены возможные усовершенствования и пути развития предложенного метода. Ключевые слова: интерполяция кадров, оптический поток, сверточные нейронные сети, остаточные связи, адаптивные сепарабельные свертки, перцептивные потери.