Автоматическая оценка качества видео и изображений для редактирования видео

Данная работа посвящена разработке комплексного фреймворка для оценки качества изображений и видео. Цель исследования – улучшить существующий метод оценки качества изображения и создать быстрый и надежный метод для покадровой оценки видео, который также может быть применен к изображениям. В данном исследовании рассматриваются методы «слепой» оценки качества изображений (Blind IQA), в ситуации, когда информация об исходном неискаженном изображении отсутствует. Предлагается усовершенствование существующего метода IQA на основе глубокого обучения и адаптировать его для задачи автоматического редактирования коротких видеороликов. Работа сосредоточена на достижении высокой точности и производительности. С этой целью были загружены три набора эталонных данных IQA: LIVE, TID2008 и TID2013. Каждый из них содержит набор эталонных изображений с высоким качеством, набор искаженных изображений, полученных от эталонного набора с различными типами и уровнями искажений, а также усредненной субъективной оценкой для каждого изображения. Для оценки производительности модели в задаче обработки видео был использован набор данных LIVE Video Quality Challenge. Алгоритм DIQA рассматривается как базовый метод для оценки качества. Предлагаемые улучшения включают в себя две стратегии выбора маленьких фрагментов картинки (патчей): равномерный выбор патчей и выбор, основанный на распознавании изображенных объектов. Также проводятся эксперименты по дополнительному предобучению скрытых слоев модели при помощи классификатора по типу искажения. Еще одна метрика оценки видео – это крупность плана, количество лиц в кадре и соответствие переходов между планами правилам профессиональной съемки. Результаты этой работы применимы к разработке интеллектуальных систем обработки видео и изображений.