Семантическая сегментация видео

Семантическая сегментация — это задача разбиения изображения на семантически значимые составляющие. Является одной из ключевых в области компьютерного зрения и имеет множество прикладных применений. Может быть решена путем попиксельной классификации картинки к одному из предопределенных классов. В представленной работе исследуются существующие способы решения задач семантической сегментации изображения и видео. Большинство из них игнорируют факт зависимости кадров в видеопоследовательности между собой, те же, кто принимает данное свойство во внимание, используют его с целью ускорения вычислений, путем уменьшения количества кадров, которые будут обработаны сегментатором, и использования полученных для них результатов для построения предсказаний для оставшихся кадров также. Данная работа отчасти контрастирует с таким подходом. Основными задачами являются изучение сегментационных моделей и улучшение качества их работы, добавлением интерполятора в процесс построения предсказания, агрегирующего информацию с соседних кадров. В статье показано, что данная интерполяция может быть одним из способов сглаживания и уточнения краев объектов. Также в процессе реализации данной работы был получен набор данных, содержащий ближайшие соседние кадры для каждого коллекции CamVid.