На пути к сквозному обучению в задачах сопровождения объектов для видеонаблюдения

Задачи компьютерного зрения представляют большой практический интерес на сегодняшний день. Моя работа затрагивает одну из востребованный тем на сегодня - трекинг объектов. Основной задачей данной работы было изучить вопрос сопоставления детектированных объектов на кадрах видео. В особенности, интерес представляла возможность создания архитектуры нейронной сети, которая умела бы одновременно детектировать объекты на видео и выдавать их сопоставления (необязательно) на соседних кадрах. Были рассмотрены различные подходы (методы) к ключевым состовляющим данной задачи: детектирование объектов, подавление немаксимумов, сопоставление объектов. В данной работе одна из ключевых архитектур нейронной сети, которая была использована, - Faster RCNN. Эта архитектура является одной из эталонных в области детектирования изображений и включает в себя 2 основных модуля: модуль, который возвращает вероятные регионы детекций и модуль, который возвращает вероятности принадлежности к классу того или иного региона. Также используются веса предобученной модели ResNet - классической архитектуры, используемой для тьюнинга различных задач в области компьютерного зрения. С помощью этой архитектуры был написан базовый метод, решающий задачу и показывающий неплохие результаты на некоторых датасетах. В ходе работы были опробованы различные датасеты и в виду сложности работы, был нарисован собственноручный упрощенный датасет. На этом датасете был проведен основной анализ и посчитаны метрики качества работы алгоритмов. Выяснилось, что на данном этапе базовый метод выдает более высокие результаты относительно рассматриваемых метрик качества. В качестве базового метода брался необучаемый (детерминированный) алгоритм сопоставления объектов и сравнивался с нейросетевыми подходами, использующими векторные представления, полученные с помощью архитектуры Faster RCNN.