Нейросетевой метод визуальной одометрии с полуавтоматическим обучением

В последние годы методы визуальной одометрии (оценки траектории автономно движущегося объекта) на основе глубокого обучения значительно прогрессировали. На момент написания этой работы обучаемые методы превосходят классические алгоритмы на наборах данных, традиционно используемых для тестирования методов визуальной одометрии. Однако для обучения с учителем необходима информация о реальных перемещениях объекта, для получения которой требуется специальное дорогостоящее оборудование. Чтобы преодолеть это ограничение, исследователями в области компьютерного зрения и робототехники был создан ряд методов, обучаемых без учителя. Для обучения этих методов не требуется информации о точном положении объекта: вместо этого для оценки траектории его перемещения используются известные взаимосвязи между изменением расстояния до объектов сцены и собственным движением объекта. Однако все еще существует значительная разница в точности между методами, обучаемыми с учителем, и методами, обучаемыми без учителя. В данной работе предлагается новый обучаемый метод визуальной одометрии, оценивающий собственное движение объекта из оптического потока. Кроме этого, описывается способ полуавтоматического обучения метода визуальной одометрии, принимающего на вход оптический поток. Полуавтоматическое обучение —— обучение на размеченных данных, созданных автоматическим образом без ручной разметки и какого-либо участия исследователя; этот способ обучения обладает свойствами обучения с учителем и обучения без учителя. В этой работе предлагается генерировать размеченные данные, используя распределение собственных движений объекта и информацию о расстояниях от объекта до точек сцены в форме карт глубины. Создание размеченных данных выполняется согласно следующему алгоритму: для произвольного изображения собственное движение случайным образом выбирается из распределения. Затем карта глубины используется для вычисления оптического потока, соответствующего выбранному движению. Полученный оптический поток подается на вход обучаемому методу визуальной одометрии, а собственное движение используется в качестве целевого значения при обучении. Эксперименты на наборе данных KITTI Visual Odometry демонстрируют, что предложенный обучаемый метод визуальной одометрии, обучаемый предложенным полуавтоматическим способом, достигает более высокой точности по сравнению с другими методами визуальной одометрии, обучаемыми без учителя, таким образом, сокращая разрыв в качестве между методами, обучаемыми с учителем и методами, обучаемыми без учителя. Ключевые слова: обучаемый метод визуальной одометрии, полуавтоматическое обучение, оптический поток, карты глубины.