Рекуррентное самообучение реконструкции глубины с использованием механизмов внимания

Оценка глубины изображения является важной составляющей многих задач компьютерного зрения. Глубина может быть оценена не только с помощью традиционного обучения путем регрессии, но и с помощью подходов, которые используют информацию о движении камеры и не требуют истинных значений карт глубины. За последние несколько лет было разработано множество моделей прогноза глубины, однако большинство существующих подходов по-прежнему сосредоточены на оценке глубины путем обработки одной картинки. Поскольку большинство методов могут работать с последовательностями кадров, мы считаем, что качество текущих моделей может быть улучшено с помощью информации о предыдущих кадрах. Поэтому в этом исследовании мы изучаем различные способы интеграции рекуррентных блоков и механизмов внимания в общую модель оценки глубины. В работе представлен набор модификаций, которые используют информацию о предыдущих кадрах, и которые можно использовать в подходах, не требующих истинных карт глубины. Эксперименты показывают, что предлагаемые модификации могут быть эффективным инструментом в модели прогнозирования глубины.