Быстрая реконструкция монокулярной глубины c использованием глубоких нейронных сетей

Автономное вождение сильно зависит от применяемых методов реконструкции глубины. В последнее время значительные улучшения были произведены как в supervised, так и в self-supervised методах реконструкции глубины. Однако, большинство современных подходов фокусируются на оценке глубины одного изолированного кадра, где предел качества трудно преодолеть из-за ограничений глубоких нейронных сетей в целом. Одним из способов улучшения качества существующих методов является использование временной информации из последовательностей кадров. В этой магистерской диссертации мы изучаем способы интеграции рекуррентного блока в архитектуру supervised методов оценки глубины. Мы предлагаем новый метод, который использует преимущества сверточного управляемого рекуррентного блока (convGRU), а также сверточного блока долгой краткосрочной памяти (convLSTM). Мы сравниваем использование блоков convGRU и convLSTM и определяем лучшую модель для задачи оценки глубины в режиме реального времени. Мы тщательно изучаем стратегию обучения и выдвигаем новые архитектуры глубоких нейронных сетей для задачи оценки глубины из видео с использованием информации из прошлых кадров на основе attention механизма. Мы демонстрируем эффективность использования временной информации, сравнивая наш лучший рекуррентный метод с существующими решениями на основе изображений и видео. Результаты данной дипломной работы были отправлены на рецензию на конференцию ACMMM2020 уровня А* по рейтингу Core.