Реконструкция глубины по изображению на основе визуального трансформера

ФИО студента: Борисенко Глеб Витальевич

Кампус/факультет: Факультет компьютерных наук

Программа: Финансовые технологии и анализ данных (Магистратура)

Год защиты: 2021

Заполнение карт глубины - очень важная задача для работы с дополненной реальностью. В предыдущих работах отсутствующие значения глубины восполнялись сверточными сетями архитектуры энкодер-декодер, что является своего рода узким местом. Но в наши дни визуальные трансформеры показали очень хорошее качество в различных задачах компьютерного зрения, а в некоторых из них стали лучшими. В этом исследовании мы представили метод заполнения глубины с помощью RGB изображений и разреженных карт глубины с помощью визуальных трансформеров. Предложенная модель была обучена и протестирована на наборе данных NYUv2. Эксперименты показали, что визуальные трансформеры с моделью ограничительной сверточной токенизации могут улучшить качество заполненной карты глубины.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ