Мультимодальное машинное зрениеMultimodal Machine Vision

В диссертации рассматривается проблема построения многозадачных многомодальных нейросетевых моделей нацеленных на решение практических задач компьютерного зрения. Подобного рода модели представляют интерес для применения на устройствах с ограниченным вычислительным бюджетом и при этом оснащенных дополнительными сенсорами, например, беспилотных автомобилях или смартфонах. В исследовании представлены несколько методов, касающихся применения многокритериальной оптимизации к обучению многозадачных моделей, а также построения нейросетевых архитектур для задач смешения и разделения информации из разных источников. Работа включает как теоретические результаты, так и практические эксперименты, демонстрирующие рост качества решения конкретных задач компьютерного зрения.