2025/2026
Трёхмерное компьютерное зрение
Статус:
Маго-лего
Где читается:
Факультет компьютерных наук
Когда читается:
3 модуль
Охват аудитории:
для всех кампусов НИУ ВШЭ
Язык:
русский
Кредиты:
4
Контактные часы:
40
Программа дисциплины
Аннотация
Компьютерное зрение позволяет алгоритмам распознавать объекты на изображениях, но как они могут понять глубину, форму и структуру окружающего пространства? Трёхмерное компьютерное зрение отвечает на эти вопросы, открывая двери к созданию умных роботов, дополненной реальности, автономным автомобилям и цифровым двойникам реального мира.
В этом курсе мы разберём:
- Как формируются изображения — от камеры до нейросетей.
- Методы оценки глубины — как алгоритмы определяют расстояние до объектов.
- Работу с облаками точек — обработка и анализ 3D-данных.
- Современные методы реконструкции 3D-сцен — от классических подходов до нейросетевых технологий.
- Генеративные модели для 3D — методы и подходы к генерации.
Цель освоения дисциплины
- Ознакомить студентов с математическими основами формирования изображений и многовидовой геометрии.
- Сформировать понимание современных нейросетевых методов для задач 3D-зрения.
- Развить практические навыки реализации алгоритмов обработки и реконструкции 3D-данных.
- Познакомить студентов с генеративными моделями для 3D-данных и их приложениями.
Планируемые результаты обучения
- Знать математические основы модели пинхол камеры, элементы проективной геометрии и эпиполярной геометрии.
- Знать принципы работы диффузионных моделей и их применение к генерации 3D-данных.
- Знать принципы объёмного рендеринга, методы Gaussian Splatting и NeRF для представления сцен.
- Знать основные архитектуры глубокого обучения для обработки облаков точек и полигональных сеток.
- Уметь применять параметрические модели человеческого тела (SMPL) для оценки позы и формы.
- Владеть навыками работы с системами дифференцируемого рендеринга для решения задач трёхмерной реконструкции.
- Уметь применять методы оценки глубины и структуры сцены по одному и нескольким изображениям.
- Уметь реализовывать алгоритмы компьютерного зрения на языке Python с использованием современных библиотек.
Содержание учебной дисциплины
- Формирование изображения
- Многовидовая геометрия
- 2.5D-зрение и предсказание глубины
- Глубокое обучение для многовидовой геометрии
- Облака точек как представление 3D-данных
- Полигональные сетки как представление 3D-данных
- Параметрические модели полигональных сеток для тела человека
- Неявные представления 3D-данных
- Гауссовское размытие для радиационных полей
- Краткое введение в диффузионные модели
- Генеративные модели для 3D-данных
Список литературы
Рекомендуемая основная литература
- Hartley, R., & Zisserman, A. (2015). Multiple View Geometry in Computer Vision (2nd ed). Australia, Australia/Oceania: Cambridge University Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EAC977F6
- Ian Goodfellow, Yoshua Bengio, & Aaron Courville. (2016). Deep Learning. The MIT Press.
- Richard Szeliski. (2010). Computer Vision: Algorithms and Applications. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.C0E46D49
Рекомендуемая дополнительная литература
- Davies, E. R. (2018). Computer Vision : Principles, Algorithms, Applications, Learning (Vol. Fifth edition). London: Academic Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1204289
- Prince, S. J. D. (2012). Computer Vision : Models, Learning, and Inference. New York: Cambridge eText. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=458656