Магистратура
2026/2027
Генеративные модели компьютерного зрения
ID 1126566
Статус:
Курс по выбору (Машинное обучение в цифровом продукте)
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 2 модуль
Охват аудитории:
для своего кампуса
Язык:
русский
Кредиты:
3
Контактные часы:
28
Программа дисциплины
Аннотация
Курс посвящён современным генеративным моделям компьютерного зрения: вариационным автоэнкодерам, авторегрессионным моделям, генеративно-состязательным сетям, диффузионным моделям и подходам flow matching. Рассматриваются генерация изображений и видео, редактирование по текстовым инструкциям, условная генерация и работа с предобученными моделями.
В практической части студенты реализуют ключевые архитектуры и алгоритмы, обучают и адаптируют модели, оценивают качество генерации и оптимизируют инференс. Курс формирует понимание устройства моделей и навыки их применения к конкретной задаче. Обучение завершается разработкой и защитой воспроизводимого группового проекта.
Цель освоения дисциплины
- Сформировать понимание современных генеративных моделей компьютерного зрения и навыки самостоятельной реализации ключевых архитектур, работы с предобученными моделями, дообучения и адаптации под прикладные задачи; подготовить воспроизводимый проект, демонстрирующий применение изученных методов.
Планируемые результаты обучения
- Ориентироваться в основных классах генеративных моделей компьютерного зрения: VAE/VQ-VAE, GAN, авторегрессионных и диффузионных моделях.
- Реализовать, обучать и адаптировать генеративные модели изображений, включая VAE, GAN и diffusion-модели, оценивать качество их работы.
- Разрабатывать и настраивать diffusion-пайплайны, применять современные методы сэмплинга и управления генерацией: text conditioning, CFG, LoRA, IP-Adapter, ControlNet.
- Работать с современными задачами генерации видео, учитывать temporal consistency и типичные артефакты.
- Оценивать качество генерации с использованием визуальных и количественных метрик.
- Оптимизировать inference генеративных моделей с применением mixed precision, batching, quantization и других методов.
- Создавать воспроизводимые inference-пайплайны, включая конфигурацию, логирование, сохранение результатов и контейнеризацию.
- Разрабатывать законченный прикладной GenCV-пайплайн — от подготовки данных и обучения/адаптации модели до оценки, оптимизации и запуска в виде сервиса.
- Демонстрировать понимание VAE (ELBO, reparameterization), обрабатывать изображения, демонстрировать базовую технику пост‑обработки латента (интерполяция, линейная манипуляция), запускать обучение на GPU, предобрабатывать датасеты (align/crop).
Содержание учебной дисциплины
- Введение, VAE и авторегрессионные модели
- GAN и их вариации
- Диффузионные модели и методы сэмплинга
- Условные диффузионные модели и управление генерацией
- Генерация видео и согласованность во времени
- Эксплуатация и оценивание систем GenCV
Элементы контроля
- Домашнее задание. Реализация и редактирование латентного пространства VAEРеализовать VAE с encoder и decoder, извлечь латентный вектор и отредактировать его для изменения выражения лица. Представить код, Jupyter- или Colab-ноутбук, исходные и изменённые изображения и объяснение метода редактирования.
- Экзамен. Защита группового итогового проектаРазработать комплексное решение по внедрению модели GenCV. Представить репозиторий и PDF-отчёт: постановку проблемы и мотивацию, связанные работы, набор данных, методы и алгоритмы, экспериментальный дизайн и выбор гиперпараметров, метрики и валидацию, результаты, анализ успехов и неудач, ограничения и направления развития, список литературы и вклад каждого участника команды.
Промежуточная аттестация
- 2026/2027 2nd module0.6 * Экзамен. Защита группового итогового проекта + 0.4 * Домашнее задание. Реализация и редактирование латентного пространства VAE
