Генеративные модели в машинном обучении

Магистратура 2021/2022

Статус: Курс по выбору (Программирование и анализ данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Санкт-Петербургская школа физико-математических и компьютерных наук

Когда читается: 2-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Артемьев Максим Радикович, Деркач Денис Александрович, Рыжиков Артём Сергеевич

Прогр. обучения: Программирование и анализ данных

Язык: русский

Кредиты: 4

Контактные часы: 44

Полная версия программы учебной дисциплины

Аннотация

Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.

Цель освоения дисциплины

ознакомление студентов с современными генеративными моделями
обучение использованию вариационных автокодировщиков для генерации новых объектов
обучение использования генеративно-состязательных сетей для генерации новых объектов
обучение использования нормализирующих потоков для генерации изображений

Планируемые результаты обучения

владеет необходимым аппаратом теории вероятностей
знает способы задания расстояний между распределениями
использует различные метрики качества для проверки генеративных моделей
объясняет выбор размерности латентного пространства
ориентируется в перспективных разработках в области генеративных моделей
понимает разницу между генеративными и дискриминативными моделями
умеет применять нормализующие потоки для генерации изображений
Умеет тренировать автокодировщики
умеет тренировать вариацонные актокодировщики
Понимает преимущества и недостатки диффузионных моделей

Содержание учебной дисциплины

Введение в генеративные модели
Генеративно-состязательные сети и вариационные автокодировщики
Обратимые модели
Диффузионные модели

Элементы контроля

Домашнее задание 1
прикладные задачи по простейшим генеративным моделям и mcmc
Домашнее задание 2
Задачи по автокодировщикам
Домашнее задание 3
Задачи по генеративно-состязательным сетям
Домашнее задание 4
Задачи по нормализующим потокам
Экзамен
Экзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно. Экзамен проходит в дистанционной форме в системе Zoom. Технические требования: web-камера, микрофон,, колонки / наушники., Zoom.
Проект

Промежуточная аттестация

2021/2022 учебный год 3 модуль
0.16 * Домашнее задание 1 + 0.16 * Домашнее задание 2 + 0.16 * Проект + 0.16 * Домашнее задание 4 + 0.2 * Экзамен + 0.16 * Домашнее задание 3

Программа дисциплины