Магистратура
2022/2023
Генеративные модели в машинном обучении
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс по выбору (Машинное обучение и анализ данных)
Направление:
01.04.02. Прикладная математика и информатика
Когда читается:
2-й курс, 3 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для всех кампусов НИУ ВШЭ
Прогр. обучения:
Машинное обучение и анализ данных
Язык:
русский
Кредиты:
4
Контактные часы:
44
Программа дисциплины
Аннотация
Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.
Цель освоения дисциплины
- ознакомление студентов с современными генеративными моделями
- обучение использованию вариационных автокодировщиков для генерации новых объектов
- обучение использования генеративно-состязательных сетей для генерации новых объектов
- обучение использования нормализирующих потоков для генерации изображений
Планируемые результаты обучения
- владеет необходимым аппаратом теории вероятностей
- знает способы задания расстояний между распределениями
- использует различные метрики качества для проверки генеративных моделей
- объясняет выбор размерности латентного пространства
- ориентируется в перспективных разработках в области генеративных моделей
- понимает разницу между генеративными и дискриминативными моделями
- умеет применять нормализующие потоки для генерации изображений
- Умеет тренировать автокодировщики
- умеет тренировать вариацонные актокодировщики
- Понимает преимущества и недостатки диффузионных моделей
Содержание учебной дисциплины
- Введение в генеративные модели
- Генеративно-состязательные сети и вариационные автокодировщики
- Обратимые модели
- Диффузионные модели
Элементы контроля
- Домашнее задание 1прикладные задачи по простейшим генеративным моделям и mcmc
- Домашнее задание 2Задачи по автокодировщикам
- Домашнее задание 3Задачи по генеративно-состязательным сетям
- Домашнее задание 4Задачи по нормализующим потокам
- ЭкзаменЭкзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно. Экзамен проходит в дистанционной форме в системе Zoom. Технические требования: web-камера, микрофон,, колонки / наушники., Zoom.
- Проект
Промежуточная аттестация
- 2022/2023 учебный год 3 модуль0.16 * Домашнее задание 3 + 0.2 * Экзамен + 0.16 * Домашнее задание 4 + 0.16 * Домашнее задание 1 + 0.16 * Проект + 0.16 * Домашнее задание 2
Список литературы
Рекомендуемая основная литература
- Deep learning, Goodfellow, I., 2016
- Dhariwal, P., & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis.
- Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
- Глубокое обучение на Python, Шолле, Ф., 2019
- Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
- Паттерсон, Д. Глубокое обучение с точки зрения практика / Д. Паттерсон, А. Гибсон. — Москва : ДМК Пресс, 2018. — 418 с. — ISBN 978-5-97060-481-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/116122 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
Рекомендуемая дополнительная литература
- Глубокое обучение и TensorFlow для профессионалов : математический подход к построению систем искусственного интеллекта на Python, Паттанаяк, С., 2019
- Глубокое обучение, Гудфеллоу, Я., 2017
- Глубокое обучение, Гудфеллоу, Я., 2018