• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2022/2023

Генеративные модели в машинном обучении

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус: Курс по выбору (Машинное обучение и анализ данных)
Направление: 01.04.02. Прикладная математика и информатика
Когда читается: 2-й курс, 3 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для всех кампусов НИУ ВШЭ
Прогр. обучения: Машинное обучение и анализ данных
Язык: русский
Кредиты: 4
Контактные часы: 44

Программа дисциплины

Аннотация

Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.
Цель освоения дисциплины

Цель освоения дисциплины

  • ознакомление студентов с современными генеративными моделями
  • обучение использованию вариационных автокодировщиков для генерации новых объектов
  • обучение использования генеративно-состязательных сетей для генерации новых объектов
  • обучение использования нормализирующих потоков для генерации изображений
Планируемые результаты обучения

Планируемые результаты обучения

  • владеет необходимым аппаратом теории вероятностей
  • знает способы задания расстояний между распределениями
  • использует различные метрики качества для проверки генеративных моделей
  • объясняет выбор размерности латентного пространства
  • ориентируется в перспективных разработках в области генеративных моделей
  • понимает разницу между генеративными и дискриминативными моделями
  • умеет применять нормализующие потоки для генерации изображений
  • Умеет тренировать автокодировщики
  • умеет тренировать вариацонные актокодировщики
  • Понимает преимущества и недостатки диффузионных моделей
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в генеративные модели
  • Генеративно-состязательные сети и вариационные автокодировщики
  • Обратимые модели
  • Диффузионные модели
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание 1
    прикладные задачи по простейшим генеративным моделям и mcmc
  • неблокирующий Домашнее задание 2
    Задачи по автокодировщикам
  • неблокирующий Домашнее задание 3
    Задачи по генеративно-состязательным сетям
  • неблокирующий Домашнее задание 4
    Задачи по нормализующим потокам
  • неблокирующий Экзамен
    Экзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно. Экзамен проходит в дистанционной форме в системе Zoom. Технические требования: web-камера, микрофон,, колонки / наушники., Zoom.
  • неблокирующий Проект
Промежуточная аттестация

Промежуточная аттестация

  • 2022/2023 учебный год 3 модуль
    0.16 * Домашнее задание 3 + 0.2 * Экзамен + 0.16 * Домашнее задание 4 + 0.16 * Домашнее задание 1 + 0.16 * Проект + 0.16 * Домашнее задание 2
Список литературы

Список литературы

Рекомендуемая основная литература

  • Deep learning, Goodfellow, I., 2016
  • Dhariwal, P., & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis.
  • Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
  • Глубокое обучение на Python, Шолле, Ф., 2019
  • Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
  • Паттерсон, Д. Глубокое обучение с точки зрения практика / Д. Паттерсон, А. Гибсон. — Москва : ДМК Пресс, 2018. — 418 с. — ISBN 978-5-97060-481-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/116122 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

  • Глубокое обучение и TensorFlow для профессионалов : математический подход к построению систем искусственного интеллекта на Python, Паттанаяк, С., 2019
  • Глубокое обучение, Гудфеллоу, Я., 2017
  • Глубокое обучение, Гудфеллоу, Я., 2018

Авторы

  • Деркач Денис Александрович