• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2019/2020

Генеративные модели в машинном обучении

Направление: 01.03.02. Прикладная математика и информатика
Когда читается: 4-й курс, 3 модуль
Формат изучения: Full time
Язык: русский
Кредиты: 4

Программа дисциплины

Аннотация

Глубинные генеративные модели широко используются во многих областях применения искусственного интеллекта и машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На семинарах будут разобраны индустриальные примеры приложения генеративных моделей, включая вариационные автоэнкодеры (VAE), генеративные состязательные сети (GAN), авторегрессионные модели и модели нормализующих потоков. На курсе также будут приведены области знания, которые выигрывают от применения генеративных моделей в настоящее время и могут выиграть в будущем. Задания на семинарах продиктованы известными приложениями генеративных моделей в науке и индустрии.
Цель освоения дисциплины

Цель освоения дисциплины

  • ознакомление студентов с современными генеративными моделями
  • обучение использованию вариационных автокодировщиков для генерации новых объектов
  • обучение использования генеративно-состязательных сетей для генерации новых объектов
  • обучение использования нормализирующих потоков для генерации изображений
Результаты освоения дисциплины

Результаты освоения дисциплины

  • понимает разницу между генеративными и дискриминативными моделями
  • владеет необходимым аппаратом теории вероятностей
  • знает способы задания расстояний между распределениями
  • использует различные метрики качества для проверки генеративных моделей
  • Применяет ядерные методы для генерации плотности вероятности
  • понимает постановку задачи генеративных моделей
  • использует продвинутые методы семплирования
  • применяет авторегрессионные генеративные модели
  • Умеет тренировать автокодировщики
  • умеет тренировать вариацонные актокодировщики
  • объясняет выбор размерности латентного пространства
  • умеет тренировать генеративно-состязательные сети
  • знает пробдемы классической генеративно-состязательной сети
  • умеет тренировать и использовать WGAN
  • умеет применять нормализующие потоки для генерации изображений
  • ориентируется в перспективных разработках в области генеративных моделей
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в генеративные модели
    Основные концепции генеративных моделей. Вероятность. Условная вероятность. Правила сложения и умножения. Теорема байеса. Распределение. PDF и CDF. Маргинализация. Правила умножения. Функции от распределений. Энтропия. Расстояние Кульбака — Лейблера. Другие меры расстояния между двумя распределениями. Метрики качества. Adversarial attack.
  • Простейшие генеративные модели.
    Метод ядерной оценки плотности. Оценка Парзена-Розенблатта; Обобщения оценки; Выбор ядра; Функционалы качества. Приближение смесью нормальных распределений: EM-алгоритм; Примеры матриц ковариации. Регрессионная генеративная модель модель. Методы сэмплирования. Алгоритм Метрополиса-Гастингса. Сэмплирование по Гиббсу. Методы Монте Карло по схеме марковской цепи. Aвторегрессионные генеративные модели. Идея регрессионной модели. Идея авторегрессионной модели. Напоминание о рекурентных сетях, LSTM. Авторегрессионные модели: PixelCNN, PixelRNN, WaveNet
  • Вариационные автокодировщики
    Простые автокодировщики. Использование автокодировщиков для генерации. Проблемы подхода. Идея вариационного автокодировщика. Отличия VAE от AE. Математическая постановка VAE. Постановка обучения VAE (вариационный вывод, ELBO). Латентные переменные. Обучение VAE. Репараметризационный трюк. Итоговый алгоритм обучения VAE. Применение VAE
  • Генеративно-состязательные сети
    Постановка задачи. Общая идея GAN. Генератор. Дискриминатор. Обучение Генеративно-состязательных сетей. Проблемы GAN: коллапс мод, исчезающие градиенты. Wasserstein GAN, Cramer GAN, Boundary Equilibrium GAN, Conditional GAN. Adversarial VAE. Alpha-GAN.
  • Перспективные генеративные модели
    Нормализующие потоки. Simple flows: planar, radial. Autoregressive flow: MAF, IAF. Probability distillation (conjugacy of MAF and IAF). FFJORD, PointFlow, GLOW, VQ-VAE-2
Элементы контроля

Элементы контроля

  • неблокирующий Created with Sketch. Домашнее задание 1
    прикладные задачи по простейшим генеративным моделям и mcmc
  • неблокирующий Created with Sketch. Домашнее задание 2
    Задачи по автокодировщикам
  • неблокирующий Created with Sketch. Домашнее задание 3
    Задачи по генеративно-состязательным сетям
  • неблокирующий Created with Sketch. Домашнее задание 4
    Задачи по нормализующим потокам
  • неблокирующий Created with Sketch. Экзамен
    Экзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно.
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (3 модуль)
    0.2 * Домашнее задание 1 + 0.2 * Домашнее задание 2 + 0.2 * Домашнее задание 3 + 0.2 * Домашнее задание 4 + 0.2 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • - Гудфеллоу Я., Бенджио И., Курвилль А. — Глубокое обучение - Издательство "ДМК Пресс" - 2018 - ISBN: 978-5-97060-618-6 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/107901
  • - Паттерсон Дж., Гибсон А. — Глубокое обучение с точки зрения практика - Издательство "ДМК Пресс" - 2018 - ISBN: 978-5-97060-481-6 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/116122

Рекомендуемая дополнительная литература

  • - Рашка С. — Python и машинное обучение: крайне необходимое пособие по новейшей предсказательной аналитике, обязательное для более глубокого понимания методологии машинного обучения - Издательство "ДМК Пресс" - 2017 - ISBN: 978-5-97060-409-0 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/100905
  • Hastie, T., Tibshirani, R., Friedman, J. The elements of statistical learning: Data Mining, Inference, and Prediction. – Springer, 2009. – 745 pp.
  • James, G. et al. An introduction to statistical learning. – Springer, 2013. – 426 pp.
  • Muller, A. C., & Guido, S. (2017). Introduction to machine learning with Python: a guide for data scientists. O’Reilly Media. (HSE access: http://ebookcentral.proquest.com/lib/hselibrary-ebooks/detail.action?docID=4698164)
  • Лагутин М.Б. - Наглядная математическая статистика: учебное пособие - Издательство "Лаборатория знаний" (ранее "БИНОМ. Лаборатория знаний") - 2019 - ISBN: 978-5-00101-642-7 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/116104