Generative Models in Machine Learning

2020/2021

Academic Year

RUS

Instruction in Russian

4

ECTS credits

Delivered at:

Big Data and Information Retrieval School

Course type:

Elective course

When:

4 year, 3 module

Instructors

Artemev, Maksim

Derkach, Denis

Ryzhikov, Artem

Программа дисциплины

Аннотация

Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.

Цель освоения дисциплины

• ознакомление студентов с современными генеративными моделями
• обучение использованию вариационных автокодировщиков для генерации новых объектов
• обучение использования генеративно-состязательных сетей для генерации новых объектов
• обучение использования нормализирующих потоков для генерации изображений

Планируемые результаты обучения

• понимает разницу между генеративными и дискриминативными моделями
• владеет необходимым аппаратом теории вероятностей
• знает способы задания расстояний между распределениями
• использует различные метрики качества для проверки генеративных моделей
• Умеет тренировать автокодировщики
• умеет тренировать вариацонные актокодировщики
• объясняет выбор размерности латентного пространства
• умеет применять нормализующие потоки для генерации изображений
• ориентируется в перспективных разработках в области генеративных моделей

Содержание учебной дисциплины

• Введение в генеративные модели
  Основные концепции генеративных моделей. Формальная постановка задачи и размерность сигнала. Автокодировщики как генеративные модели, разреженный и шумоподавляющий автокодировщики. Расстояния между распределениями, дивергенция Кульбака-Лейблера, Йенсена-Шеннона и другие. Способы оценки качества генеративных моделей. Примеры построения метрик.
• Генеративно-состязательные сети и вариационные автокодировщики
  Постановка задачи. Общая идея генеративно-состязательных сетей. Генератор. Дискриминатор. Обучение Генеративно-состязательных сетей. Проблемы классических генеративно-состязательных сетей: коллапс мод, исчезающие градиенты. Возможности решения проблем. f-GAN, сходимость произвольных дивергенций. Задача оптимального транспорта. Расстояние Васерштейна, и его использование в генеративно-состязательных сетях (WGAN), проблемы подхода. Смещённые градиенты расстояния Васерштейна. Градиентный штраф и спектральная нормализация. Задача сверхразрешения. Перенос стиля. Парный и непарный перевод. Идея вариационного автокодировщика (VAE). Математическая постановка. Вариационный вывод, нижняя граница обоснованности (ELBO). Скрытые переменные. Обучение VAE. Репараметризационный трюк. Итоговый алгоритм обучения VAE. Применение VAE. Скрытые переменные. Исследование скрытого пространства для генеративно-состязательных сетей и вариационных автокодировщиков. Объединение идей GAN и VAE: состязательные автокодировщики (AAE (Adversarial Autoencoder), VEEGAN (Variational Encoder Enhancement to Generative Adversarial Network). Векторная квантизация VAE (VQ-VAE) и генерация текстов.
• Обратимые модели
  Обратимость в генеративных моделях. Авторегрессионные генеративные модели, идея. PixelCNN, PixelRNN. Генерация текстов с помощью pixeRNN. Нормализующие потоки. Планарный и радиальный потоки. Подсчёт Якобиана. Авторегрессионные потоки: Маскированный авторегрессионный поток, Инвертированный авторегрессионный поток. Дистилляция вероятностей. Модель учитель-ученик. Поиск аномалий генеративными моделями. Генерация звука с помощью Parallel Wavenet. Дискретные нормализующие потоки, генерация текстов с помощью норм потоков. Применение нейронных сетей-трансформеров для генерации текстов. Генеративные потоки со свёртками (GLOW). Обратимые свёрточные нейросети (i-DenseNet). Переход к непрерывному времени, FFJORD. Генерация 3D облака точек с помощью непрерывных нормализующих потоков (pointFlow).

Элементы контроля

• Домашнее задание 1
  прикладные задачи по простейшим генеративным моделям и mcmc
• Домашнее задание 2
  Задачи по автокодировщикам
• Домашнее задание 3
  Задачи по генеративно-состязательным сетям
• Домашнее задание 4
  Задачи по нормализующим потокам
• Экзамен
  Экзамен состоит из теоретических вопросов, освещённых на лекциях, проходит письменно. Экзамен проходит в дистанционной форме в системе Zoom. Технические требования: web-камера, микрофон,, колонки / наушники., Zoom.
• Проект

Промежуточная аттестация

• Промежуточная аттестация (3 модуль)
  0.16 * Домашнее задание 1 + 0.16 * Домашнее задание 2 + 0.16 * Домашнее задание 3 + 0.16 * Домашнее задание 4 + 0.16 * Проект + 0.2 * Экзамен

Список литературы

Рекомендуемая основная литература

• Гудфеллоу Я., Бенджио И., Курвилль А. - Глубокое обучение - Издательство "ДМК Пресс" - 2018 - 652с. - ISBN: 978-5-97060-618-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/107901
• Паттерсон Дж., Гибсон А. - Глубокое обучение с точки зрения практика - Издательство "ДМК Пресс" - 2018 - 418с. - ISBN: 978-5-97060-481-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/116122