Глубинное обучение: дополнительные главы

2020/2021

Учебный год

RUS

Обучение ведется на русском языке

8

Кредиты

Кто читает:

Базовая кафедра Яндекс (Департамент больших данных и информационного поиска)

Статус:

Курс по выбору

Когда читается:

2-й курс, 1, 2 модуль

Программа дисциплины

Аннотация

Курс посвящен "глубинному обучению", т.е. новому поколению методов, основанному на многослойных нейронных сетях и позволившему радикально улучшить работу систем распознавания образов и искусственного интеллекта. В данном курсе будут покрыты все основные темы, но преимущественное внимание будет посвящаться наиболее современным техникам и методам.

Цель освоения дисциплины

• Ознакомление с основными принципами глубинного обучения, знакомство с важнейшими задачами, которые решаются с их помощью, и популярными архитектурами.

Планируемые результаты обучения

• Иметь представление об основных видах слоёв и функций активаций, а также об алгоритме обратного распространения ошибки.
• Уметь использовать модификации стохастического градиентного спуска для обучения нейронных сетей
• Иметь представление о свёрточных нейронных сетях, об эволюции свёрточных архитектур, об используемых в свёрточных нейросетях функциях активации
• Иметь представление о свойствах представлений, возникающих в промежуточных слоях свёрточных нейросетях.
• Иметь представление о нейросетевых архитектурах, используемых для решения задач семантической сегментации и детектирования
• Иметь представление о глубинных автоэнкодерах, в том числе о вариационных автокодировщиках
• Иметь представление о генеративных архитектурах на основе адверсариального подхода
• Уметь обучать рекуррентные нейронные сети
• Уметь решать задачи трансформации последовательностей с помощью архитектур на основе рекуррентных нейронных сетей
• Иметь представление об архитектурах для работы с облаками точек и о графовых нейронных сетях

Содержание учебной дисциплины

• Введение
  Глубинные сети и их слои. Обратное распространение ошибки. Дропаут.
• Оптимизация для глубинного обучения
  Минимизация эмпирического риска. SGD. SGD по батчам. Momentum. Adagrad. RMSProp. Adadelta. Adam. Техники инициализации. Batch Normalization.
• Свёрточные сети
  Свёртки и их параметры. ReLU. Пулинг. Свёрточные архитектуры.
• Представления внутри свёрточных сетей
  pattern Sensitivity. Визуализация промежуточных слоёв. Network Dissection. Inceptionism. Adversatial примеры. Генерация изображений с помощью обращения свёрточных сетей. Deep Dream. Fine tuning для свёрточных нейронных сетей.
• Использование свёрточных сетей в задачах компьютерного зрения.
  Архитектуры для семинтической сегментации. Архитектуры для детекции объектов.
• Модели с латентными переменными и автоэнкодеры
  Глубинные автоэнкодеры. VAE
• Adversarial Learning
  GAN'ы и их модификации
• Моделирование последовательностей
  Рекуррентные нейронные сети. Борьба с затуханием и взрывом градиента. Модификации: GRU, LSTM,...
• Seq2seq
  Постановка задачи. Архитектура энкодер-декодер. Механизмы внимания. Трансформер.
• Нейронные сети для работы с облаками точек и графами
  Архитектуры для работы с облаками точек. Графовые нейронные сети

Элементы контроля

• Домашняя работа 1
• Домашняя работа 2
• Экзамен
• Домашняя работа 1
• Домашняя работа 2
• Экзамен

Промежуточная аттестация

• Промежуточная аттестация (2 модуль)
  0.3 * Домашняя работа 1 + 0.3 * Домашняя работа 2 + 0.4 * Экзамен

Список литературы

Рекомендуемая основная литература

• Yu, C., Wang, J., Chen, Y., & Huang, M. (2019). Transfer Learning with Dynamic Adversarial Adaptation Network. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1909.08184
• Zhang, J., Han, B., Niu, G., Liu, T., & Sugiyama, M. (2019). Where is the Bottleneck of Adversarial Learning with Unlabeled Data? Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1911.08696
• Компьютерное зрение : учеб. пособие для студентов вузов, Шапиро, Л., 2006
• Методы оптимизации : учеб. пособие, Дегтярев, Ю. И., 1980
• Методы оптимизации и принятия решений : Учеб. пособие, Черноруцкий, И. Г., 2001

Рекомендуемая дополнительная литература

• Karnadud Ye.N., & Yaroshik A.A. (2018). Modern Trends in Production Personnel Safety Provision at Coal Industry Enterprises. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6FB473CE
• Асхатова, Л., Галимов, Э., & Габдуллин, И. (2015). Компьютерное Зрение. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6F41AB6F
• Компьютерное зрение : современный подход, Форсайт, Д., 2004
• Математические методы оптимизации и экономическая теория, Интрилигатор, М., 2002