Магистратура
2019/2020
Глубинное обучение: дополнительные главы
Статус:
Курс по выбору (Науки о данных)
Направление:
01.04.02. Прикладная математика и информатика
Кто читает:
Базовая кафедра Яндекс
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Преподаватели:
Бабенко Максим Александрович
Прогр. обучения:
Науки о данных
Язык:
русский
Кредиты:
8
Контактные часы:
56
Программа дисциплины
Аннотация
Курс посвящен "глубинному обучению", т.е. новому поколению методов, основанному на многослойных нейронных сетях и позволившему радикально улучшить работу систем распознавания образов и искусственного интеллекта. В данном курсе будут покрыты все основные темы, но преимущественное внимание будет посвящаться наиболее современным техникам и методам.
Цель освоения дисциплины
- Ознакомление с основными принципами глубинного обучения, знакомство с важнейшими задачами, которые решаются с их помощью, и популярными архитектурами.
Планируемые результаты обучения
- Иметь представление об основных видах слоёв и функций активаций, а также об алгоритме обратного распространения ошибки.
- Уметь использовать модификации стохастического градиентного спуска для обучения нейронных сетей
- Иметь представление о свёрточных нейронных сетях, об эволюции свёрточных архитектур, об используемых в свёрточных нейросетях функциях активации
- Иметь представление о свойствах представлений, возникающих в промежуточных слоях свёрточных нейросетях.
- Иметь представление о нейросетевых архитектурах, используемых для решения задач семантической сегментации и детектирования
- Иметь представление о глубинных автоэнкодерах, в том числе о вариационных автокодировщиках
- Иметь представление о генеративных архитектурах на основе адверсариального подхода
- Уметь обучать рекуррентные нейронные сети
- Уметь решать задачи трансформации последовательностей с помощью архитектур на основе рекуррентных нейронных сетей
- Иметь представление об архитектурах для работы с облаками точек и о графовых нейронных сетях
Содержание учебной дисциплины
- ВведениеГлубинные сети и их слои. Обратное распространение ошибки. Дропаут.
- Оптимизация для глубинного обученияМинимизация эмпирического риска. SGD. SGD по батчам. Momentum. Adagrad. RMSProp. Adadelta. Adam. Техники инициализации. Batch Normalization.
- Свёрточные сетиСвёртки и их параметры. ReLU. Пулинг. Свёрточные архитектуры.
- Представления внутри свёрточных сетейpattern Sensitivity. Визуализация промежуточных слоёв. Network Dissection. Inceptionism. Adversatial примеры. Генерация изображений с помощью обращения свёрточных сетей. Deep Dream. Fine tuning для свёрточных нейронных сетей.
- Использование свёрточных сетей в задачах компьютерного зрения.Архитектуры для семинтической сегментации. Архитектуры для детекции объектов.
- Модели с латентными переменными и автоэнкодерыГлубинные автоэнкодеры. VAE
- Adversarial LearningGAN'ы и их модификации
- Моделирование последовательностейРекуррентные нейронные сети. Борьба с затуханием и взрывом градиента. Модификации: GRU, LSTM,...
- Seq2seqПостановка задачи. Архитектура энкодер-декодер. Механизмы внимания. Трансформер.
- Нейронные сети для работы с облаками точек и графамиАрхитектуры для работы с облаками точек. Графовые нейронные сети
Промежуточная аттестация
- Промежуточная аттестация (2 модуль)0.3 * Домашняя работа 1 + 0.3 * Домашняя работа 2 + 0.4 * Экзамен
Список литературы
Рекомендуемая основная литература
- Yu, C., Wang, J., Chen, Y., & Huang, M. (2019). Transfer Learning with Dynamic Adversarial Adaptation Network. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1909.08184
- Zhang, J., Han, B., Niu, G., Liu, T., & Sugiyama, M. (2019). Where is the Bottleneck of Adversarial Learning with Unlabeled Data? Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1911.08696
- Компьютерное зрение : учеб. пособие для студентов вузов, Шапиро, Л., 2006
- Методы оптимизации : учеб. пособие, Дегтярев, Ю. И., 1980
- Методы оптимизации и принятия решений : Учеб. пособие, Черноруцкий, И. Г., 2001
Рекомендуемая дополнительная литература
- Karnadud Ye.N., & Yaroshik A.A. (2018). Modern Trends in Production Personnel Safety Provision at Coal Industry Enterprises. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6FB473CE
- Асхатова, Л., Галимов, Э., & Габдуллин, И. (2015). Компьютерное Зрение. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6F41AB6F
- Компьютерное зрение : современный подход, Форсайт, Д., 2004
- Математические методы оптимизации и экономическая теория, Интрилигатор, М., 2002