• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Advanced Deep Learning

2019/2020
Academic Year
RUS
Instruction in Russian
8
ECTS credits
Course type:
Elective course
When:
2 year, 1, 2 module

Instructor

Программа дисциплины

Аннотация

Курс посвящен "глубинному обучению", т.е. новому поколению методов, основанному на многослойных нейронных сетях и позволившему радикально улучшить работу систем распознавания образов и искусственного интеллекта. В данном курсе будут покрыты все основные темы, но преимущественное внимание будет посвящаться наиболее современным техникам и методам.
Цель освоения дисциплины

Цель освоения дисциплины

  • Ознакомление с основными принципами глубинного обучения, знакомство с важнейшими задачами, которые решаются с их помощью, и популярными архитектурами.
Результаты освоения дисциплины

Результаты освоения дисциплины

  • Иметь представление об основных видах слоёв и функций активаций, а также об алгоритме обратного распространения ошибки.
  • Уметь использовать модификации стохастического градиентного спуска для обучения нейронных сетей
  • Иметь представление о свёрточных нейронных сетях, об эволюции свёрточных архитектур, об используемых в свёрточных нейросетях функциях активации
  • Иметь представление о свойствах представлений, возникающих в промежуточных слоях свёрточных нейросетях.
  • Иметь представление о нейросетевых архитектурах, используемых для решения задач семантической сегментации и детектирования
  • Иметь представление о глубинных автоэнкодерах, в том числе о вариационных автокодировщиках
  • Иметь представление о генеративных архитектурах на основе адверсариального подхода
  • Уметь обучать рекуррентные нейронные сети
  • Уметь решать задачи трансформации последовательностей с помощью архитектур на основе рекуррентных нейронных сетей
  • Иметь представление об архитектурах для работы с облаками точек и о графовых нейронных сетях
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение
    Глубинные сети и их слои. Обратное распространение ошибки. Дропаут.
  • Оптимизация для глубинного обучения
    Минимизация эмпирического риска. SGD. SGD по батчам. Momentum. Adagrad. RMSProp. Adadelta. Adam. Техники инициализации. Batch Normalization.
  • Свёрточные сети
    Свёртки и их параметры. ReLU. Пулинг. Свёрточные архитектуры.
  • Представления внутри свёрточных сетей
    pattern Sensitivity. Визуализация промежуточных слоёв. Network Dissection. Inceptionism. Adversatial примеры. Генерация изображений с помощью обращения свёрточных сетей. Deep Dream. Fine tuning для свёрточных нейронных сетей.
  • Использование свёрточных сетей в задачах компьютерного зрения.
    Архитектуры для семинтической сегментации. Архитектуры для детекции объектов.
  • Модели с латентными переменными и автоэнкодеры
    Глубинные автоэнкодеры. VAE
  • Adversarial Learning
    GAN'ы и их модификации
  • Моделирование последовательностей
    Рекуррентные нейронные сети. Борьба с затуханием и взрывом градиента. Модификации: GRU, LSTM,...
  • Seq2seq
    Постановка задачи. Архитектура энкодер-декодер. Механизмы внимания. Трансформер.
  • Нейронные сети для работы с облаками точек и графами
    Архитектуры для работы с облаками точек. Графовые нейронные сети
Элементы контроля

Элементы контроля

  • неблокирующий Домашняя работа 1
  • неблокирующий Домашняя работа 2
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (2 модуль)
    0.3 * Домашняя работа 1 + 0.3 * Домашняя работа 2 + 0.4 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Yu, C., Wang, J., Chen, Y., & Huang, M. (2019). Transfer Learning with Dynamic Adversarial Adaptation Network. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1909.08184
  • Zhang, J., Han, B., Niu, G., Liu, T., & Sugiyama, M. (2019). Where is the Bottleneck of Adversarial Learning with Unlabeled Data? Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1911.08696
  • Компьютерное зрение : учеб. пособие для студентов вузов, Шапиро Л., Стокман Дж., 2006
  • Методы оптимизации : учеб. пособие, Дегтярев Ю. И., 1980
  • Методы оптимизации и принятия решений : Учеб. пособие, Черноруцкий И. Г., 2001

Рекомендуемая дополнительная литература

  • Karnadud Ye.N., & Yaroshik A.A. (2018). Modern Trends in Production Personnel Safety Provision at Coal Industry Enterprises. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6FB473CE
  • Асхатова, Л., Галимов, Э., & Габдуллин, И. (2015). Компьютерное Зрение. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6F41AB6F
  • Компьютерное зрение : Современный подход, Форсайт Д., Понс Ж., 2004
  • Математические методы оптимизации и экономическая теория, Интрилигатор М., Жуковой Г. И., 2002