Master 2019/2020

Deep Learning

Category 'Best Course for Career Development'

Category 'Best Course for Broadening Horizons and Diversity of Knowledge and Skills'

Category 'Best Course for New Knowledge and Skills'

Type: Compulsory course (Big Data Analysis in Business, Economy, and Society)

Area of studies: Applied Mathematics and Informatics

Delivered by: Department of Mathematics

Where: St. Petersburg School of Physics, Mathematics, and Computer Science

When: 2 year, 1, 2 module

Mode of studies: offline

Instructors: Sergey I. Nikolenko

Master’s programme: Big Data Analysis for Business, Economy, and Society

Language: English

ECTS credits: 6

Contact hours: 64

Course Syllabus

Abstract

Целями освоения дисциплины «Глубокое обучение» являются  формирование теоретических знаний о математических методах поиска и анализа данных для принятия и реализации решений.  формирование представление о системах поддержки принятия решений. В рамках курса изучаются такие разделы, как "Графические модели", "Основы нейронных сетей", "Специальные виды нейронных сетей" и "Выбор стратегий с помощью нейросетей".

Learning Objectives

• формирование теоретических знаний о математических методах поиска и анализа данных для принятия и реализации решений.
• формирование представление о системах поддержки принятия решений

Expected Learning Outcomes

• демонстрирует знание определений и примеров графических моделей
• знает методы сэмплирования
• демонстрирует знание байесовских рейтинг-систем
• демонстрирует знание видов функций активации
• демонстрирует знание основ нейронных сетей
• демонстрирует знание метода моментов и методов второго порядка
• демонстрирует знание рекуррентных и сверточных сетей
• демонстрирует знание глубоких сетей для обработки текстов
• умеет выбирать стратегии с помощью нейросетей
• умеет применять нейробайесовские методы

Course Contents

• Графические модели
  Графические модели: определения, обозначения, примеры. Маргинализация в общем виде, вывод на графе без циклов. Вывод на графе с циклами: вариационные приближения. Алгоритм EM в общем виде. Сэмплирование как метод приближённого вычисления. Методы сэмплирования. Тематическое моделирование и модель LDA. Вывод в моделях со сложными факторами: Expectation Propagation. Байесовские рейтинг-системы.
• Основы нейронных сетей
  Нейронные сети: перцептрон. Виды функций активации. Обучение одного перцептрона. История развития нейронных сетей. Градиентный спуск. Обратное распространение градиента на графе вычислений. Как сделать градиентный спуск быстрее и лучше. Метод моментов, методы второго порядка и другие трюки. Регуляризация в нейронных сетях. Дропаут и его мотивация. Другие методы.
• Специальные виды нейронных сетей
  Рекуррентные сети: базовые архитектуры, LSTM, GRU. Свёрточные сети: архитектуры, как обучать, для чего они нужны. Глубокие сети для обработки текстов I: распределённые представления слов. Глубокие сети для обработки текстов II: рекурсивные нейронныесети, сети со стеком, сети с памятью.
• Выбор стратегий с помощью нейросетей
  Обучение с подкреплением: основы, определения, классические алгоритмы Как работает AlphaGo: обучение с подкреплением на глубоких сетях. DQN. Соединяем байесовский вывод и глубокие сети: нейробайесовские методы.

Assessment Elements

• Домашнее задание
• Контрольная работа
• Экзамен

Interim Assessment

• Interim assessment (2 module)
  0.36 * Домашнее задание + 0.24 * Контрольная работа + 0.4 * Экзамен

Bibliography

Recommended Core Bibliography

• Murphy, K. P. (2012). Machine Learning : A Probabilistic Perspective. Cambridge, Mass: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=480968

Recommended Additional Bibliography

• Hetland, M. L. (2014). Python Algorithms : Mastering Basic Algorithms in the Python Language (Vol. Second edition). [New York, N.Y.]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1174465