Магистратура
2019/2020
Байесовские методы в машинном обучении
Статус:
Курс по выбору (Анализ больших данных в бизнесе, экономике и обществе)
Направление:
01.04.02. Прикладная математика и информатика
Кто читает:
Департамент математики
Когда читается:
1-й курс, 3 модуль
Формат изучения:
с онлайн-курсом
Преподаватели:
Сироткин Александр Владимирович
Прогр. обучения:
Анализ больших данных в бизнесе, экономике и обществе
Язык:
английский
Кредиты:
3
Контактные часы:
4
Course Syllabus
Abstract
Цели: 1. Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения. 2. Приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере. В рамках данной дисциплины изучаются такие разделы, как "Байесовский подход к теории вероятностей", "Байесовский выбор модели", "Модель релевантных векторов для задачи регрессии", "ЕМ-алгоритм", "Вариационный подход", "Методы Монте Карло по схеме марковских цепей", "Гауссовские процессы", " Latent Dirichlet Allocation", "Стохастический вариационный вывод".
Learning Objectives
- Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения
- Приобретение навыков построения комплексныx вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере
Expected Learning Outcomes
- Знает основные методы обучения и вывода в вероятностных моделях (точные и приближенные)
- Умеет выбирать наиболее подходящий метод обучения для данных моделей
- Умеет выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей
- Умеет эффективно реализовывать данные модели на компьютере
- Умеет строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения
- Умеет выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
- Знает основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.).
- Знает основные методы обучения и вывода в вероятностных моделях (точные и приближенные).
- Знает основные методы генерации выборки из ненормированного вероятностного распределения
Course Contents
- Байесовский подход к теории вероятностей. Полный байесовский вывод.Введение. Частотный и байесовский подходы к теории вероятностей. Примеры байесовских рассуждений. Сопряжённые распределения. Примеры. Экспоненциальный класс распределений, его свойства.
- Байесовский выбор модели.Принцип наибольшей обоснованности. Интерпретация понятия обоснованности, ее геометрический смысл, иллюстративные примеры, связь с принципом Оккама
- Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации.Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Свойства решающего правила. Матричные вычисления и нормальное распределение. Логистическая и мультиномиальная регрессия. Метод релевантных векторов для задачи классификации. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки.
- ЕМ-алгоритм.EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Байесовский метод главных компонент.
- Вариационный подход.Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной смеси нормальных распределений.
- Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС.Методы генерации выборки из одномерных распределений. Методы MCMC для оценки статистик вероятностных распределений. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса и схема Гиббса. Примеры использования. Продвинутые методы самплирования, использующие градиент лог-правдоподобия. Динамика Гамильтона и Ланжевена. Масштабируемые обобщения этих методов
- Гауссовские процессы для регрессии и классификации.Гауссовские случайные процессы. Выбор наиболее адекватной ковариационной функции.
- Тематическая модель Latent Dirichlet Allocation (LDA).Обучение и вывод в модели LDA с помощью вариационного подхода. Вывод в модели LDA с помощью схемы Гиббса. Способы использования LDA
- Стохастический вариационный вывод. Вариационный автокодировщик.Схема масштабируемого вариационного вывода. Дважды стохастическая процедура настройки байесовских нейросетевых моделей на примере модели нелинейного понижения размерности.
Assessment Elements
- Экзамен
- Домашнее задание (практическое)
- Домашнее задание (теоретическое)
- Домашнее задание (лабораторное)
Interim Assessment
- Interim assessment (3 module)0.229 * Домашнее задание (лабораторное) + 0.3 * Домашнее задание (практическое) + 0.171 * Домашнее задание (теоретическое) + 0.3 * Экзамен
Bibliography
Recommended Core Bibliography
- Matthew D. Hoffman, David M. Blei, Chong Wang, John Paisley, & Tommi Jaakkola. (2013). Stochastic variational inference. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.5C2D1B3B
Recommended Additional Bibliography
- Yang, Y. (2005). Information Theory, Inference, and Learning Algorithms. David J. C. MacKay. Journal of the American Statistical Association, 1461. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsrep&AN=edsrep.a.bes.jnlasa.v100y2005p1461.1462