• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2020/2021

Байесовские методы в анализе данных

Статус: Курс обязательный (Финансовые технологии и анализ данных)
Направление: 01.04.02. Прикладная математика и информатика
Когда читается: 2-й курс, 1 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для своего кампуса
Прогр. обучения: Финансовые технологии и анализ данных
Язык: русский
Кредиты: 6

Программа дисциплины

Аннотация

Изучение дисциплины «Байесовские методы машинного обучения» нацелено на освоение байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. Предполагается, что в результате освоения курса студенты будут способны строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели на компьютере.
Цель освоения дисциплины

Цель освоения дисциплины

  • Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения.
  • Приобретение навыков построения вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере.
Планируемые результаты обучения

Планируемые результаты обучения

  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные).
  • Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения.
  • Уметь выбирать подходящий метод обучения для данных моделей.
  • Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
  • Уметь эффективно реализовывать данные модели на компьютере.
  • Знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, байесовский метод главных компонент, LDA и т.д.).
  • Знать основные методы генерации выборки из ненормированного вероятностного распределения.
  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные)
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Байесовский подход к теории вероятностей. Полный байесовский вывод.
    Введение. Частотный и байесовский подходы к теории вероятностей. Примеры байесовских рассуждений. Сопряжённые распределения. Примеры. Экспоненциальный класс распределений, его свойства.
  • Байесовский выбор модели.
    Принцип наибольшей обоснованности. Интерпретация понятия обоснованности, ее геометрический смысл, иллюстративные примеры, связь с принципом Оккама.
  • Модель релевантных векторов для задачи регрессии.
    Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Свойства решающего правила. Матричные вычисления и нормальное распределение.
  • ЕМ-алгоритм.
    EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Байесовский метод главных компонент.
  • Вариационный подход.
    Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной смеси нормальных распределений.
  • Методы Монте Карло по схеме марковских цепей (МСМС).
    Методы генерации выборки из одномерных распределений. Методы MCMC для оценки статистик вероятностных распределений. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса и схема Гиббса. Примеры использования.
  • Гауссовские процессы для задачи регрессии.
    Гауссовские случайные процессы. Выбор ковариационной функции.
  • Тематическая модель Latent Dirichlet Allocation (LDA).
    Обучение и вывод в модели LDA с помощью вариационного подхода. Вывод в модели LDA с помощью схемы Гиббса. Способы использования LDA.
  • Стохастический вариационный вывод. Вариационный автокодировщик.
    Схема масштабируемого вариационного вывода. Дважды стохастическая процедура настройки байесовских нейросетевых моделей на примере модели нелинейного понижения размерности.
  • Байесовские нейронные сети.
    Определение и обучение байесовской нейронной сети. Примеры применения: байесовская интерпретация бинарного дропаута, разреживание нейронных сетей.
Элементы контроля

Элементы контроля

  • неблокирующий Домашние задания
  • неблокирующий Экзамен
  • неблокирующий Домашние задания
  • неблокирующий Экзамен
  • неблокирующий Контрольная работа
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (1 модуль)
    0.5 * Домашние задания + 0.5 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705
  • Mohri, M., Talwalkar, A., & Rostamizadeh, A. (2012). Foundations of Machine Learning. Cambridge, MA: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=478737

Рекомендуемая дополнительная литература

  • Michael E. Tipping, & Alex Smola. (2001). Sparse Bayesian Learning and the Relevance Vector Machine. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E06406A3
  • Tipping, M. E. (2001). Sparse Bayesian Learning and the Relevance Vector Machine. Journal of Machine Learning Research, 1(3), 211–244. https://doi.org/10.1162/15324430152748236