• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2022/2023

Байесовские методы в машинном обучении

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Направление: 01.03.02. Прикладная математика и информатика
Когда читается: 4-й курс, 1, 2 модуль
Формат изучения: без онлайн-курса
Охват аудитории: для своего кампуса
Преподаватели: Ветров Дмитрий Петрович, Ракитин Денис Романович, Южаков Тимофей Алексеевич
Язык: русский
Кредиты: 5
Контактные часы: 60

Программа дисциплины

Аннотация

Изучение дисциплины «Байесовские методы машинного обучения» нацелено на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. Предполагается, что в результате освоения курса студенты будут способны строить комплексные вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели на компьютере.
Цель освоения дисциплины

Цель освоения дисциплины

  • Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения.
  • Приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере.
Планируемые результаты обучения

Планируемые результаты обучения

  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные)
  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные).
  • Знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.)
  • Знать основные методы генерации выборки из ненормированного вероятностного распределения
  • Уметь выбирать наиболее подходящий метод обучения для данных моделей
  • Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей
  • Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения
  • Уметь эффективно реализовывать данные модели на компьютере
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Байесовский подход к теории вероятностей. Полный байесовский вывод.
  • Байесовский выбор модели.
  • Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации
  • ЕМ-алгоритм
  • Вариационный подход
  • Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС
  • Гауссовские процессы для регрессии и классификации
  • Тематическая модель Latent Dirichlet Allocation (LDA)
  • Стохастический вариационный вывод. Вариационный автокодировщик
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание (теоретические)
    3 теоретических домашних задания (решение теоретических задач по материалам лекций)
  • неблокирующий Домашнее задание (лабораторные)
    4 домашних лабораторных работы (выполнение короткого практического задания на закрепление материала)
  • блокирующий Устный экзамен
  • неблокирующий Домашнее задание (практические)
    2 практических домашних задания (вывод формул, программная реализация модели, проведение экспериментов, написание полного отчета).
Промежуточная аттестация

Промежуточная аттестация

  • 2022/2023 учебный год 2 модуль
    0.171 * Домашнее задание (теоретические) + 0.3 * Домашнее задание (практические) + 0.229 * Домашнее задание (лабораторные) + 0.3 * Устный экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Barber, D. (2012). Bayesian Reasoning and Machine Learning. Cambridge: Cambridge eText. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=432721
  • Christopher M. Bishop. (n.d.). Australian National University Pattern Recognition and Machine Learning. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EBA0C705
  • Hoffman, M., Blei, D. M., Wang, C., & Paisley, J. (2012). Stochastic Variational Inference. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1206.7051
  • Kingma, D. P., & Welling, M. (2013). Auto-Encoding Variational Bayes. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1312.6114
  • Matthew D. Hoffman, David M. Blei, Chong Wang, John Paisley, & Tommi Jaakkola. (2013). Stochastic variational inference. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.5C2D1B3B

Рекомендуемая дополнительная литература

  • Tipping, M. E. (2001). Sparse Bayesian Learning and the Relevance Vector Machine. Journal of Machine Learning Research, 1(3), 211–244. https://doi.org/10.1162/15324430152748236

Авторы

  • Лобачева Екатерина Максимовна
  • Ветров Дмитрий Петрович