• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Bayesian Methods for Machine Learning

2021/2022
Academic Year
RUS
Instruction in Russian
8
ECTS credits
Course type:
Elective course
When:
1 year, 1, 2 module

Instructor

Программа дисциплины

Аннотация

"Изучение дисциплины «Байесовские методы машинного обучения» нацелено на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики. Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. Предполагается, что в результате освоения курса студенты будут способны строить комплексные вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели на компьютере."
Цель освоения дисциплины

Цель освоения дисциплины

  • Освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения, формирование математического аппарата, необходимого для использования байесовских методов в машинном обучении.
Планируемые результаты обучения

Планируемые результаты обучения

  • Владеть продвинутыми методами сеплирования из заданных распределений, в том числе их масштабируемыми разновидностями
  • Использовать в практических задачах случайные процессы, в том числе с нечисловыми значениями
  • Использовать вариационный автокодировщик для сжатия данных
  • Использовать гауссовские случайные процессы, в том числе для подбора гиперпараметров алгоритмов машинного обучения
  • Использовать на практике модели тематического моделирования
  • Использовать стохастичекий и дважды стохастический вариационный вывод для масштабирования байесовского вывода
  • Понимать конценпцию вариационную вывода
  • Понимать преимущества распределений из экспоненциального класса
  • Понимать различие между частотным и байесовским подходами в статистике
  • Понимать суть понятия обоснованности
  • Уметь использовать ЕМ-алгоритм для анализа моделей со скрытыми переменными
  • Уметь использовать методы Монте-Карло для генерации значений из заданных распределений
  • Уметь использовать приближение Лапласа для оценки обоснованности в случае задачи классификации
  • Уметь использовать схемы Метрополиса-Гастингса и Гиббса
  • Уметь находить сопряжённые распределения
  • Уметь осуществлять модели на основе байесовских соображений
  • Уметь пользовать формулой Байеса для решения практических задач
  • Уметь строить вероятностные модели для задачи классификации и подбирать распределения коэффициентов с помощью байесовского подхода
  • Уметь строить вероятностные модели для задачи регрессии и подбирать распределения коэффициентов с помощью байесовского подхода
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Байесовский подход к теории вероятностей.
  • Полный байесовский вывод
  • Байесовский выбор модели
  • Модель релевантных векторов для задачи регрессии
  • Модель релевантных векторов для задачи классификации
  • ЕМ-алгоритм
  • Вариационный подход
  • Методы Монте Карло по схеме марковских цепей (МСМС)
  • Стохастические методы МСМС
  • Гауссовские процессы для регрессии и классификации
  • Тематическая модель LatentDirichletAllocation(LDA)
  • Стохастический вариационный вывод. Вариационный автокодировщик.
Элементы контроля

Элементы контроля

  • неблокирующий Домашняя работа 1
  • неблокирующий Домашняя работа 2
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • 2021/2022 учебный год 2 модуль
    0.4 * Экзамен + 0.3 * Домашняя работа 2 + 0.3 * Домашняя работа 1
Список литературы

Список литературы

Рекомендуемая основная литература

  • Байесовские методы статистического оценивания : надежность технических объектов, Савчук, В. П., 1989
  • Дифференциальные уравнения и вариационное исчисление : Учебник для вузов, Эльсгольц, Л. Э., 2000

Рекомендуемая дополнительная литература

  • Kasianov, V. A., & Goncharenko, A. V. (2015). Касьянов В. А. Вариационные принципы субъективного анализа. Модифицированный вариационный принцип Эйлера-Лагранжа. Энтропийный подход: монография / В. А. Касьянов, А. В. Гончаренко. – К.: ДП НВЦ «Приорітети», 2015. – 112 с. (ISBN 978-966-8809-67-5). Ukraine, Europe. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EAFE39DD
  • N. Demyankov A., & Н. Демьянков А. (2019). Variational inequalities and the principle of virtual displacements ; Вариационные неравенства и принцип виртуальных перемещений. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.29CC16CB
  • САУРИН ВАСИЛИЙ ВАСИЛЬЕВИЧ, & КОСТИН ГЕОРГИЙ ВИКТОРОВИЧ. (2015). Вариационные Подходы К Построению Оптимального Управления Движением Упругого Тела. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.63DD8B68