Магистратура
2021/2022
Байесовские методы в машинном обучении
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс по выбору (Машинное обучение и анализ данных)
Направление:
01.04.02. Прикладная математика и информатика
Кто читает:
Департамент информатики
Когда читается:
2-й курс, 1, 2 модуль
Формат изучения:
с онлайн-курсом
Охват аудитории:
для своего кампуса
Преподаватели:
Кузнецов Антон Михайлович
Прогр. обучения:
Машинное обучение и анализ данных
Язык:
русский
Кредиты:
3
Контактные часы:
56
Программа дисциплины
Аннотация
Целями освоения дисциплины являются: освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения и приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере. В результате изучения дисциплины студент будет: - знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.); - знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные); - знать основные методы генерации выборки из ненормированного вероятностного распределения; - уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения; - уметь выбирать наиболее подходящий метод обучения для данных моделей; - уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей; - уметь эффективно реализовывать данные модели на компьютере. Является дисциплиной по выбору.
Цель освоения дисциплины
- Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения.
- Приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере.
Планируемые результаты обучения
- Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Знать основные методы генерации выборки из ненормированного вероятностного распределения.
- Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках/ Уметь эффективно реализовывать данные модели на компьютере.
- Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей. Уметь эффективно реализовывать данные модели на компьютере.
- Знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.). Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения.
- Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
- Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения. Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
- Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения. Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей. Уметь эффективно реализовывать данные модели на компьютере.
Содержание учебной дисциплины
- Байесовский подход к теории вероятностей. Полный байесовский вывод.
- Байесовский выбор модели
- Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации.
- ЕМ-алгоритм.
- Вариационный подход
- Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС.
- Гауссовские процессы для регрессии и классификации.
- Тематическая модель Latent Dirichlet Allocation (LDA).
- Стохастический вариационный вывод. Вариационный автокодировщик.
Элементы контроля
- Домашнее задание
- Домашнее задание
- Домашнее задание
- ЭкзаменЭкзамен проводится на платформе Zoom. Экзамен проводится в устной форме (опрос по материалам курса). По просьбе преподавателя студент должен быть готов выполнить некоторые задания в письменном виде, после чего сфотографировать и выслать на почту преподавателю. К экзамену необходимо подключиться согласно расписанию, высланному преподавателем на корпоративные почты студентов накануне экзамена. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка платформы Zoom. Для участия в экзамене студент обязан: выбрать себе имя в Zoom совпадающее с его именем и фамилией, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещается выключать камеру. Ипользование конспектов или других справочных материалов допускается только с разрешения преподавателя. Кратковременным нарушением связи во время экзамена считается нарушение связи менее 5 минут. Долговременным нарушением связи во время экзамена считается нарушение 5 минут и более. При долговременном нарушении связи возможность продолжения студентом участие в экзамене определяется преподавателем. Процедура пересдачи подразумевает использование усложненных заданий.
Промежуточная аттестация
- 2021/2022 учебный год 2 модуль0.2 * Домашнее задание + 0.2 * Домашнее задание + 0.4 * Экзамен + 0.2 * Домашнее задание
Список литературы
Рекомендуемая основная литература
- Barber, D. (2012). Bayesian Reasoning and Machine Learning. Cambridge: Cambridge eText. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=432721
Рекомендуемая дополнительная литература
- Hoffman, M. D., & Blei, D. M. (2014). Structured Stochastic Variational Inference. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1404.4114