Statistical Principles in Machine Learning

2021/2022

Academic Year

RUS

Instruction in Russian

4

ECTS credits

Delivered at:

Joint Department with Yandex (Big Data and Information Retrieval School)

Course type:

Elective course

When:

1 year, 3, 4 module

Instructor

Burnaev, Evgeny V.

Программа дисциплины

Аннотация

В этом курсе разобран ряд методов статистики, которые зачастую не включены в программы стандартных курсов математической статистики. Например, это методы непараметрической регрессии, бутстрепа, сглаживания на основе разложения по ортогональным базисам, снижения размерности, анализа чувствительности и т.п. Показано, как идеи из математической статистики могут применяться в современных методах машинного обучения для улучшения существующих процедур анализа и обработки данных. Кроме того, рассмотрены методы суррогатного моделирования.

Цель освоения дисциплины

• Владеть современными методами статистики
• Понимать теорию, лежащую в основе современных методов статистики
• Уметь использовать современные методы математической статистики в практических задачах

Планируемые результаты обучения

• Владеть байесовским подходом к оцениванию параметров распределений.
• Иметь представление о вероятностных моделях понижения размерности данных.
• Иметь представления о свойствах оценок, полученных с помощью метода моментов и метода максимального правдоподобия.
• Уметь понижать размерность данных с помощью матричных разложений.
• Уметь проверять гипотезы о статистической значимости коэффициентов линейной регрессии.
• Уметь строить доверительные интервалы для коэффициентов линейной регрессии.
• Уметь строить доверительные интервалы для неизвестных параметров распределений.
• Уметь строить и проверять статистические гипотезы Понимать смысл p-value в статистических критериях и уметь их интерпретировать.
• Уметь строить непараметрические модели регрессии.
• Уметь строить непараметрические оценки распределений.
• Уметь строить оценки параметров распределений с помощью метода моментов и метода максимального правдоподобия.

Содержание учебной дисциплины

• Оценка параметров
• Проверка гипотез
• Линейная регрессия
• Непараметрическое оценивание
• Байесовский подход к регрессии
• Методы понижения размерности

Элементы контроля

• Домашнее задание 1
• Домашнее задание 2
• Домашнее задание 3
• Экзамен

Промежуточная аттестация

• 2021/2022 учебный год 4 модуль
  0.2 * Домашнее задание 1 + 0.2 * Домашнее задание 2 + 0.4 * Экзамен + 0.2 * Домашнее задание 3

Список литературы

Рекомендуемая основная литература

• The elements of statistical learning : data mining, inference, and prediction, Hastie, T., 2017
• Yang, Y. (2005). Information Theory, Inference, and Learning Algorithms. David J. C. MacKay. Journal of the American Statistical Association, 1461. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsrep&AN=edsrep.a.bes.jnlasa.v100y2005p1461.1462
• Прикладная статистика : основы моделирования и первичная обработка данных: справочное изд., Айвазян, С. А., 1983

Рекомендуемая дополнительная литература

• Wasserman, L. All of nonparametric statistics. – Springer Science & Business Media, 2006. – 270 pp.