Магистратура 2020/2021

Методы многомерной статистики

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс обязательный (Математика машинного обучения)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент анализа данных и искусственного интеллекта

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 3 модуль

Формат изучения: без онлайн-курса

Преподаватели: Пари Кентан Поль Бернар

Прогр. обучения: Статистическая теория обучения

Язык: английский

Кредиты: 6

Контактные часы: 32

Course Syllabus

Abstract

The course presents an introduction to modern statistical and probabilistic methods for data analysis, emphasising finite sample guarantees and problems arising from high-dimensional data. The course is mathematically oriented and level of the material ranges from a solid undergraduate to a graduate level. Topics studied include for instance Concentration Inequalities, High Dimensional Linear Regression and Matrix estimation. Prerequisite: Probability Theory.

Learning Objectives

• Understand the effect of dimensionality on the performance of statistical methods
• Popular methods adapted to the high-dimensional setting

Expected Learning Outcomes

• knowledge of what a sub-gaussian random variable is.
• Understanding the behaviour of suprema of random variables
• BIC, LASSO and SLOPE methods for high-dimensional linear regression
• Knowledge of basic probabilistic results related to random matrices and useful in statistics.

Course Contents

• Сoncentration of sums of independent random variables
  Subgaussian distributions; Subgamma distributions.
• Suprema
  Finite case; Suprema over convex polytopes; Covering and packing numbers; Chaining bounds.
• High dimensional regression
  BIC, LASSO and SLOPE estimators.
• Statistics and random matrices
  Analysis and probability with matrices; Matrix version of Bernstein’s inequality; High dimensional PCA and random projections.

Assessment Elements

• Home assignment 1
• Home assignment 2
• Final written test
  Оценка за дисциплину выставляется в соответствии с формулой оценивания от всех пройденных элементов контроля. Экзамен не проводится.

Interim Assessment

• Interim assessment (3 module)
  0.2 * Final written test + 0.4 * Home assignment 1 + 0.4 * Home assignment 2

Bibliography

Recommended Core Bibliography

• Boucheron, S., Lugosi, G., Massart, P. Concentration inequalities: A nonasymptotic theory of independence. – Oxford university press, 2013.

Recommended Additional Bibliography

• Cover, Thomas M., Thomas, Joy A. Elements of information theory. – Wiley-Interscience [John Wiley & Sons], Hoboken, NJ, 2006. – 774 pp.