• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2020/2021

Научно-исследовательский семинар

Статус: Курс обязательный (Математика машинного обучения)
Направление: 01.04.02. Прикладная математика и информатика
Когда читается: 2-й курс, 1, 2 модуль
Формат изучения: без онлайн-курса
Прогр. обучения: Статистическая теория обучения
Язык: английский
Кредиты: 6
Контактные часы: 36

Course Syllabus

Abstract

This seminar is devoted to the problems of Mathematics and Computer Science and covers areas such as Mathematical Statistics, Machine Learning, Random Matrix Theory, Optimization, Machine learning etc.
Learning Objectives

Learning Objectives

  • Ознакомление студентов с современным развитием статистической теории обучения, а также исследованиями, ведущимися в лаборатории стохастических алгоритмов и анализа многомерных данных
Expected Learning Outcomes

Expected Learning Outcomes

  • The main objective is to study modern methods of variance reduction im MCMC. The participants will learn algorithms based on control variates using Stein' approach, approach based on Poisson equation etc. We also study algorithms ULA, MALA, HMC
  • The participants will learn different methods of manifold learning (adaptive structural method, methods based on PDE etc). We also discuss upper and low bound for manifold reconstruction
  • We study energy-based models, connections with MCMC.
  • We study gradient-policy algorithms, variance reduction for such algorithms.
  • Be able to apply computation algorithms to calculate Wasserstein distance. Apply methods for image retrieval etc.
  • Способность совершенствовать и развивать свой интеллектуальный и культурный уровень
  • Способность порождать принципиально новые идеи, обладание креативностью, инициативностью
  • Способность публично представлять результаты профессиональной деятельности, в том числе с использованием информационных технологий
Course Contents

Course Contents

  • Цикл семинаров по основам статистической теории обучения
  • Цикл семинаров по анализу многомерных данных
  • Цикл семинаров по современным направлениям развития стохастических алгоритмов
  • Statistical and computational optimal transport
  • Variance reduction in MCMC algorithms
  • Manifold Learning
  • Reinforcement learning
  • GAN's
Assessment Elements

Assessment Elements

  • non-blocking часовой доклад на семинаре
  • non-blocking экзамен
    Экзамен уже состоялся в 3-ем модуле.
Interim Assessment

Interim Assessment

  • Interim assessment (2 module)
    0.5 * часовой доклад на семинаре + 0.5 * экзамен
Bibliography

Bibliography

Recommended Core Bibliography

  • Belomestny, D., Iosipoi, L., Moulines, E., Naumov, A., & Samsonov, S. (2019). Variance reduction for Markov chains with application to MCMC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1910.03643
  • Gabriel Peyré, & Marco Cuturi. (2019). Computational Optimal Transport : With Applications to Data Science. Norwell, MA: Now Publishers. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=2241984
  • Goodfellow, I. (2016). NIPS 2016 Tutorial: Generative Adversarial Networks. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1701.00160
  • Mao, H., Venkatakrishnan, S. B., Schwarzkopf, M., & Alizadeh, M. (2018). Variance Reduction for Reinforcement Learning in Input-Driven Environments. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.BAB65515
  • Villani, C. (2009). Optimal Transport : Old and New. Berlin: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=261958
  • Villani, C., Pajot, H., & Ollivier, Y. (2014). Optimal Transport : Theory and Applications. Cambridge: Cambridge University Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=770240

Recommended Additional Bibliography

  • Li, Y. (2017). Deep Reinforcement Learning: An Overview. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.281A6E8D
  • Puchkin, N., & Spokoiny, V. (2019). Structure-adaptive manifold estimation. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1906.05014