Research Seminar ''Internet Data Analysis''

2019/2020

Academic Year

RUS

Instruction in Russian

8

ECTS credits

Delivered at:

Joint Department with Yandex (Big Data and Information Retrieval School)

Course type:

Elective course

When:

2 year, 1, 2 module

Instructor

Babenko, Artem

Программа дисциплины

Аннотация

Основной целью научно-исследовательского семинара "Анализ интернет-данных" является ознакомление студентов с последними достижениями и тенденциями машинного обучения. Обзор основных фреймворков для глубинного обучения: PyTorch, tensorflow, MXNet. Анализ выложенного в открытый доступ кода современных статей. Обзор лучших практик при написании воспроизводимого кода для научных экспериментов.

Цель освоения дисциплины

• Ознакомление студентов с последними достижениями и тенденциями машинного обучения, формирование навыков чтения и понимания научных статей

Планируемые результаты обучения

• Ознакомление с последними исследованиями в области анализа интернет данных.
• Формирование навыков чтения и понимания научных статей
• Ознакомление с приложениями Data Science

Содержание учебной дисциплины

• Разбор статей по тематике анализа интернет-данных и гостевые лекции от приглашённых специалистов
  "Примеры: Разбор статьи Kirill Neklyudov, Dmitry Molchanov, Arsenii Ashukha, Dmitry Vetrov . Structured Bayesian Pruning via Log-Normal Multiplicative Noise. https://arxiv.org/abs/1705.07283 Разбор статьи Victor Yurchenko, Victor Lempitsky. Parsing Images of Overlapping Organisms with Deep Singling-Out Networks. https://arxiv.org/abs/1612.06017 Data Science в информационной безопасности (обзорная лекция) Разбор статьи Jie Hu, Li Shen, Samuel Albanie, Gang Sun, Enhua Wu. Squeeze-and-Excitation Net-works. https://arxiv.org/abs/1709.01507 Разбор статьи Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger. Densely Con-nected Convolutional Networks. https://arxiv.org/abs/1608.06993 Разбор статьи Применение Хаффмановского кодирования для сжатия векторов высокой размер-ности (обзорная лекция) Разбор статьи Исследование итеративного градиентного метода атаки на нейронную сеть (обзор-ная лекция) Разбор статьи Обнаружение электромагнитных ливней в эксперименте OPERA (обзорная лекция) Разбор статьи Результаты EmotiW 2017: Триумф мультимодальных подходов к задачам FER. (обзорная лекция) Капсульные нейросети (две обзорных лекции) Pointnet and Pointnet++, LGAN (обзорная лекция) Агрегирующие алгоритмы для долгосрочного прогнозирования (обзорная лекция) Понижение размерности и визуализация как часть задачи прогноза успеха таргетной тера-пии (обзорная лекция) Разбор статьи Ashish Kumar, Saurabh Goyal, Manik Varma. Resource-efficient Machine Learning in 2 KB RAM for the Internet of Things. http://proceedings.mlr.press/v70/kumar17a/kumar17a.pdf Разбор статьи Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton and Jeff Dean. OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER. https://openreview.net/pdf?id=B1ckMDqlg"
• Обзор приложений Data Science
  "Data Science в информационной безопасности (обзорная лекция) Разбор статьи Обнаружение электромагнитных ливней в эксперименте OPERA (обзорная лекция) Агрегирующие алгоритмы для долгосрочного прогнозирования (обзорная лекция) Понижение размерности и визуализация как часть задачи прогноза успеха таргетной терапии (обзорная лекция) Разбор статьи Ashish Kumar, Saurabh Goyal, Manik Varma. Resource-efficient Machine Learning in 2 KB RAM for the Internet of Things. http://proceedings.mlr.press/v70/kumar17a/kumar17a.pdf"

Элементы контроля

• Домашняя работа 1
• Домашняя работа 2
• Экзамен

Промежуточная аттестация

• Промежуточная аттестация (2 модуль)
  0.3 * Домашняя работа 1 + 0.3 * Домашняя работа 2 + 0.4 * Экзамен

Список литературы

Рекомендуемая основная литература

• Neklyudov, K., Molchanov, D., Ashukha, A., & Vetrov, D. (2017). Structured Bayesian Pruning via Log-Normal Multiplicative Noise. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1705.07283
• Статистический анализ данных на компьютере, Тюрин, Ю. Н., 1998

Рекомендуемая дополнительная литература

• Attentional PointNet for 3D-Object Detection in Point Clouds. (2019). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.EC02C194
• Jaritz, M., Gu, J., & Su, H. (2019). Multi-view PointNet for 3D Scene Understanding. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1909.13603
• Neklyudov, K., Molchanov, D., Ashukha, A., & Vetrov, D. (2017). Structured Bayesian Pruning via Log-Normal Multiplicative Noise. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.C5A9C3F2
• Statistica 6. Статистический анализ данных : учеб. пособие для вузов, Халафян, А. А., 2008