Бакалавриат 2022/2023

Методы предобучения без учителя

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Садртдинов Ильдус Рустемович, Шабалин Александр Михайлович

Язык: русский

Кредиты: 4

Контактные часы: 44

Программа дисциплины

Аннотация

С развитием глубинного обучения стало появляться все больше новых задач и наборов данных, с помощью которых можно учить модели. Однако, в то время как собрать данные можно алгоритмически без особого труда, их разметка является очень трудоемкой и дорогостоящей задачей. В связи с этим появилась потребность обучать модели на данных без разметки. Именно так зародилась парадигма self-supervised learning, о которой и пойдет речь в данном курсе. Слушатели курса познакомятся как со старыми, так и с самыми современными подходами для предобучения на неразмеченных данных и поработают с различными доменами: от изображений и текстов до аудио и графов.

Цель освоения дисциплины

• Понимать методы для трансферного обучения
• Узнать, что такое self-supervised learning и как правильно его применять для обучения моделей
• Изучить различные способы предобучения нейронных сетей на неразмеченных данных

Планируемые результаты обучения

• Уметь предобучать модели на разных типах данных (изображения, тексты, звук, графы)
• Понимать методы трансферного обучения
• Уметь предобучать модели на разных типах данных
• Разобраться в современных подходах SSL для разных доменов данных

Содержание учебной дисциплины

• Лекция 1
• Лекция 2
• Лекция 3
• Лекция 4
• Лекция 5
• Лекция 6
• Лекция 7
• Лекция 8
• Лекция 9

Элементы контроля

• Домашнее задание 1
• Домашнее задание 2
• Домашнее задание 3
• Мини домашнее задание 1
• Мини домашнее задание 2
• Экзамен

Промежуточная аттестация

• 2022/2023 учебный год 3 модуль
  0.14 * Домашнее задание 2 + 0.14 * Домашнее задание 1 + 0.3 * Экзамен + 0.14 * Мини домашнее задание 2 + 0.14 * Домашнее задание 3 + 0.14 * Мини домашнее задание 1

Список литературы

Рекомендуемая основная литература

• Yang Liu, & Meng Zhang. (2018). Neural Network Methods for Natural Language Processing. Computational Linguistics, (1), 193. https://doi.org/10.1162/COLI_r_00312

Рекомендуемая дополнительная литература

• Yang, Y. (2016). Temporal Data Mining Via Unsupervised Ensemble Learning. Elsevier.