Глубинное обучение

Бакалавриат 2022/2023

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Котельников Аким Константинович, Осокин Антон Александрович, Рубачёв Иван Викторович, Рябинин Максим Константинович

Язык: русский

Кредиты: 5

Контактные часы: 60

Полная версия программы учебной дисциплины

Аннотация

В последние году методы глубинного обучения (нейросети) позволили достигнуть впечатляющих успехов в решении прикладных задач из таких областей как компьтерное зрение, обработка естественного языка, обработка аудио. В рамках данного курса мы рассмотрим основные нейросетевые модели, а также способы их применения и обучения. Студенты получат навыки использования этих технологий в стандартных задачах, а также разработки и модификации методов для новых задач.

Цель освоения дисциплины

Знать основные принципы построения моделей на основе нейросетей.
Знать стандартные алгоритмы обучения и регуляризации нейросетей.
Уметь обучать нейросетевые модели на новых наборах данных.
Уметь подбирать наиболее подходящий набор алгоритмов.
Уметь распознавать задачи, которые потенциально можно решить при помощи методов глубинного обучения.

Планируемые результаты обучения

владеть навыками работы с библиотекой pytorch и ее документацией
владеть навыками реализации систем для обучения и использования нейросетей
владеть навыками тестирования и отладки существующих систем
знать виды задач, которые уместно решать при помощи методов глубинного обучения
знать наиболее часто используемые стандартные архитектуры и области их применимости

Содержание учебной дисциплины

Введение в глубинное обучение
Механика нейросетей и алгоритм обратного распространения ошибок
Основные виды нейросетей
Обучение и регуляризация нейросетей
Глубинное обучение для задач компьютерного зрения
Глубинное обучение для задач обработки текстов
Модель Трансформер и ее использование
Глубинное обучение для построения вероятностных моделей
Непрямые способы использования нейросетей
Встраивание алгоритмов в слои нейросетей
Недифференцируемые модели и глубинное обучение с подкреплением

Элементы контроля

Мини ДЗ
Большие ДЗ
Проверочные
Экзамен

Промежуточная аттестация

2022/2023 учебный год 2 модуль
Итоговая формула выставления оценки выглядит следующим образом: О_результ = round(0.3*О_экз + 0.7*О_накоп) О_накоп = 0.3*О_small + 0.7*O_big Если накопленная оценка >= 6 после округления, то есть возможность получить автомат за курс O_small = среднее по МДЗ и проверочным O_big = O_1*w1 + O_2*w2 + O_3*w3 (оценки за большие дз с весами) [w1, w2, w3] = softmin([O_1, O_2, O_3]/20)

Программа дисциплины