Глубинное обучение 2

Бакалавриат 2023/2024

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Дьяконов Александр Геннадьевич, Корягин Никита Сергеевич, Рубачёв Иван Викторович, Темирханов Азиз Арсенович

Язык: русский

Кредиты: 5

Контактные часы: 56

Полная версия программы учебной дисциплины

Аннотация

В последние году методы глубинного обучения (нейросети) позволили достигнуть впечатляющих успехов в решении прикладных задач из таких областей как компьтерное зрение, обработка естественного языка, обработка аудио. В рамках данного курса мы рассмотрим основные нейросетевые модели, а также способы их применения и обучения. Студенты получат навыки использования этих технологий в стандартных задачах, а также разработки и модификации методов для новых задач.

Цель освоения дисциплины

Знать основные принципы построения моделей на основе нейросетей.
Знать стандартные алгоритмы обучения и регуляризации нейросетей.
Уметь обучать нейросетевые модели на новых наборах данных.
Уметь подбирать наиболее подходящий набор алгоритмов.
Уметь распознавать задачи, которые потенциально можно решить при помощи методов глубинного обучения.

Планируемые результаты обучения

владеть навыками работы с библиотекой pytorch и ее документацией
владеть навыками реализации систем для обучения и использования нейросетей
владеть навыками тестирования и отладки существующих систем
знать виды задач, которые уместно решать при помощи методов глубинного обучения
знать наиболее часто используемые стандартные архитектуры и области их применимости

Содержание учебной дисциплины

Введение. Организация DL экспериментов
Компьютерное зрение. Архитектуры
Компьютерное зрение. Сегментация
Компьютерное зрение. Детекция
Компьютерное зрение. 3D, NeRF, implicit representations
Трансформеры часть 1, Эффективные трансформеры, архитектурные модификации
Трансформеры часть 2, Большые языковые модели, Prompting, Interpretability
Генеративные модели часть 1
Генеративные модели часть 2
Графовые нейронные сети
Нейронные сети на табличных данных
Теории и эмпирическая наука про обучение нейронных сетей
Lifelong Learning

Элементы контроля

Маленькие домашние задания
Дз выдаются после семинаров, всего в курсе 8 маленьких домашних заданий (все задания в формате jupyter тетрадок в которых нужно дописать код).
Большие домашние задания
В курсе два больших задания. Они выдаются после лекций и семинаров про Трансформеры и Генеративные модели, на 3 недели. В заданиях требуется обучить систему (первое дз - языковая модель, второе дз - генеративная модель изображений), провести эксперименты и подготовить отчёт о работе. Оценивается код и отчёт.
Экзамен
Экзамен проводится в письменной форме. В варианте 4 вопроса теоретического минимума и 6 задач (суммарно на 10 баллов). Ответы на вопросы теоретического минимума непосредственно влияют на оценку за экзамен: При неответе на любой один вопрос из оценки за экзамен вычитается штраф в 2 балла. При неответе на любых два вопроса оценка за экзамен – 0 баллов. В рамках ответа на все вопросы необходимо написать и объяснить формулы. Во время экзамена запрещено пользоваться любыми материалами, экзамен проводится очно и онлайн в Zoom.

Промежуточная аттестация

2023/2024 учебный год 2 модуль
Итог = Округление(0.3 * Э + 0.7 * Н) Н = 0.4 * МДЗ + 0.6 * БДЗ МДЗ = средняя оценка за все маленькие домашние задания БДЗ = средняя оценка за все большие домашние задания

Программа дисциплины