Глубинное обучение

Магистратура 2026/2027

Статус: Курс по выбору (Умные устройства: аппаратная разработка)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 6

Контактные часы: 56

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящён глубинному обучению — наиболее быстро развивающейся области машинного обучения. Слушатели узнают, какие классы задач решаются нейронными сетями и какие типы архитектур используются сегодня: полносвязные, свёрточные и рекуррентные сети, генеративные модели и трансформеры. Курс имеет выраженную практическую направленность: все модели студенты обучают самостоятельно на фреймворке PyTorch на языке Python. Практика построена вокруг четырёх больших домашних заданий, в которых нужно не только применить готовые решения, но и реализовать ключевые компоненты «с нуля»: собственный аналог автоград-фреймворка, YOLO-подобный детектор, четыре семейства генеративных моделей и decoder-трансформер со стратегиями декодирования. Курс стоит выбрать тем, кто хочет перейти от использования готовых моделей к пониманию того, как они устроены изнутри, и научиться воспроизводить архитектуры по описанию из научных статей.

Цель освоения дисциплины

Знать основные алгоритмы оптимизации нейронных сетей (SGD, momentum, Adam, AdamW) и уметь подбирать learning rate и lr-scheduler.
Уметь обучать полносвязные нейронные сети и понимать работу backpropagation, инициализации весов, Dropout и BatchNorm.
Уметь обучать свёрточные нейронные сети и знать основные CNN-архитектуры (LeNet, AlexNet, VGG, ResNet, Inception).
Знать постановки основных задач компьютерного зрения (классификация, детекция, сегментация, трекинг, идентификация) и метрики их качества (IoU, mAP).
Уметь применять transfer learning, fine-tuning и аугментации данных.
Знать способы векторного представления текста и уметь обучать эмбеддинги (word2vec).
Уметь обучать рекуррентные нейронные сети (RNN, LSTM, GRU) на последовательных данных.
Знать устройство основных генеративных моделей (AE, VAE, GAN, диффузионные модели, нормализующие потоки) и понимать их сильные и слабые стороны.
Знать механизм внимания и архитектуру Transformer, уметь реализовать decoder-модель и стратегии декодирования (top-k, top-p, beam search).
Владеть методами параметрически эффективного дообучения больших языковых моделей (LoRA, prompt tuning, linear probing).
Владеть фреймворком PyTorch и уметь повторять архитектуры нейронных сетей по их описанию из статей.

Планируемые результаты обучения

Реализовать полносвязные, свёрточные и рекуррентные нейронные сети средствами PyTorch.
Реализовать базовые слои и оптимизаторы нейронных сетей «с нуля» на NumPy, включая прямой и обратный проход.
Составлять пайплайны подготовки данных и обучения нейронных сетей, включая валидацию и логирование экспериментов.
Подбирать гиперпараметры обучения и объяснять их влияние на сходимость и переобучение.
Выбирать архитектуру и функцию потерь, соответствующие поставленной задаче.
Различать задачи классификации, детекции, сегментации и идентификации и считает метрики их качества.
Применять предобученные модели, transfer learning и fine-tuning к новым задачам.
Обучать генеративные модели (GAN, VAE, диффузионные модели, нормализующие потоки) и сравнивать качество генерации.
Реализовать механизм внимания и архитектуру трансформера, дообучать большие языковые модели методами PEFT.
Воспроизводить архитектуру модели и функцию потерь по описанию из научной статьи.

Содержание учебной дисциплины

Введение в глубинное обучение
Полносвязный (линейный) слой
Операция свёртки
Аугментации данных
Задачи детекции и семантической сегментации
Трекинг объектов
Векторные представления слов
Генеративные модели: постановка задачи и латентное пространство
Диффузионные модели: прямой и обратный процессы, предсказание шума, DDPM, scheduler, class-conditioned генерация
Рекуррентные нейронные сети
Механизм внимания: идея query–key–value, scaled dot-product attention
Большие языковые модели и параметрически эффективное дообучение (PEFT): full fine-tuning, linear probing, LoRA и low-rank аппроксимация, prompt tuning, LP-FT

Элементы контроля

Домашние задания
Экзамен
Экзамен проводится в устной форме по программе курса. Использование любых материалов при ответе запрещено; допускается чистый лист бумаги и письменные принадлежности для черновика и зарисовок. Экзамен состоит из двух частей.

Промежуточная аттестация

2026/2027 2nd module
Итог = ОКРУГЛ(0.6 · МИН(12, ДЗ) + 0.4 · Э), где ДЗ = (ДЗ₁ + ДЗ₂ + ДЗ₃ + ДЗ₄ + Бонус) / 4 — средняя оценка за домашние задания, Э — оценка за экзамен, МИН — функция взятия минимума из двух чисел. Здесь ДЗᵢ — оценка за i-е домашнее задание по 10-балльной шкале (после применения штрафов за просрочку), Бонус — суммарное количество бонусных баллов, набранных во всех домашних заданиях. Бонусные баллы учитываются в числителе, но не в знаменателе, поэтому они могут компенсировать потери в основных частях домашних заданий; при этом средний балл за домашние задания, участвующий в формуле, ограничен сверху значением 12. Все компоненты берутся неокруглёнными. Автоматы по курсу не выставляются: экзамен сдают все студенты.

Список литературы

Авторы

Блуменау Марк Ильич

Программа дисциплины