Бакалавриат 2026/2027

Глубинное обучение 1

ID 1132863

Статус: Курс обязательный (Компьютерные науки и анализ данных)

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 3-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Преподаватели: Изюмова Анастасия Витальевна

Язык: русский

Кредиты: 4

Контактные часы: 56

Программа дисциплины

Аннотация

Курс посвящен глубинному обучению – самой активно развивающейся области машинного обучения. Слушатели курса узнают, какие задачи машинного обучения можно решать с помощью нейронных сетей и какие виды нейронных сетей находят свои применения на сегодняшний день. Курс имеет явную практическую направленность, студентам предлагаются задания на обучение нейронных сетей на фреймворке PyTorch языка программирования Python. В курсе обзорно, но достаточно для ознакомления разбираются архитектуры для работы с текстами, изображениями, аудио, временными рядами и некоторыми другими специфическими типами данных.

Цель освоения дисциплины

• Выбрать архитектуру нейросети и решение для определенных данных
• Уверенно владеть PyTorch и оптимально использовать возможности библиотеки
• Составлять пайплайны для обучения
• Обучать нейронные сети и знать принцип их работы

Планируемые результаты обучения

• Проанализировать и предобработать данные для решения задачи
• Выбрать и имплементировать подходящую архитектуру ГО для решения задачи
• Провести оценку полученных результатов

Содержание учебной дисциплины

• Метод обратного распространения ошибки, полносвязные нейронные сети
• Функции потерь, Dropout, Batch Normalization
• Оптимизация нейронных сетей + практика обучения (schedulers, warmup, AMP, grad clipping / accumulation)
• Операция свертки
• Сверточные архитектуры
• Задачи компьютерного зрения: сегментация, детекция, классификация
• Последовательности I: RNN / LSTM / GRU полноценно, BPTT; примеры — временные ряды и текст.
• Последовательности II: звук — спектрограммы, 1D-свертки vs RNN, CTC (ASR обзорно), связь с временными рядами (WaveNet / TCN)
• Эмбеддинги и токенизация как общий принцип (текст, аудио-токены, категориальные признаки) + attention как идея
• Архитектура трансформера (ест любые последовательности: текст, патчи, аудио, ряды). Sampling / temperature. BERT
• Vision Transformer + transfer learning / fine-tuning как практика общего назначения
• GAN + соревновательные атаки
• Разные модальности: мультимодальные модели и их обучение
• Индустриальный интенсив — узкие места пайплайна (data loading vs compute vs communication), карта distributed-подходов (DP → DDP → FSDP/ZeRO обзорно).

Элементы контроля

• Квиз
  10 коротких вопросов для ответа на скорость в асинхронном формате. Квиз проходит в начале каждого семинара.
• Коллоквиум
  Проводится в синхронном формате, принимают все преподаватели курса. Для проверки знаний студентам будет задано несколько вопросов с постепенно увеличивающейся сложностью. Предполагается, что вопросы будут как теоретическими, так и практическими. Проходит в конце первого модуля или в начале второго модуля. Принимает каждый преподаватель.
• Проект
  Проводится в синхронном формате, принимают все преподаватели курса. Задание выдаётся после второй или третьей недели каждому студенту индивидуально или в небольших группах (не более 2-3 человек), и состоит в повторении и доработке выбранных преподавателями научных статей (источник: OpenReview, Arxiv, etc). По мере выполнения задания предусматриваются консультации с преподавателями. Проходит в конце семестра.

Промежуточная аттестация

• 2026/2027 2nd module
  Итог = Округление (0,15*Квиз + 0,35*Коллок + 0,5*Проект), где Квиз — средняя оценка за все квизы, Коллок — оценка за коллоквиум, Проект — оценка за экзаменационную работу.

Список литературы

Рекомендуемая основная литература

• Ian Goodfellow, Yoshua Bengio, & Aaron Courville. (2016). Deep Learning. The MIT Press.
• Introduction to deep learning, Charniak, E., 2018
• Jeremy Howard, & Sylvain Gugger. (2020). Deep Learning for Coders with Fastai and PyTorch. O’Reilly Media.
• Глубокое обучение, Гудфеллоу, Я., 2018

Рекомендуемая дополнительная литература

• Глубокое обучение. - 978-5-4461-1537-2 - Николенко С., Кадурин А., Архангельская Е. - 2020 - Санкт-Петербург: Питер - https://ibooks.ru/products/377026 - 377026 - iBOOKS

Авторы

• Ахмедова Гюнай Интигам кызы
• Андреева Дарья Александровна