Глубинное обучение

2026/2027

Учебный год

RUS

Обучение ведется на русском языке

6

Кредиты

Кто читает:

Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Статус:

Курс обязательный

Когда читается:

1-й курс, 3, 4 модуль

Программа дисциплины

Аннотация

Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.

Цель освоения дисциплины

• Овладеть теоретическими основами нейронных сетей
• Освоить пакет Pytorch
• Научиться решать прикладные задачи с помощью нейронных сетей

Планируемые результаты обучения

• Провести ряд экспериментов
• Проанализировать результаты
• Владеть теоретическими основами нейронных сетей
• Знать пакет Pytorch
• Уметь решать прикладные задачи с помощью нейронных сетей

Содержание учебной дисциплины

• Введение в глубинное обучение
• Обучение нейронных сетей. Алгоритм обратного распространения ошибки
• Функции активации. Инициализация весов
• Оптимизация. Регуляризация
• Сверточные нейронные сети
• Рекуррентные нейронные сети
• Механизм внимания, трансформеры
• Глубинное обучение и компьютерное зрение
• Глубинное обучение и естественный язык
• Обработка
• Генеративные модели
• Функции активации. Задачи и функции потерь. Инициализация весов. Гипотеза о лотерейном билете
• Оптимизация
• Регуляризация
• Сверточные сети
• Задачи компьютерного зрения
• Генеративные модели
• Обработка естественного языка
• Рекуррентные сети
• Предобученные трансформеры в обработке естественного языка. Самообучение. Большие языковые модели
• Законы масштабирования (Scaling Laws). Обучение в контексте. Масштабирование во время тестирования (модели мышления). PEFT
• Вызов функций. Агентные паттерны. Наблюдаемость. Model Context Protocol (MCP). Retrieval-Augmented Generation (RAG)
• Визуальные трансформеры. Самообучение, контрастивное обучение
• Мультимодальные модели
• Введение в глубинное обучение

Элементы контроля

• Домашние задания 1
• Контрольная работа
  Контрольная работа по материалу, пройденному на занятиях в течение 3 учебного модуля
• Экзамен
  Экзамен по всему материалу, пройденному в рамках освоения дисциплины
• Домашние задания 2

Промежуточная аттестация

• 2026/2027 4th module
  0.1 * Экзамен + 0.1 * Контрольная работа + 0.4 * Домашние задания 2 + 0.4 * Домашние задания 1

Список литературы

Рекомендуемая основная литература

• Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Deep learning, Kelleher, J. D., 2019

Авторы

• Тарасов Дмитрий Юрьевич
• Деркач Денис Александрович