Глубинное обучение

Магистратура 2023/2024

Статус: Курс обязательный (Финансовые технологии и анализ данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Базовая кафедра ПАО Сбербанк «Финансовые технологии и анализ данных»

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 3, 4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Кленицкий Антон Николаевич

Прогр. обучения: Финансовые технологии и анализ данных

Язык: русский

Кредиты: 6

Контактные часы: 80

Полная версия программы учебной дисциплины

Аннотация

Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.

Цель освоения дисциплины

Овладеть теоретическими основами нейронных сетей
Освоить пакет Pytorch
Научиться решать прикладные задачи с помощью нейронных сетей

Планируемые результаты обучения

Провести ряд экспериментов
Проанализировать результаты
Владеть теоретическими основами нейронных сетей
Знать пакет Pytorch
Уметь решать прикладные задачи с помощью нейронных сетей

Содержание учебной дисциплины

Введение в глубинное обучение
Обучение нейронных сетей. Алгоритм обратного распространения ошибки
Функции активации. Инициализация весов
Оптимизация. Регуляризация
Сверточные нейронные сети
Рекуррентные нейронные сети
Механизм внимания, трансформеры
Глубинное обучение и Computer Vision
Глубинное обучение и Natural Language
Processing
Генеративные модели

Элементы контроля

Домашнее задание “Weight-init”
Домашнее задание “Activations”
Домашнее задание “Optimization”
Домашнее задание “Batchnorm”
Домашнее задание “Dropout”
Домашнее задание “Pytorch-basics”
Домашнее задание “Letters”
Домашнее задание “RNN Attention”
Домашнее задание “Transformer Attention”
Домашнее задание “VAE”
Домашнее задание “Diffusion”

Промежуточная аттестация

2023/2024 учебный год 4 модуль
0.05 * Домашнее задание “Activations” + 0.05 * Домашнее задание “Batchnorm” + 0.1 * Домашнее задание “Diffusion” + 0.05 * Домашнее задание “Dropout” + 0.2 * Домашнее задание “Letters” + 0.1 * Домашнее задание “Optimization” + 0.1 * Домашнее задание “Pytorch-basics” + 0.1 * Домашнее задание “RNN Attention” + 0.1 * Домашнее задание “Transformer Attention” + 0.1 * Домашнее задание “VAE” + 0.05 * Домашнее задание “Weight-init”

Программа дисциплины