Современные методы анализа данных: Глубинное обучение

Магистратура 2019/2020

Статус: Курс обязательный (Финансовые технологии и анализ данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 3, 4 модуль

Формат изучения: без онлайн-курса

Преподаватели: Озерин Алексей Юрьевич

Прогр. обучения: Финансовые технологии и анализ данных

Язык: русский

Кредиты: 8

Контактные часы: 80

Полная версия программы учебной дисциплины

Аннотация

Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.

Цель освоения дисциплины

Овладеть теоретическими основами нейронных сетей
Освоить пакет Pytorch Освоить пакет Pytorch
Научиться решать прикладные задачи с помощью нейронных сетей

Планируемые результаты обучения

1. Знать принципы работы нейронных сетей 2. Уметь выбирать метрики и функцию ошибки под требования практической задачи 3. Уметь писать подготовку данных, создание моделей и процедуру тренировки для основных типов задач 4. Знать основные задачи и базовые архитектуры для их решения.

Содержание учебной дисциплины

Введение в глубинное обучение
Вычислительные графы, алгоритм обратного распространения ошибки. Дифференцирование основных операций. Метод стохастического градиентного спуска. Обзор библиотек для глубинного обучения.
Сверточные нейронные сети
Операции свертки и пуллинга, основные архитектуры сверточных сетей. Функции ошибок и метрики качества для разных практических задач.
Рекуррентные нейронные сети
Принцип работы рекуррентных сетей. Особенности обучения, основные блоки.
Обучение и регуляризация нейронных сетей
Методы оптимизации (SGD, Adam и другие методы, подбор параметров). Методы регуляризации (L2, dropout, batchnorm, mixup и другие). Исследование ландшафта функции потерь. Эволюция весов модели в процессе обучения.
Непрямые способы использования нейронных сетей
Состязательные генеративные модели (GAN), адаптация к новым данным (domain adaptation), нераспознаваемые примеры (adversarial examples).
Современное компьютерное зрение
Примеры архитектур для задач компьютерного зрения (классификация, детекция, сегментация, поиск похожих изображений).
Обработка текстов с помощью нейронных сетей
Представления слов (word2vec, fasttext), модели для предсказания последовательностей (seq2seq). Современный машинный перевод. Задачи с мультимодальными представлениями (генерация подписей к изображениям)
Обработка сигналов с помощью нейронных сетей
Архитектуры для работы с сигналами (WaveNet). Основы обработки звука. Распознавание и генерация речи с помощью нейронных сетей.
Дифференцируемое программирование
Встраивание классических алгоритмов в вычислительные графы (динамическое программирование, CTC loss).

Элементы контроля

Домашние задания
Студенту, получившему отличную накопленную оценку, данная оценка может быть выставлена в качестве итоговой на усмотрение преподавателя.
Проект
Студенту, получившему отличную накопленную оценку, данная оценка может быть выставлена в качестве итоговой на усмотрение преподавателя.
Экзамен
Оценка за дисциплину выставляется в соответствии с формулой оценивания от всех пройденных элементов контроля. Экзамен не проводится.

Промежуточная аттестация

Промежуточная аттестация (4 модуль)
0.3 * Домашние задания + 0.4 * Проект + 0.3 * Экзамен

Программа дисциплины