• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Современные методы анализа данных: Глубинное обучение

2019/2020
Учебный год
RUS
Обучение ведется на русском языке
8
Кредиты
Статус:
Курс обязательный
Когда читается:
1-й курс, 3, 4 модуль

Программа дисциплины

Аннотация

Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.
Цель освоения дисциплины

Цель освоения дисциплины

  • Овладеть теоретическими основами нейронных сетей
  • Освоить пакет Pytorch Освоить пакет Pytorch
  • Научиться решать прикладные задачи с помощью нейронных сетей
Результаты освоения дисциплины

Результаты освоения дисциплины

  • 1. Знать принципы работы нейронных сетей 2. Уметь выбирать метрики и функцию ошибки под требования практической задачи 3. Уметь писать подготовку данных, создание моделей и процедуру тренировки для основных типов задач 4. Знать основные задачи и базовые архитектуры для их решения.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в глубинное обучение
    Вычислительные графы, алгоритм обратного распространения ошибки. Дифференцирование основных операций. Метод стохастического градиентного спуска. Обзор библиотек для глубинного обучения.
  • Сверточные нейронные сети
    Операции свертки и пуллинга, основные архитектуры сверточных сетей. Функции ошибок и метрики качества для разных практических задач.
  • Рекуррентные нейронные сети
    Принцип работы рекуррентных сетей. Особенности обучения, основные блоки.
  • Обучение и регуляризация нейронных сетей
    Методы оптимизации (SGD, Adam и другие методы, подбор параметров). Методы регуляризации (L2, dropout, batchnorm, mixup и другие). Исследование ландшафта функции потерь. Эволюция весов модели в процессе обучения.
  • Непрямые способы использования нейронных сетей
    Состязательные генеративные модели (GAN), адаптация к новым данным (domain adaptation), нераспознаваемые примеры (adversarial examples).
  • Современное компьютерное зрение
    Примеры архитектур для задач компьютерного зрения (классификация, детекция, сегментация, поиск похожих изображений).
  • Обработка текстов с помощью нейронных сетей
    Представления слов (word2vec, fasttext), модели для предсказания последовательностей (seq2seq). Современный машинный перевод. Задачи с мультимодальными представлениями (генерация подписей к изображениям)
  • Обработка сигналов с помощью нейронных сетей
    Архитектуры для работы с сигналами (WaveNet). Основы обработки звука. Распознавание и генерация речи с помощью нейронных сетей.
  • Дифференцируемое программирование
    Встраивание классических алгоритмов в вычислительные графы (динамическое программирование, CTC loss).
Элементы контроля

Элементы контроля

  • Домашние задания (неблокирующий)
    Студенту, получившему отличную накопленную оценку, данная оценка может быть выставлена в качестве итоговой на усмотрение преподавателя.
  • Проект (неблокирующий)
    Студенту, получившему отличную накопленную оценку, данная оценка может быть выставлена в качестве итоговой на усмотрение преподавателя.
  • Экзамен (неблокирующий)
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.3 * Домашние задания + 0.4 * Проект + 0.3 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Deep learning, Goodfellow, I., Bengio, Y., 2016
  • Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., Кадурин, А., 2018

Рекомендуемая дополнительная литература

  • The handbook of computational linguistics and natural language processing, Clark A., 2013