• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Modern Methods of Data Analysis: Deep Learning

2017/2018
Academic Year
RUS
Instruction in Russian
3
ECTS credits
Course type:
Compulsory course
When:
1 year, 3 module

Программа дисциплины

Аннотация

Нейронные сети стали привычным инструментом для решения ряда задач (распознавание образов, обработка речи, автоматический перевод и множества других). В курсе будут разобраны теоретические и практические аспекты использования нейронных сетей.
Цель освоения дисциплины

Цель освоения дисциплины

  • Овладеть теоретическими основами нейронных сетей
  • Освоить пакет Pytorch Освоить пакет Pytorch
  • Научиться решать прикладные задачи с помощью нейронных сетей
Результаты освоения дисциплины

Результаты освоения дисциплины

  • 1. Знать принципы работы нейронных сетей 2. Уметь выбирать метрики и функцию ошибки под требования практической задачи 3. Уметь писать подготовку данных, создание моделей и процедуру тренировки для основных типов задач 4. Знать основные задачи и базовые архитектуры для их решения.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в глубинное обучение
    Вычислительные графы, алгоритм обратного распространения ошибки. Дифференцирование основных операций. Метод стохастического градиентного спуска. Обзор библиотек для глубинного обучения.
  • Сверточные нейронные сети
    Операции свертки и пуллинга, основные архитектуры сверточных сетей. Функции ошибок и метрики качества для разных практических задач.
  • Рекуррентные нейронные сети
    Принцип работы рекуррентных сетей. Особенности обучения, основные блоки.
  • Обучение и регуляризация нейронных сетей
    Методы оптимизации (SGD, Adam и другие методы, подбор параметров). Методы регуляризации (L2, dropout, batchnorm, mixup и другие). Исследование ландшафта функции потерь. Эволюция весов модели в процессе обучения.
  • Непрямые способы использования нейронных сетей
    Состязательные генеративные модели (GAN), адаптация к новым данным (domain adaptation), нераспознаваемые примеры (adversarial examples).
  • Современное компьютерное зрение
    Примеры архитектур для задач компьютерного зрения (классификация, детекция, сегментация, поиск похожих изображений).
  • Обработка текстов с помощью нейронных сетей
    Представления слов (word2vec, fasttext), модели для предсказания последовательностей (seq2seq). Современный машинный перевод. Задачи с мультимодальными представлениями (генерация подписей к изображениям)
  • Обработка сигналов с помощью нейронных сетей
    Архитектуры для работы с сигналами (WaveNet). Основы обработки звука. Распознавание и генерация речи с помощью нейронных сетей.
  • Дифференцируемое программирование
    Встраивание классических алгоритмов в вычислительные графы (динамическое программирование, CTC loss).
Элементы контроля

Элементы контроля

  • неблокирующий Created with Sketch. Домашние задания
    Студенту, получившему отличную накопленную оценку, данная оценка может быть выставлена в качестве итоговой на усмотрение преподавателя.
  • неблокирующий Created with Sketch. Проект
    Студенту, получившему отличную накопленную оценку, данная оценка может быть выставлена в качестве итоговой на усмотрение преподавателя.
  • неблокирующий Created with Sketch. Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.3 * Домашние задания + 0.4 * Проект + 0.3 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • - Гудфеллоу Я., Бенджио И., Курвилль А. — Глубокое обучение - Издательство "ДМК Пресс" - 2018 - ISBN: 978-5-97060-618-6 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/107901
  • Beysolow, T. (2018). Applied Natural Language Processing with Python : Implementing Machine Learning and Deep Learning Algorithms for Natural Language Processing. [Berkeley, CA]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1892182

Рекомендуемая дополнительная литература

  • - Паттерсон Дж., Гибсон А. — Глубокое обучение с точки зрения практика - Издательство "ДМК Пресс" - 2018 - ISBN: 978-5-97060-481-6 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/116122
  • Lappin, S., Fox, C., & Clark, A. (2010). The Handbook of Computational Linguistics and Natural Language Processing. Chichester, West Sussex: Wiley-Blackwell. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=330500