Введение в глубокое обучение для АОТ

2019/2020

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Школа лингвистики

Статус:

Курс по выбору

Когда читается:

2-й курс, 1 модуль

Преподаватель

Зубарев Борис Алексеевич

Программа дисциплины

Аннотация

Целью курса является знакомство слушателей с основными принципами глубокого обучения для АОТ. Данный курс базируется на знаниях, умениях и навыках, полученных в цикле дисциплин ОП «Компьютерная лингвистика», изучавшихся на 1 курсе: компьютерная лингвистика, программирование, машинное обучение и др.

Цель освоения дисциплины

• В результате освоения дисциплины слушатель должен: знать основные принципы глубокого обучения для АОТ, уметь использовать эти принципы при создании собственных систем АОТ, владеть существующими методами с применением глубокого обучения для АОТ. Знания, умения и навыки, полученные в результате данного курса, могут быть применены в дальнейшей практической деятельности при создании собственных систем АОТ, а также для участия в проектно-исследовательском семинаре и при написании магистерской ВКР.

Планируемые результаты обучения

• Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть.
• Умеет производить базовые операции с тензорами, понимают устройства pytorch, владеют принципами построения классификатора, умеют работать с данными, самостоятельно написать и обучить модель.
• Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью.
• Понимает устройство сверточных сетей для изображений, сверточных сетей для текста, ансамблей сверточных сетей, операций агрегации.
• Понимает устройство и основные принципы работы Dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, настройку темпа обучения.
• Владеет навыками построения пайплайна для задачи, модульного построение пайплайна, подготовки данных в pytorch.
• Понимает решаемые задачи, проблему затухающего и взрывающегося градиентов, виды рекуррентных сетей, gate механизм.
• Умеет решать задачи языкового моделирования, метрики, подготовки данных, использования обученной модели для генерации.
• Умеет решать задачи ранжирования, применять их в диалоговых и поисковых системах, использовать функции потерь, типовые архитектуры.
• Использует решаемую задачу применения в машинном переводе, диалоговых системах, image captioning.
• Умеет применять механизм внимания в задаче машинного перевода.
• Владеет механизмами: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding. Понимает ахитектуру transformer.
• Умеет использовать модели: ELMo, GPT, BERT. Может реализовывать перенос обучения, использование различных задач для переноса обучения, аугментация текста, fine-tuning моделей.
• Знаком с разными видами диалоговых систем, способов поддержания контекста, владеет разработкой диалоговых систем, решает задачи внутри диалоговых систем.

Содержание учебной дисциплины

• Глубокое обучение
  Функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть.
• Pytorch
  Базовые операции с тензорами, устройства pytorch, принципами построения классификатора, работа с данными, обучение моделей.
• Word Embeddings
  Техники обучения с нуля и использование предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Ттехника negative sampling, обучение представлений слов вместе с моделью.
• Сверточные сети
  Устройство сверточных сетей для изображений, сверточных сетей для текста, ансамблей сверточных сетей, операций агрегации.
• Трюки в глубоком обучении
  Устройство и основные принципы работы Dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, настройка темпа обучения.
• Инженерия в глубоком обучении
  Построение пайплайна для задачи, модульное построение пайплайна, подготовка данных в pytorch.
• Рекуррентные сети
  Решаемые задачи, проблема затухающего и взрывающегося градиентов, виды рекуррентных сетей, gate механизм.
• Языковые модели
  Задачи языкового моделирования, метрики, подготовки данных, использования обученной модели для генерации.
• Ранжирующие модели
  Задачи ранжирования, их применение в диалоговых и поисковых системах, использование функций потерь, типовых архитектур.
• Sequence to sequence
  Задачи применения в машинном переводе, диалоговых системах, image captioning.
• Attention
  Механизм внимания в задаче машинного перевода.
• Transformer
  Механизмы: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding. Ахитектура transformer.
• Transfer learning
  Модели: ELMo, GPT, BERT. Перенос обучения, использование различных задач для переноса обучения, аугментация текста, fine-tuning моделей.
• Диалоговые системы
  Разные виды диалоговых систем, способов поддержания контекста, разработкой диалоговых систем, задачи внутри диалоговых систем.

Элементы контроля

• домашние задания
  Домашние работы сдаются не позднее чем через 14 календарных дней со дня получения задания (до 23:59 предыдущего дня). После проверки каждого из заданий студенты получают обратную связь и оценку по своей работе по почте. Работы, которые были сданы после крайнего срока, штрафуются на три балла. Перед экзаменом модуля оценки за домашние задания усредняются и выставляется единая средняя оценка.
• проект
  Элементы текущего контроля пересдаются в срок не позднее 7 дней после получения неудовлетворительной оценки и оцениваются не выше 6 баллов.
• экзамен
  Студент должен продемонстрировать владение основными понятиями из пройденных тем дисциплины. Контроль проводится в форме письменного экзамена, включающего 15 вопросов по темам дисциплины с выбором правильного ответа.

Промежуточная аттестация

• Промежуточная аттестация (1 модуль)
  0.4 * домашние задания + 0.4 * проект + 0.2 * экзамен

Список литературы

Рекомендуемая основная литература

• Гудфеллоу Я., Бенджио И., Курвилль А. - Глубокое обучение - Издательство "ДМК Пресс" - 2018 - 652с. - ISBN: 978-5-97060-618-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/107901

Рекомендуемая дополнительная литература

• Паттерсон Дж., Гибсон А. - Глубокое обучение с точки зрения практика - Издательство "ДМК Пресс" - 2018 - 418с. - ISBN: 978-5-97060-481-6 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/116122