Introduction to Deep Learning in NLP

2021/2022

Учебный год

ENG

Обучение ведется на английском языке

3

Кредиты

Кто читает:

Школа лингвистики

Статус:

Курс по выбору

Когда читается:

2-й курс, 1, 2 модуль

Преподаватель

Зубарев Борис Алексеевич

Course Syllabus

Abstract

Целью курса является знакомство слушателей с основными принципами глубокого обучения для АОТ. Данный курс базируется на знаниях, умениях и навыках, полученных в цикле дисциплин ОП «Компьютерная лингвистика», изучавшихся на 1 курсе: компьютерная лингвистика, программирование, машинное обучение и др.

Learning Objectives

• В результате освоения дисциплины слушатель должен: знать основные принципы глубокого обучения для АОТ, уметь использовать эти принципы при создании собственных систем АОТ, владеть существующими методами с применением глубокого обучения для АОТ. Знания, умения и навыки, полученные в результате данного курса, могут быть применены в дальнейшей практической деятельности при создании собственных систем АОТ, а также для участия в проектно-исследовательском семинаре и при написании магистерской ВКР.

Expected Learning Outcomes

• Владеет механизмами: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding. Понимает ахитектуру transformer.
• Владеет навыками построения пайплайна для задачи, модульного построение пайплайна, подготовки данных в pytorch.
• Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть.
• Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью.
• Знаком с разными видами диалоговых систем, способов поддержания контекста, владеет разработкой диалоговых систем, решает задачи внутри диалоговых систем.
• Использует решаемую задачу применения в машинном переводе, диалоговых системах, image captioning.
• Понимает решаемые задачи, проблему затухающего и взрывающегося градиентов, виды рекуррентных сетей, gate механизм.
• Понимает устройство и основные принципы работы Dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, настройку темпа обучения.
• Понимает устройство сверточных сетей для изображений, сверточных сетей для текста, ансамблей сверточных сетей, операций агрегации.
• Умеет использовать модели: ELMo, GPT, BERT. Может реализовывать перенос обучения, использование различных задач для переноса обучения, аугментация текста, fine-tuning моделей.
• Умеет применять механизм внимания в задаче машинного перевода.
• Умеет производить базовые операции с тензорами, понимают устройства pytorch, владеют принципами построения классификатора, умеют работать с данными, самостоятельно написать и обучить модель.
• Умеет решать задачи ранжирования, применять их в диалоговых и поисковых системах, использовать функции потерь, типовые архитектуры.
• Умеет решать задачи языкового моделирования, метрики, подготовки данных, использования обученной модели для генерации.

Course Contents

• Глубокое обучение
• Pytorch
• Word Embeddings
• Сверточные сети
• Трюки в глубоком обучении
• Инженерия в глубоком обучении
• Рекуррентные сети
• Языковые модели
• Ранжирующие модели
• Sequence to sequence
• Attention
• Transformer
• Transfer learning
• Диалоговые системы

Assessment Elements

• домашние задания
  Домашние работы сдаются не позднее чем через 14 календарных дней со дня получения задания (до 23:59 предыдущего дня). После проверки каждого из заданий студенты получают обратную связь и оценку по своей работе по почте. Работы, которые были сданы после крайнего срока, штрафуются на три балла. Перед экзаменом модуля оценки за домашние задания усредняются и выставляется единая средняя оценка.
• проект
  Элементы текущего контроля пересдаются в срок не позднее 7 дней после получения неудовлетворительной оценки и оцениваются не выше 6 баллов.
• экзамен
  Студент должен продемонстрировать владение основными понятиями из пройденных тем дисциплины. Контроль проводится в форме письменного экзамена, включающего 15 вопросов по темам дисциплины с выбором правильного ответа.

Interim Assessment

• 2021/2022 2nd module
  0.2 * экзамен + 0.4 * домашние задания + 0.4 * проект

Bibliography

Recommended Core Bibliography

• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль ; перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Recommended Additional Bibliography

• Паттерсон, Д. Глубокое обучение с точки зрения практика / Д. Паттерсон, А. Гибсон. — Москва : ДМК Пресс, 2018. — 418 с. — ISBN 978-5-97060-481-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/116122 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.