Введение в глубокое обучение для АОТ

Магистратура 2020/2021

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Компьютерная лингвистика)

Направление: 45.04.03. Фундаментальная и прикладная лингвистика

Кто читает: Школа лингвистики

Где читается: Факультет гуманитарных наук

Когда читается: 2-й курс, 1, 2 модуль

Формат изучения: с онлайн-курсом

Преподаватели: Бонч-Осмоловская Анастасия Александровна, Зубарев Борис Алексеевич

Прогр. обучения: Компьютерная лингвистика

Язык: русский

Кредиты: 3

Контактные часы: 32

Полная версия программы учебной дисциплины

Аннотация

Целью курса является знакомство слушателей с основными принципами глубокого обучения для АОТ. Данный курс базируется на знаниях, умениях и навыках, полученных в цикле дисциплин ОП «Компьютерная лингвистика», изучавшихся на 1 курсе: компьютерная лингвистика, программирование, машинное обучение и др.

Цель освоения дисциплины

В результате освоения дисциплины слушатель должен: знать основные принципы глубокого обучения для АОТ, уметь использовать эти принципы при создании собственных систем АОТ, владеть существующими методами с применением глубокого обучения для АОТ. Знания, умения и навыки, полученные в результате данного курса, могут быть применены в дальнейшей практической деятельности при создании собственных систем АОТ, а также для участия в проектно-исследовательском семинаре и при написании магистерской ВКР.

Планируемые результаты обучения

Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть.
Умеет производить базовые операции с тензорами, понимают устройства pytorch, владеют принципами построения классификатора, умеют работать с данными, самостоятельно написать и обучить модель.
Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью.
Понимает устройство сверточных сетей для изображений, сверточных сетей для текста, ансамблей сверточных сетей, операций агрегации.
Понимает устройство и основные принципы работы Dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, настройку темпа обучения.
Владеет навыками построения пайплайна для задачи, модульного построение пайплайна, подготовки данных в pytorch.
Понимает решаемые задачи, проблему затухающего и взрывающегося градиентов, виды рекуррентных сетей, gate механизм.
Умеет решать задачи языкового моделирования, метрики, подготовки данных, использования обученной модели для генерации.
Умеет решать задачи ранжирования, применять их в диалоговых и поисковых системах, использовать функции потерь, типовые архитектуры.
Использует решаемую задачу применения в машинном переводе, диалоговых системах, image captioning.
Умеет применять механизм внимания в задаче машинного перевода.
Владеет механизмами: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding. Понимает ахитектуру transformer.
Умеет использовать модели: ELMo, GPT, BERT. Может реализовывать перенос обучения, использование различных задач для переноса обучения, аугментация текста, fine-tuning моделей.
Знаком с разными видами диалоговых систем, способов поддержания контекста, владеет разработкой диалоговых систем, решает задачи внутри диалоговых систем.

Содержание учебной дисциплины

Глубокое обучение
Функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть.
Pytorch
Базовые операции с тензорами, устройства pytorch, принципами построения классификатора, работа с данными, обучение моделей.
Word Embeddings
Техники обучения с нуля и использование предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Ттехника negative sampling, обучение представлений слов вместе с моделью.
Сверточные сети
Устройство сверточных сетей для изображений, сверточных сетей для текста, ансамблей сверточных сетей, операций агрегации.
Трюки в глубоком обучении
Устройство и основные принципы работы Dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, настройка темпа обучения.
Инженерия в глубоком обучении
Построение пайплайна для задачи, модульное построение пайплайна, подготовка данных в pytorch.
Рекуррентные сети
Решаемые задачи, проблема затухающего и взрывающегося градиентов, виды рекуррентных сетей, gate механизм.
Языковые модели
Задачи языкового моделирования, метрики, подготовки данных, использования обученной модели для генерации.
Ранжирующие модели
Задачи ранжирования, их применение в диалоговых и поисковых системах, использование функций потерь, типовых архитектур.
Sequence to sequence
Задачи применения в машинном переводе, диалоговых системах, image captioning.
Attention
Механизм внимания в задаче машинного перевода.
Transformer
Механизмы: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding. Ахитектура transformer.
Transfer learning
Модели: ELMo, GPT, BERT. Перенос обучения, использование различных задач для переноса обучения, аугментация текста, fine-tuning моделей.
Диалоговые системы
Разные виды диалоговых систем, способов поддержания контекста, разработкой диалоговых систем, задачи внутри диалоговых систем.

Элементы контроля

домашние задания
Домашние работы сдаются не позднее чем через 14 календарных дней со дня получения задания (до 23:59 предыдущего дня). После проверки каждого из заданий студенты получают обратную связь и оценку по своей работе по почте. Работы, которые были сданы после крайнего срока, штрафуются на три балла. Перед экзаменом модуля оценки за домашние задания усредняются и выставляется единая средняя оценка.
проект
Элементы текущего контроля пересдаются в срок не позднее 7 дней после получения неудовлетворительной оценки и оцениваются не выше 6 баллов.
экзамен
Студент должен продемонстрировать владение основными понятиями из пройденных тем дисциплины. Контроль проводится в форме письменного экзамена, включающего 15 вопросов по темам дисциплины с выбором правильного ответа.

Промежуточная аттестация

Промежуточная аттестация (2 модуль)
0.4 * домашние задания + 0.4 * проект + 0.2 * экзамен

Программа дисциплины