• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Магистратура 2019/2020

Введение в глубокое обучение для АОТ

Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус: Курс по выбору (Компьютерная лингвистика)
Направление: 45.04.03. Фундаментальная и прикладная лингвистика
Когда читается: 2-й курс, 1 модуль
Формат изучения: Blended
Прогр. обучения: Компьютерная лингвистика
Язык: русский
Кредиты: 3

Программа дисциплины

Аннотация

Целью курса является знакомство слушателей с основными принципами глубокого обучения для АОТ. Данный курс базируется на знаниях, умениях и навыках, полученных в цикле дисциплин ОП «Компьютерная лингвистика», изучавшихся на 1 курсе: компьютерная лингвистика, программирование, машинное обучение и др.
Цель освоения дисциплины

Цель освоения дисциплины

  • В результате освоения дисциплины слушатель должен: знать основные принципы глубокого обучения для АОТ, уметь использовать эти принципы при создании собственных систем АОТ, владеть существующими методами с применением глубокого обучения для АОТ. Знания, умения и навыки, полученные в результате данного курса, могут быть применены в дальнейшей практической деятельности при создании собственных систем АОТ, а также для участия в проектно-исследовательском семинаре и при написании магистерской ВКР.
Результаты освоения дисциплины

Результаты освоения дисциплины

  • Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть.
  • Умеет производить базовые операции с тензорами, понимают устройства pytorch, владеют принципами построения классификатора, умеют работать с данными, самостоятельно написать и обучить модель.
  • Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью.
  • Понимает устройство сверточных сетей для изображений, сверточных сетей для текста, ансамблей сверточных сетей, операций агрегации.
  • Понимает устройство и основные принципы работы Dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, настройку темпа обучения.
  • Владеет навыками построения пайплайна для задачи, модульного построение пайплайна, подготовки данных в pytorch.
  • Понимает решаемые задачи, проблему затухающего и взрывающегося градиентов, виды рекуррентных сетей, gate механизм.
  • Умеет решать задачи языкового моделирования, метрики, подготовки данных, использования обученной модели для генерации.
  • Умеет решать задачи ранжирования, применять их в диалоговых и поисковых системах, использовать функции потерь, типовые архитектуры.
  • Использует решаемую задачу применения в машинном переводе, диалоговых системах, image captioning.
  • Умеет применять механизм внимания в задаче машинного перевода.
  • Владеет механизмами: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding. Понимает ахитектуру transformer.
  • Умеет использовать модели: ELMo, GPT, BERT. Может реализовывать перенос обучения, использование различных задач для переноса обучения, аугментация текста, fine-tuning моделей.
  • Знаком с разными видами диалоговых систем, способов поддержания контекста, владеет разработкой диалоговых систем, решает задачи внутри диалоговых систем.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Глубокое обучение
    Функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть.
  • Pytorch
    Базовые операции с тензорами, устройства pytorch, принципами построения классификатора, работа с данными, обучение моделей.
  • Word Embeddings
    Техники обучения с нуля и использование предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Ттехника negative sampling, обучение представлений слов вместе с моделью.
  • Сверточные сети
    Устройство сверточных сетей для изображений, сверточных сетей для текста, ансамблей сверточных сетей, операций агрегации.
  • Трюки в глубоком обучении
    Устройство и основные принципы работы Dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, настройка темпа обучения.
  • Инженерия в глубоком обучении
    Построение пайплайна для задачи, модульное построение пайплайна, подготовка данных в pytorch.
  • Рекуррентные сети
    Решаемые задачи, проблема затухающего и взрывающегося градиентов, виды рекуррентных сетей, gate механизм.
  • Языковые модели
    Задачи языкового моделирования, метрики, подготовки данных, использования обученной модели для генерации.
  • Ранжирующие модели
    Задачи ранжирования, их применение в диалоговых и поисковых системах, использование функций потерь, типовых архитектур.
  • Sequence to sequence
    Задачи применения в машинном переводе, диалоговых системах, image captioning.
  • Attention
    Механизм внимания в задаче машинного перевода.
  • Transformer
    Механизмы: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding. Ахитектура transformer.
  • Transfer learning
    Модели: ELMo, GPT, BERT. Перенос обучения, использование различных задач для переноса обучения, аугментация текста, fine-tuning моделей.
  • Диалоговые системы
    Разные виды диалоговых систем, способов поддержания контекста, разработкой диалоговых систем, задачи внутри диалоговых систем.
Элементы контроля

Элементы контроля

  • неблокирующий домашние задания
    Домашние работы сдаются не позднее чем через 14 календарных дней со дня получения задания (до 23:59 предыдущего дня). После проверки каждого из заданий студенты получают обратную связь и оценку по своей работе по почте. Работы, которые были сданы после крайнего срока, штрафуются на три балла. Перед экзаменом модуля оценки за домашние задания усредняются и выставляется единая средняя оценка.
  • неблокирующий проект
    Элементы текущего контроля пересдаются в срок не позднее 7 дней после получения неудовлетворительной оценки и оцениваются не выше 6 баллов.
  • неблокирующий экзамен
    Студент должен продемонстрировать владение основными понятиями из пройденных тем дисциплины. Контроль проводится в форме письменного экзамена, включающего 15 вопросов по темам дисциплины с выбором правильного ответа.
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (1 модуль)
    0.4 * домашние задания + 0.4 * проект + 0.2 * экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • - Гудфеллоу Я., Бенджио И., Курвилль А. — Глубокое обучение - Издательство "ДМК Пресс" - 2018 - ISBN: 978-5-97060-618-6 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/107901

Рекомендуемая дополнительная литература

  • - Паттерсон Дж., Гибсон А. — Глубокое обучение с точки зрения практика - Издательство "ДМК Пресс" - 2018 - ISBN: 978-5-97060-481-6 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/116122