Natural Language Processing

2021/2022

Academic Year

RUS

Instruction in Russian

3

ECTS credits

Delivered at:

Big Data and Information Retrieval School

Course type:

Compulsory course

When:

1 year, 4 module

Instructor

Косолапов Кирилл Вадимович

Программа дисциплины

Аннотация

Рост доступной текстовой информации ускорил развитие научной области, известной как автоматическая обработка естественного языка (англ. Natural Language Processing). В рамках данного курса студенты ознакомятся с задачами, которые решает NLP как с помощью классических, так и с помощью нейросетевых методов. В частности будут разобраны задачи классификации текстов, векторизации слов и выделения тематик в тексте. В качестве выпускного проекта студентам будет предложено провести анализ корпуса текста с использованием освоенных навыков. Курс основан на онлайн курсе “Natural Language Processing”, URL: https://www.coursera.org/learn/language-processing (платформа – Coursera, разработчик – ВШЭ).

Цель освоения дисциплины

• Формирование у студентов базовых теоретических знаний и практических навыков в области автоматической обработки естественного языка.

Планируемые результаты обучения

• Понимание идеи языковых моделей, разработка языковой модели с помощью рекуррентной нейронной сети
• Понимание основного пайплайна обработки текстовой информации и умение применять его на практике
• Понимание принципов построения векторых представлений слов и текстов
• Понимание принципов работы моделей машинного перевода
• Понимание элементов архитектуры диалоговых систем
• Разработка собственного классификатора текстов и алгоритма выявления тематик

Содержание учебной дисциплины

• Введение в классификацию текстов
• Языковые модели и разметка последовательностей
• Дистрибутивная семантика и тематические модели
• Модели преобразования последовательности в последовательность
• Диалоговые системы
• Системы распознавания речи

Элементы контроля

• Оценка онлайн-курса
  Курс “Natural Language Processing” на платформе Coursera [URL: https://www.coursera.org/learn/language-processing]
• Индивидуальный проект
  Индивидуальный проект состоит из отдельных заданий за которые выставляются частичные баллы
• Экзамен
  Экзамен проводится в письменной форме.

Промежуточная аттестация

• 2021/2022 учебный год 4 модуль
  0.4 * Оценка онлайн-курса + 0.3 * Индивидуальный проект + 0.3 * Экзамен

Список литературы

Рекомендуемая основная литература

• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль ; перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Beysolow, T. (2018). Applied Natural Language Processing with Python : Implementing Machine Learning and Deep Learning Algorithms for Natural Language Processing. [Berkeley, CA]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1892182
• Goldberg, Y. (2017). Neural Network Methods in Natural Language Processing. [San Rafael, California]: Morgan & Claypool Publishers. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1506512