Магистратура
2020/2021
Автоматическая обработка текста
Статус:
Курс по выбору (Науки о данных)
Направление:
01.04.02. Прикладная математика и информатика
Кто читает:
Базовая кафедра Яндекс
Где читается:
Факультет компьютерных наук
Когда читается:
2-й курс, 1, 2 модуль
Формат изучения:
без онлайн-курса
Прогр. обучения:
Науки о данных
Язык:
русский
Кредиты:
8
Контактные часы:
56
Программа дисциплины
Аннотация
Цель курса - ознакомление студентов с задачами и современными технологиями Natural Language Processing. Планируется ознакомление со статистическими и нейросетевыми подходами в NLP, приобретение навыков их использования в реальных практических задачах, в частности, с помощью библиотеки tensorflow. Особое внимание будет уделено приложениям к задаче машинного перевода
Цель освоения дисциплины
- Ознакомление студентов с задачами и современными технологиями Natural Language Processing
Планируемые результаты обучения
- Иметь представление об основных задачах, решаемых с помощью автоматической обработки текстов
- Уметь выбирать предобученные вложения слов из популярных библиотек, таких как word2vec, gensim
- Уметь выбирать и обучать модели классификации текстов на естественном языке
- Обучать глубинные модели с использованием одного из современных нейросетевых фрейморков
- Знать методы построения языковых моделей, как статистических, так и нейросетевых;
- Строить глубинные seq2seq модели
- Использовать механизм внимания
- Работать в парадигме структурированного обучения при анализе и предсказании последовательностей
- Уметь использовать ЕМ-алгоритм для построения моделей с латентными переменными
- Уметь решать задачу выравнивания слов
- Иметь представление о задаче машинного перевода и о современных методах, используемых в ней
- Уметь использовать методы переноса обучения, в том числе для решения задач NLP
- Уметь использовать методы доменной адаптации, в том числе для решения задач NLP
- Иметь представление о разновидностях диалоговых систем
- Уметь обучить простую диалоговую систему
- Иметь представление о важнейших разновидностях генеративных моделей
- Уметь обучать простейшие генеративные модели, в том числе для решения задач NLP
- Иметь представление о подходах к суммаризации текстов и об используемых в этой задаче методах
Содержание учебной дисциплины
- ВведениеЗадачи NLP. Современное состояние науки.
- Word EmbeddingsDistributional semantics, LSA, Word2Vec, GloVe. Why and when we need them, where they’re in a NN; some other directions like char-based (Mimic, FastText, ...), setence-level (Skip-Thought), some notes about geometry of embedding spaces. slides video
- Классификация текстовGenerative vs. discriminative models for classification. Classical approaches for text representation: BOW, TF-IDF. Neural approaches: NBOW, convolutional architectures, recurrent architectures, hybrid architectures.
- Языковые моделиN-gram Language Models, smoothing (backoff, add-one, Kneser-Ney). Neural Language Models (FFNLM, RNN-LM, bi-RNN-LM, CNN-LM). Visualizing and understanding trained models (RNN, CNN). Using LMs to get embeddings (Skip-Thought, ELMO
- Модели seq2seqSeq2seq/Attention. Seq2seq: encoder-decoder framework. Attention: Bahdanau model. Self-attention, Transformer. Pointer networks. Attention for analysis. Different usages of attention. slides
- Структурированное обучениеStructured Learning. Structured perceptron, structured prediction, dynamic oracles, basic concepts from RL.
- EM-алгоритм и выравнивание словExpectation-Maximization and Word Alignment Models (David Talbot): Generative models, MLE, EM for incomplete data, IBM word alignment models.
- Машинный переводMachine Translation: a review of the key ideas from PBMT, the application specific ideas that have developed in NMT over the past 3 years and some of the open problems in this area.
- Перенос обученияTransfer learning and Multi-task learning in NLP. What and why does a network learn: "model" is never just "model"! Transfer learning in NLP. Multi-task learning in NLP. How to understand, what kind of information the model representations contain.
- Адаптация доменаDomain adaptation for NLP. General theory. Instance weighting. Proxy-labels methods. Feature matching methods. Distillation-like methods.
- Генеративные моделиAdversarial methods, Variational Autoencoders and how to (not) use them for NLP.
- Диалоговые системыTask-oriented vs general conversation systems. Overview of a framework for task-oriented systems. General conversation: retrieval and generative approaches. Generative models for general conversation. Retrieval-based models for general conversation.
- Суммаризация текстовText summarization methods. Extractive vs abstractive. A piece of extractive text summarization. Abstractive text summarization.
Промежуточная аттестация
- Промежуточная аттестация (2 модуль)0.3 * Домашняя работа 1 + 0.3 * Домашняя работа 2 + 0.4 * Экзамен
Список литературы
Рекомендуемая основная литература
- Асадуллаев, Р. Г. (2017). Нечеткая логика и нейронные сети. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.93A4EE7B
- Геворкян Гурген Аркадиевич. (2017). Нейронные сети: графический интерфейс пользователя в Matlab. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.4576DF4C
- Нейронные сети, генетические алгоритмы и нечеткие системы, Рутковская, Д., 2008
Рекомендуемая дополнительная литература
- Zhuravel, A., & Velmagina, N. (2018). Artificial Neural Networks For Building Projects Cost Estimating ; Искусственные нейронные сети в оценке стоимости строительных проектов ; Штучні нейронні мережі в оцінці вартості будівельних проектів. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6CA2964D
- АВЕРКИН АЛЕКСЕЙ НИКОЛАЕВИЧ. (2016). Гибридные Модулярные Нейронные Сети. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3D0005DF
- Нейронные сети : полный курс, Хайкин, С., 2006