Автоматическая обработка текстов

Магистратура 2022/2023

Статус: Курс по выбору (Современные компьютерные науки)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Базовая кафедра Яндекс

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1, 2 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Прогр. обучения: Современные компьютерные науки

Язык: русский

Кредиты: 6

Контактные часы: 56

Полная версия программы учебной дисциплины

Аннотация

Цель курса - ознакомление студентов с задачами и современными технологиями Natural Language Processing. Планируется ознакомление со статистическими и нейросетевыми подходами в NLP, приобретение навыков их использования в реальных практических задачах, в частности, с помощью библиотеки tensorflow. Особое внимание будет уделено приложениям к задаче машинного перевода

Цель освоения дисциплины

Ознакомление студентов с задачами и современными технологиями Natural Language Processing

Планируемые результаты обучения

Знать методы построения языковых моделей, как статистических, так и нейросетевых;
Иметь представление о важнейших разновидностях генеративных моделей
Иметь представление о задаче машинного перевода и о современных методах, используемых в ней
Иметь представление о подходах к суммаризации текстов и об используемых в этой задаче методах
Иметь представление о разновидностях диалоговых систем
Иметь представление об основных задачах, решаемых с помощью автоматической обработки текстов
Использовать механизм внимания
Обучать глубинные модели с использованием одного из современных нейросетевых фрейморков
Работать в парадигме структурированного обучения при анализе и предсказании последовательностей
Строить глубинные seq2seq модели
Уметь выбирать и обучать модели классификации текстов на естественном языке
Уметь выбирать предобученные вложения слов из популярных библиотек, таких как word2vec, gensim
Уметь использовать ЕМ-алгоритм для построения моделей с латентными переменными
Уметь использовать методы доменной адаптации, в том числе для решения задач NLP
Уметь использовать методы переноса обучения, в том числе для решения задач NLP
Уметь обучать простейшие генеративные модели, в том числе для решения задач NLP
Уметь обучить простую диалоговую систему
Уметь решать задачу выравнивания слов

Содержание учебной дисциплины

Введение
Word Embeddings
Классификация текстов
Языковые модели
Модели seq2seq
Структурированное обучение
EM-алгоритм и выравнивание слов
Машинный перевод
Перенос обучения
Адаптация домена
Генеративные модели
Диалоговые системы
Суммаризация текстов

Элементы контроля

Домашняя работа 2
Домашняя работа 1
Домашняя работа 2
Экзамен
Контрольная работа
Домашняя работа 1

Промежуточная аттестация

2022/2023 учебный год 2 модуль
0.15 * Домашняя работа 2 + 0.15 * Домашняя работа 1 + 0.15 * Домашняя работа 1 + 0.2 * Контрольная работа + 0.15 * Домашняя работа 2 + 0.2 * Экзамен

Программа дисциплины