• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Automatic Text Processing

2021/2022
Academic Year
RUS
Instruction in Russian
8
ECTS credits
Course type:
Elective course
When:
2 year, 1, 2 module

Программа дисциплины

Аннотация

Цель курса - ознакомление студентов с задачами и современными технологиями Natural Language Processing. Планируется ознакомление со статистическими и нейросетевыми подходами в NLP, приобретение навыков их использования в реальных практических задачах, в частности, с помощью библиотеки tensorflow. Особое внимание будет уделено приложениям к задаче машинного перевода
Цель освоения дисциплины

Цель освоения дисциплины

  • Ознакомление студентов с задачами и современными технологиями Natural Language Processing
Планируемые результаты обучения

Планируемые результаты обучения

  • Знать методы построения языковых моделей, как статистических, так и нейросетевых;
  • Иметь представление о важнейших разновидностях генеративных моделей
  • Иметь представление о задаче машинного перевода и о современных методах, используемых в ней
  • Иметь представление о подходах к суммаризации текстов и об используемых в этой задаче методах
  • Иметь представление о разновидностях диалоговых систем
  • Иметь представление об основных задачах, решаемых с помощью автоматической обработки текстов
  • Использовать механизм внимания
  • Обучать глубинные модели с использованием одного из современных нейросетевых фрейморков
  • Работать в парадигме структурированного обучения при анализе и предсказании последовательностей
  • Строить глубинные seq2seq модели
  • Уметь выбирать и обучать модели классификации текстов на естественном языке
  • Уметь выбирать предобученные вложения слов из популярных библиотек, таких как word2vec, gensim
  • Уметь использовать ЕМ-алгоритм для построения моделей с латентными переменными
  • Уметь использовать методы доменной адаптации, в том числе для решения задач NLP
  • Уметь использовать методы переноса обучения, в том числе для решения задач NLP
  • Уметь обучать простейшие генеративные модели, в том числе для решения задач NLP
  • Уметь обучить простую диалоговую систему
  • Уметь решать задачу выравнивания слов
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение
  • Word Embeddings
  • Классификация текстов
  • Языковые модели
  • Модели seq2seq
  • Структурированное обучение
  • EM-алгоритм и выравнивание слов
  • Машинный перевод
  • Перенос обучения
  • Адаптация домена
  • Генеративные модели
  • Диалоговые системы
  • Суммаризация текстов
Элементы контроля

Элементы контроля

  • неблокирующий Домашняя работа 1
  • неблокирующий Домашняя работа 2
  • неблокирующий Экзамен
  • неблокирующий Домашняя работа 1
  • неблокирующий Домашняя работа 2
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • 2021/2022 учебный год 2 модуль
    0.4 * Экзамен + 0.3 * Домашняя работа 2 + 0.3 * Домашняя работа 1
Список литературы

Список литературы

Рекомендуемая основная литература

  • Асадуллаев, Р. Г. (2017). Нечеткая логика и нейронные сети. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.93A4EE7B
  • Геворкян Гурген Аркадиевич. (2017). Нейронные сети: графический интерфейс пользователя в Matlab. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.4576DF4C
  • Нейронные сети, генетические алгоритмы и нечеткие системы, Рутковская, Д., 2008

Рекомендуемая дополнительная литература

  • Zhuravel, A., & Velmagina, N. (2018). Artificial Neural Networks For Building Projects Cost Estimating ; Искусственные нейронные сети в оценке стоимости строительных проектов ; Штучні нейронні мережі в оцінці вартості будівельних проектів. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6CA2964D
  • АВЕРКИН АЛЕКСЕЙ НИКОЛАЕВИЧ. (2016). Гибридные Модулярные Нейронные Сети. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.3D0005DF
  • Нейронные сети : полный курс, Хайкин, С., 2006