Text Analysis. Generative Models

2023/2024

Academic Year

RUS

Instruction in Russian

6

ECTS credits

Delivered at:

Joint Department with Sberbank ‘Financial Technologies and Data Analysis’

Course type:

Compulsory course

When:

2 year, 1, 2 module

Instructor

Эль-Айясс Дани Валид

Программа дисциплины

Аннотация

Данная дисциплина ставит своей целью изучение основных задач и методов обработки и анализа текстов, а также освоение программных систем и инструментов, в которых реализованы данные методы. Эти базовые знания и навыки необходимы в профессиональной деятельности специалистов по анализу данных и машинного обучения.

Цель освоения дисциплины

• Изучение основных задач и методов обработки и анализа текстов

Планируемые результаты обучения

• Знание методов обработки и анализа текстов

Содержание учебной дисциплины

• Введение
• Методы сбора и хранения данных
• Частотный анализ текстов
• Морфологический анализ и разрешение неоднозначности
• Синтаксический анализ. Универсальные зависимости
• Лексический анализ. Выделение ключевых слов и словосочетаний. Исправление опечаток
• Векторная модель
• Классификация текстов
• Классификация последовательностей
• Языковое моделирование
• Машинный перевод. Трансформеры
• Предобученные модели
• Большие языковые модели
• Инструктивное дообучение и обучение с подкрепление на основе обратной связи от людей
• Суммаризация текстов, вопросно-ответные системы
• Информационный поиск
• Мультимодальная обработка текстов

Элементы контроля

• Домашняя работа
• Экзамен

Промежуточная аттестация

• 2023/2024 учебный год 2 модуль
  0.7 * Домашняя работа + 0.3 * Экзамен

Список литературы

Рекомендуемая основная литература

• Ian Goodfellow and Yoshua Bengio and Aaron Courville. Deep Learning, 2016. URL: http://www.deeplearningbook.org
• Indurkhya N., Damerau F. J. Handbook of natural language processing. – Chapman and Hall/CRC, 2010. – 704 pp.

Рекомендуемая дополнительная литература

• Goldberg, Y. (2015). A Primer on Neural Network Models for Natural Language Processing. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.6454221A
• The Handbook of Computational Linguistics and Natural Language Processing [Электронный ресурс] / ed. by Alexander Clark, Chris Fox, Shalom Lappin; DB ebrary. – Chichester: John Wiley & Sons, 2013. – 203 p. – Режим доступа: https://ebookcentral.proquest.com/lib/hselibrary-ebooks/reader.action?docID=4035461&query=computational+linguistics