Нейросетевые методы в обработке текстов

2023/2024

Учебный год

RUS

Обучение ведется на русском языке

5

Кредиты

Кто читает:

Школа лингвистики

Статус:

Курс по выбору

Когда читается:

4-й курс, 1-3 модуль

Преподаватель

Москворецкий Виктор Витальевич

Программа дисциплины

Аннотация

Курс знакомит студентов с рядом алгоритмов и структур данных для обработки текстов, дает представление о базовых понятиях и алгоритмах машинного обучения, формирует практические навыки применения машинного обучения в задачах обработки текстов.

Цель освоения дисциплины

• Знакомство с рядом алгоритмов и структур данных для автоматической обработки текста (NLP)
• Знакомство с базовыми понятиями и алгоритмами машинного обучения
• Формирование практических навыков применения машинного обучения в задачах NLP

Планируемые результаты обучения

• знает и умеет реализовывать на Python различные методы индексации корпуса
• знает теоретические основы информационного поиска
• умеет реализовать поисковой движок на нескольких алгоритмах индексации как production проект
• умение оценивать качество модели и анализировать ошибки
• умение подготовить данные для решения задач NLP
• умение применить модели машинного и глубокого обучения для решения задач NLP: классификации текстов, генерации текста, тегирования последовательности и извлечения информации
• умение проектировать архитектуру нейронной сети в зависимости от задачи

Содержание учебной дисциплины

• Информационный поиск
• Предобработка данных
• Базовые понятия машинного обучения, алгоритмы машинного обучения для задач классификации, кластеризации и регрессии
• Избранные главы математики для машинного обучения
• FFN, CNN, RNN, LSTM
• Sequence-to-sequence, Sequence Tagging, Language Modeling
• Статические эмбеддинги (Word2Vec, FastText)
• Контекстуальные эмбеддинги (BERT, ELMo)

Элементы контроля

• Домашнее задание
• Проект
• Экзамен
  формат сдачи контрольного мероприятия зависит от формата проведения занятий (для онлайн-занятий – возможно использование прокторинга)

Промежуточная аттестация

• 2023/2024 учебный год 2 модуль
  Накоп 0,7 + Экзамен 0,3 Накоп = 0,25 дз1 + 0,25 дз2 + 0,5 защита проекта + 0,02 разбор статьи (бонусные баллы, максимум 0,1) Автоматы есть начиная с 6
• 2023/2024 учебный год 3 модуль
  Накоп 0,7 + Экзамен 0,3 Накоп = 0,25 дз1 + 0,25 дз2 + 0,5 защита проекта + 0,02 разбор статьи (бонусные баллы, максимум 0,1) Автоматы есть начиная с 6

Список литературы

Рекомендуемая основная литература

• Manning, C. D., & Schèutze, H. (1999). Foundations of Statistical Natural Language Processing. Cambridge, Mass: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=24399
• Speech and language processing, Jurafsky, D., 2014
• Прикладная и компьютерная лингвистика, коллективная монография, под ред. И. С. Николаева, О. В. Митрениной, Т. М. Ландо, 2-е изд., 315 с., , 2017

Рекомендуемая дополнительная литература

• Goldberg, Y. (2017). Neural Network Methods in Natural Language Processing. [San Rafael, California]: Morgan & Claypool Publishers. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1506512