Компьютерная лингвистика

Бакалавриат 2023/2024

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Филология)

Направление: 45.03.01. Филология

Кто читает: Департамент филологии

Где читается: Санкт-Петербургская школа гуманитарных наук и искусств

Когда читается: 4-й курс, 1-3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Климов Александр Антонович, Фирсанова Виктория Игоревна, Шерстинова Татьяна Юрьевна

Язык: русский

Кредиты: 6

Контактные часы: 70

Полная версия программы учебной дисциплины

Аннотация

Курс предполагает знакомство студентов с основными направлениями и методами компьютерной лингвистики, формированию у них практических навыков работы с лингвистическими ресурсами и программами компьютерного анализа текстов, построение собственного корпуса текстов или лингвистической базы данных и проведение лингвистического исследования с использованием компьютерных средств. Курс предназначен для студентов-филологов и не требует специальной компьютерной подготовки или навыков программирования. Предлагаемый курс будет полезен не только студентам лингвистического направления, но и студентам-литературоведам, поскольку синтез традиционного и компьютерного подхода в филологических исследованиях является весьма перспективным.

Цель освоения дисциплины

● Получение студентами знания об основных методах и направлениях развития компьютерной лингвистики.
● Приобретение студентами навыков адекватного пользование основными программными продуктами, необходимыми при работе с текстами и корпусами текстов, и навыков создания собственных корпусов текстов для решения локальных научных и академических задач.

Планируемые результаты обучения

Студент знает программы по автоматической обработке текстов на лексическом и морфологическом уровнях и умеет ими пользоваться
Студент знает программы по автоматической обработке текстов на синтаксическом, семантическом и прагматическом уровнях и умеет ими пользоваться.
Студент знаком с основами статистического анализа, методами и подходами квантитативной лингвистики
Студент имеет представление об основных задачах и приложениях компьютерной лингвистики.
Студент знает базовые принципы работы с мультимедийным контентом

Содержание учебной дисциплины

Основные задачи, основания и приложения компьютерной лингвистики
Возможности и программы автоматической обработки текстов на лексическом и морфологическом уровнях
Возможности и программы автоматической обработки текстов на синтаксическом, семантическом и прагматическом уровнях
Возможности аннотирования и автоматического анализа мультимедийного контента (аудио- и видеозаписей)
Основы статистики. Элементы квантитативной лингвистики
Способы лингвистической обработки
Объектно-ориентированного программирование.
Дистрибутивная семантика.
Машинный перевод на основе правил
Статистический машинный перевод и введение в машинное обучение.
Механизм внимания и трансформеры для машинного перевода.
Проект.

Элементы контроля

Домашнее задание
Описание: Выполняется письменно, не разбивается на варианты и состоит из небольших упражнений, проверяющих усвоение материала лекций и семинаров. Направляется студентам по электронной почте в течение модуля. Студенты направляют ответ преподавателю также по электронной почте. Преподаватель дает обратную связь студентам на следующем семинаре, разбирая основные ошибки.
Проект
Описание: Представляет собой исследовательскую работу с применением пройденных методов и инструментов компьютерной лингвистики
Проект
Описание: Проект представляет собой разработку модели обработки естественного языка с использованием глубокого обучения. Для начинающих студентов следует выбрать проект, который соответствует их уровню знаний и навыков. Цель проекта: Разработать модель машинного обучения для анализа тональности текстов, которая способна определять, является ли текст положительным, отрицательным или нейтральным. Задачи проекта: Сбор и подготовка данных: Найти и загрузить набор данных, содержащий отзывы, комментарии или тексты с разной тональностью (положительной, отрицательной и нейтральной). Предобработка данных: Очистить и подготовить тексты для обучения, включая токенизацию, удаление стоп-слов, лемматизацию и преобразование текстов в числовой формат. Разработка модели: Создать нейронную сеть для классификации тональности текстов, например, с использованием сверточных нейронных сетей (CNN). Обучение модели: Обучить модель на подготовленных данных. Оптимизировать гиперпараметры модели для улучшения ее производительности. Оценка модели: Оценить производительность модели с использованием метрик, таких как точность, полнота, F1-мера и матрица ошибок. Тестирование: Провести тестирование модели на новых данных, чтобы убедиться, что она способна классифицировать тональность текстов. Инструменты и технологии: Python, библиотеки для машинного обучения (например, TensorFlow или PyTorch), библиотеки для обработки текста (например, NLTK или spaCy).
Аудиторная и домашняя работа
Описание: Изучение основ обработки текстов с использованием библиотек Python Цель аудиторной и домашней работы: Освоить основы обработки текстов и текстовых данных с использованием Python и соответствующих библиотек.
Контрольная работа
Описание: Основы обработки текстов и нейронных сетей в NLP

Промежуточная аттестация

2023/2024 учебный год 2 модуль
0.4 * Домашнее задание + 0.6 * Проект
2023/2024 учебный год 3 модуль
0.4 * Аудиторная и домашняя работа + 0.2 * Контрольная работа + 0.4 * Проект

Программа дисциплины