• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Измерение сложности искусственных языков на основе сетей совместной встречаемости слов

ФИО студента: Соколова Ирина Сергеевна

Руководитель: Макаров Илья Андреевич

Кампус/факультет: Факультет гуманитарных наук

Программа: Компьютерная лингвистика (Магистратура)

Оценка: 9

Год защиты: 2019

Наша работа преследует две цели: 1) оценить лингвистическую сложность выборки искусственных языков разных типов, 2) разработать и протестировать метод автоматического определения лингвистической сложности языка без знания грамматики. В первой части работы мы оцениваем сложность искусственных языков в нашей выборке по имеющимся лингвистическим критериям. Мы делаем выводы о сложности искусственных языков в сравнении с большой выборкой естественных языков, описанной в литературе, а также о различии искусственных языков по сложности в зависимости от времени создания и типа языка. Во второй части работы мы выдвигаем гипотезу о том, что структура сети совместной встречаемости слов, построенной из текста, может предсказывать сложность языка, на котором этот текст написан. Для проверки гипотезы мы собираем тексты на 17 естественных языках, для которых известно числовое значение сложности, строим из них сети совместной встречаемости слов и обучаем модель на графовых признаках. В работе описаны эксперименты с разными способами извлечения признаков и разными размерами исходного текста. Для сравнения с графовым подходом были проведены эксперименты с обучением на текстовых эмбеддингах. В результате экспериментов получены хорошие предсказания при обучении и тестировании на всех языках в выборке, однако ошибка предсказания вырастает при тестировании на языках, не использованных в обучающей выборке. Показано, что графовые признаки предсказывают сложность языка лучше, чем текстовые эмбеддинги. Мы используем лучшую имеющуюся модель для измерения сложности искусственных языков в нашей выборке и сравниваем полученные результаты с выводами, сделанными в первой части работы. В заключении содержатся рекомендации по улучшению результатов предсказаний.

Текст работы (работа добавлена 28 мая 2019 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ