Система автоматической рекомендации произвольных текстов для пополнения корпуса

ФИО студента: Мальцев Марк Сергеевич

Кампус/факультет: Факультет гуманитарных наук

Программа: Фундаментальная и компьютерная лингвистика (Бакалавриат)

Год защиты: 2015

В настоящей работе подробно анализируются такие понятия корпусов, как репрезентативность и сбалансированность; доказывается, что понятие репрезентативности часто подменяется понятием сбалансированности или вообще не принимается во внимание при описании корпуса; показано, что результаты корпусных исследований некоторых видов (в частности, исследования, затрагивающие грамматику или лексику) нельзя считать абсолютно правильными вследствие вышеописанной подмены понятий. В качестве решения этой проблемы предлагается система автоматической рекомендации текстов для корпуса, которая на основании формально-лингвистических и статистических параметров даёт тексту характеристику типичности для заданной коллекции. Предполагается, что такая система может стать частью технологии построения корпуса, наряду с ручной жанровой классификацией. Система реализована на языке Python 2.7.9. Результаты работы системы, полученные в ходе её тестирования на примере составления корпуса текстов из Интернета, показывают, что программа справляется с поставленной задачей и распределяет тексты по типичности верно.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ