Исследование статистических закономерностей в текстах на естественном языке

ФИО студента: Маркелова Ольга Викторовна

Руководитель: Буровский Евгений Андреевич

Кампус/факультет: Московский институт электроники и математики им. А.Н. Тихонова

Программа: Системы управления и обработки информации в инженерии (Магистратура)

Оценка: 7

Год защиты: 2018

В этой работе я исследую статистические закономерности в текстах на естественном языке. Выясняю, возможно ли с помощью статистических закономерностей (таких как статистика встречаемости слов и их сочетаемости) создать работоспособную модель генерации текста на русском языке. В ходе исследования предложена статистическая модель генерации текста на русском языке и ее программная реализация на языке Python 3. Анализ сгенерированного текста показал, что простых синтактико-семантических закономерностей недостаточно для генерации корректного (с точки зрения норм русского языка) текста. Сгенерированный текст подчиняется закону Ципфа, но с большим распределением (в два раза больше, чем в естественных текстах).

Текст работы (работа добавлена 15 мая 2018 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ