• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
ФИО студента
Название работы
Руководитель
Факультет
Программа
Оценка
Год защиты
Братчук Александра Олеговна
Разработка автоматизированной системы разделения хештегов на русском языке на составляющие слова
9
2018
Основная цель данной работы – создание системы сегментирования хэштегов на русском языке, которая бы подходила для обработки строк с ошибками орфографии и грамматики, сленговыми и вымышленными словами.

Для достижения этой цели в ходе работы были реализованы две различные системы – одна из которых основывалась на методе поиска по словарю, а другая использовала рекуррентные нейронные сети. Метод поиска по словарю на базе OpenCorpora показал результат в 71,2% точности на выборке из реальных хэштегов и 75,9% на выборке, сгенерированной из художественной литературы. Метод рекуррентных нейронных сетей, использующий char-LSTM, демонстрирует 64,2% и 73,3% соответственно. В ходе разработки было выявлено, что система, основанная на первом подходе, эффективнее для разбора хэштегов, состоящих полностью из словарных слов, но ее точность значительно снижается, если в строке присутствует одно или несколько несловарных слов или слов с ошибками. Вторая система более корректно обрабатывает несловарные слова, имеющие правильную морфологическую структуру, но менее точна при работе с именами собственными и во многих случаях не справляется с разграничением понятий служебных частей речи и приставок.

В основу конечного программного продукта, который представлен в виде консольного скрипта, был положен алгоритм, основанный на методе словарного поиска, как имеющем наибольший процент точности.

Объём данной работы составляет 53 страницы, включая 10 рисунков и 3 таблицы. Количество использованных источников равно 21.
Текст работы (работа добавлена 15 мая 2018г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Расширенный поиск ВКР