Текстовый анализ групповых чатов в мессенджерах

ФИО студента: Дрёмов Артём Сергеевич

Руководитель: Ильвовский Дмитрий Алексеевич

Кампус/факультет: Факультет компьютерных наук

Программа: Математические методы оптимизации и стохастики (Магистратура)

Год защиты: 2018

С распространением различных видов приложений и веб-приложений, особенно взрывной рост популярности социальных сетей и мессенджеров, короткие тексты в виде сообщений пользователей стали крайне популярным форматом текстов в Интернете. В рамках данной работы была рассмотрена классическая задача, возникающая в обработке естественных языков —— выделение именованных сущностей. Однако такая задача резко усложняются, когда ее переносят на короткие интернет-тексты: в них гораздо больше опечаток, они используют сленг, также гораздо чаще можно встретить такие конструкции как сарказм, ирония и т.д. Диалог между несколькими участниками чатов в мессенджере в контексте распознавания именованных сущностей может иметь гораздо более сложную структуру, нежели чем обычный энциклопедический текст. Мы использовали ансамбль из линейных CRF-моделей и достигли точности по метрике F1-score ~0.89.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ