Разбиение хештегов на составляющие слова

Хештеги играют особую коммуникативную роль записях социальных сетей и мессенджерах, однако при компьютерном анализе сообщений социальных сетей они зачастую рассматриваются только как единое целое, несмотря на то, что зачастую представляют собой словосочетание или небольшое предложение. В данной работе рассматривается проблема разбиения русскоязычных хештегов на составляющие слова. В работе было проведено экспериментальное сравнение нескольких методов, основанных на двух подходах: подход обучения без учителя с использованием статистических языковых моделей, и подход обучения с учителем с использованием рекуррентных нейронных сетей. Статистические модели использовали русскоязычный корпус OpenCorpora. В ходе работы был проведен сбор большого количества хештегов и их разметка с использованием краудсорсинга. Разметка была использована для сравнения моделей и для обучения нейронных сетей. В результате экспериментального сравнения, модели с использованием рекуррентных нейронных сетей показали себя как превосходящие модели с использованием статистических языковых моделей. В работе проведен анализ результатов, сделаны вывыды о преимуществах и недостатках каждого подхода и предложены варианты дальнейшего улучшения качества моделей.