Выявление специальных тематик в коротких текстах на естественном языке

Стремительное развитие информационных технологий привело к значительному увеличению числа текстовых документов, хранящихся в электронном виде. При текущих темпах роста объемов данных с задачей обработки текстов не справится ни отдельно взятый эксперт, ни целая группа специалистов. Именно это и определяет актуальность разработки методик и подходов к решению задач автоматической обработки, хранения и сбора данных. В данной работе рассмотрены методики автоматического распознавания языка коротких текстовых сообщений и выявления специальных тематик, отвечающих различным нарушениям законодательства. Целью работы является анализ запросов поисковой системы на предмет определения языка и выявления различных нарушений. Работа состоит из пяти глав: введения, описания методики автоматического определения языка коротких текстов, описание подхода для выявления тематик на основе специализированных словарей, анализ поисковых запросов с помощью описанных методик и выводов, полученных в результате обработки запросов поисковой системы. Во время выполнения работы было проанализировано более одного миллиарда запросов поисковой системы, взятых за период с 1 по 11 апреля 2016 года. Поисковые запросы были разбиты по регионам и отфильтрованы 100 самыми активными. К основным результатам можно отнести то, что подавляющее число запрос спрашивается пользователями на русскому языке (в различных регионах колеблется от 47% до 53%). Кроме того распределения языков запросов никак не соотносится с национальным составом региона. Общее распределение нарушений сохраняется для всех регионов: самое частое нарушение связано с наркотическими веществами, далее нарушения, относящиеся к экстремизму и национализму.