Автоматическая классификация документов с использованием машинного обучения

<p>Данная выпускная квалификационная работа посвящена применению машинного обучения к задаче автоматической классификации стиля текста.</p><p>Функциональные стили выделяются в соответствии с основными функциями языка (общение, сообщение, воздействие) и связанны с той или иной сферой деятельности человека. В данной работе рассматриваются следующие функциональные стили: научный, официально-деловой, публицистический, художественный и разговорный. В качестве исследуемого метода машинного обучения был выбран и самостоятельно запрограммирован метод к-ближайших соседей.</p><p>Для проведения экспериментов была собрана размеченная по стилям коллекция текстов разных функциональных стилей. Все тексты были собраны из интернета, чтобы приблизить работу алгоритма к реальной ситуации, когда нужно определять стиль текста на web-странице Каждый текст коллекции был предварительно обработан модулем морфологического анализа mystem. Морфологическая обработка текстов позволила преобразовать текст в набор словоформ с их грамматической информацией.</p><p>После морфологического анализа для каждого текста были определены значения&nbsp; признаков функционального стиля. Рассматривались следующие признаки: предметность, качественность, действенность, среднее количество букв в слове, также рассматривались все части речи, и для признаков функциональных стилей были подсчитаны значения частоты встречаемости каждой части речи в текстах. Всего использовалось 14 признаков функциональных стилей.</p><p>Программы обработки морфологических признаков, подсчета их значений и сам метод машинного обучения были реализованы на С++.&nbsp; Эксперименты по распознаванию функционального стиля на базе реализованного метода машинного обучения показали не высокую эффективность метода. В результатах проделанной работы были предположены причины низкой эффективности, а также варианты улучшения результатов.</p>