Исследование методов классификации текстов для несбалансированных данных

В ходе данного исследования были проанализированы методы классификации для несбалансированных данных, а также определён и реализован наиболее эффективный из них с учётом текстовой специфики русского языка. Было установлено, что при работе с несбалансированными данными эффективнее работать с изменением порога решений и весами ошибок разного рода, чем пытаться изменить распределение обучающего набора данных случайным образом или синтетически. В связи с этим наиболее эффективным подходом был признан метод с распределением весов. Для эмпирической проверки теоретических выводов была выбрана задача бинарной классификации высказываний на русском языке в зависимости от того, корректны ли они или содержат какую-либо оскорбительную информацию. В результате анализа результатов было выяснено, что использование методов с распределением весов не помогло улучшить результат классификации текстов по сравнению с обучением на умеренно несбалансированных данных для данной задачи. Однако после проведения подобного испытания на сильно несбалансированных данных, было установлено, что использование взвешенных моделей действительно приводит к улучшению результата классификации по сравнению с обучением на несбалансированных данных.