Методы машинного обучения для анализа тональности коротких текстов

В данной работе было проведено исследование, направленное на идентификацию токсичного поведения в Интернете, выражающегося в написании гневных и агрессивных по манере комментариев. На основе методов машинного обучения с учителем была проведена multi-labeled классификация таких комментариев по типу токсичности (токсичный, сильнотоксичный, неприличный, угроза, расистский). Предварительно был дан обзор используемых в практической части подходов. В практической же части работы было показано, что линейные методы, основанные на модели мешка слов, в силу небольшой длины комментариев, не могут эффективно решать задачу классификации коротких текстов. По той же причине дополнительные свёрточные слои не дают прироста качества базовым моделям, основанным на рекуррентных нейронных сетях. Несмотря на высокую прогнозную точность базовых моделей на основе архитектур LSTM и GRU, их метрики удалось ещё улучшить за счёт: включения в модель слоя «Attention», выделяющего наиболее важные для оценки попадания в тот или иной класс слова в тексте; использования векторов модели GloVe с большей размерностью.