Обнаружение и замена сленга на нормативную лексику

Данная работа посвящена обнаружению и замене сленга на русском языке на нормативную лексику. Эта задача наиболее применима при работе с текстами из социальных сетей, форумов, интернет-магазинов. Нормализация сленга может быть полезна как на самих интернет-ресурсах, так и для специалистов в обработке естественного языка. Предложенный подход основан на использовании нейронной сети Adaptive Skip-Gram для снятия многозначности слов, предположительно имеющих хоть одно ненормативное значение. Основное достоинство, из-за которого она была выбрана – создание более одного векторного представления для каждого слова. Для подбора подходящего нормативного синонима применяется Word2Vec. Обучение этих моделей производилось на большом корпусе текста разных стилей, чтобы убедиться в том, что сленговые значения также попали в поле зрения. Список слов, требующих замены, собран с ресурса с молодежным сленгом, который наполняется силами добровольцев. В ходе тестирования были численно оценены результаты по двум разными источникам тестовых данных. Отдельно проанализированы примеры хороших и неудачных замен и представлены некоторые пути к улучшению качества.