Представление отношений между словами естественного языка в виде разложения на симметрический и кососимметрический линейный оператор

Векторизация слов — представление слова в виде вещественного вектора. Векторизации активно используются в задачах обработки естественного языка. Примерами таких задач могут быть документное индексирование, семантический анализ и вопросно-ответные системы. Сегодня существует другой подход к решению многих задач естественного языка — языковое моделирование. Однако, существующие языковые модели принимают на вход уже готовые векторизации слов, что значит задача создания новых векторизаций все еще актуальна. Существует много моделей векторизации, например, Word2Vec, GloVe, FastText. Все существующие модели, чтобы учитывать свойство асимметричности отношений слов, в процессе тренировки представляют каждое слово двумя векторами: центральным и контекстным. Из-за этого появляются проблемы неоднозначности составления итоговой векторизации и увеличения времени обучения. Я представляю новый подход векторизации, основанный на идее выделения асимметрической информации, который использует сильные стороны подхода GloVe. Из-за сокращения количество параметров обучения, этот подход быстрее сходится и достигает лучших результатов на метриках словесных аналогий. Ключевые слова — векторизация слов, GloVe, словесные аналогии, языковые модели, обработка естественного языка, декомпозиция матриц.