Семантические представления текстов для контент-ориентированной рекомендательной системы

Рекомендательные системы – один из самых важных элементов платформенных решений, которые упрощают клиентам поиск необходимых объектов, а бизнесу помогают увеличивать ценность платформы и привлекать клиентов. Объекты рекомендательных систем могут иметь разную природу, часто описание объекта представляется в виде неструктурированной текстовой информации. Для распознавания и генерации текстов во многих интеллектуальных системах, в том числе рекомендательных, применяются технологии естественной обработки языка. Их использование позволяет пренебрегать форматом представляемого описания объекта, что является актуальным для контент-ориентированных рекомендательных систем. Описание объекта – это короткий текст, который обычно содержит многозначные и сложные термины. Смысл таких текстов может быть передан разными способами, иногда не имеющими пересечений по словам. Это усложняет задачу понимания смысла и делает обычные методы частотной классификации текстов слабоприменимыми. Обучение нейросетевых векторных представлений слов требует больших объемов данных и не учитывает различие текстов по сложности и ее влияние на построение векторных представлений. В данной работе предлагается применять подход многоуровневого обучения векторных представлений слов и использовать эти представления для оценивания семантической схожести описаний объектов. Предлагаемый алгоритм протестирован на коллекции фильмов с пользовательским рейтингом в виде целевого признака. Проведено его сравнение с двумя конкурирующими моделями Word2Vec и Glove, а также дополнительное тестирование на задаче выделения парафраз.