Представления текстов в рекомендательных системах

Системы персональных рекомендаций статей, медиа контента и новостей призваны помочь пользователям в поиске интересной для них информации из бесконечного числа возможных публикаций. Целью данной работы является улучшение качества рекомендаций с помощью глубинных нейросетей в сервисе Яндекс Дзен на реальных данных из логов истории пользователей. Так как статьи содержат большое количество разнообразной информации, такой как заголовки, сниппеты, изображения, URL-адреса, одна из задач проекта —— это использовать разнообразие контекстной информации для построения векторных представлений документов в пространстве низкой размерности. Во-первых, в этой работе мы предложили нейросетевой подход к получению эмбеддингов для документов методам обучения без учителя. Полученные эмбеддинги хорошо интерпретируются, и похожие документы лежат близко друг к другу по косинусной мере в пространстве низкой размерности. Во-вторых, была предложена модель с механизмом внимания для решения задачи предсказания релевантности случайного документа для пользователя по его истории. Модель с механизмом внимания динамически агрегирует историю пользователя, находя в ней документы, наиболее похожие на документ-запрос. Полученные с помощью модели признаки использовались как факторы в текущей модели, основанной на градиентном бустинге над решающими деревьями. С помощью полученных признаков удалось значительно улучшить качество рекомендаций.