Исследователи НИУ ВШЭ и Сбера научили нейросети лучше угадывать предпочтения пользователей

© iStock

Институт искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ и Сбер представили новую архитектуру для рекомендательных систем: благодаря объединению двух классов моделей алгоритмы лучше угадывают интересы и потребности пользователей. Препринт работы опубликован на сайте arxiv.org и представлен на летнем фестивале «Урбан ML».

Рекомендательные системы — программы и алгоритмы, которые анализируют поведение, вкусы и историю действий пользователей, чтобы предсказать, какие товары или услуги будут им наиболее интересны. В основе современных рекомендательных систем лежат два класса моделей — трансформеры и графы. Трансформеры хорошо предсказывают порядок товаров в истории пользователя, но при этом не видят глобальных связей между этими товарами и пользователями. Графовые модели, напротив, эффективно моделируют связи, но не учитывают временную динамику. Они уступают трансформерам в предсказании следующего товара.

Команда Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ и Сбера разработала новую архитектуру CREATE, которая объединила оба эти подхода.

Эльфат Сабитов

«Мы придумали, как взять лучшее от трансформеров и графовых моделей. Мы обучали модель в два этапа. Сначала отдельно тренировали графовую часть, которая отвечает за анализ связей между товарами. А затем подключили вторую часть, которая отвечает за последовательность покупок, и обучали их уже вместе, настраивая так, чтобы они дополняли друг друга. В итоге модель научилась использовать и глобальные связи, и хронологию действий как единый механизм», — объясняет Эльфат Сабитов, стажер-исследователь Международной лаборатории стохастических алгоритмов и анализа многомерных данных ФКН НИУ ВШЭ.

Исследователи проверили систему на пяти открытых наборах данных, включая Amazon Reviews (233 млн оценок), MovieLens (1 млн) и Yambda (50 млн). CREATE стабильно превосходит последовательные и графовые модели, а также современные гибридные подходы.

В тестах, где модель опиралась исключительно на поведенческий профиль пользователей, точность предсказания следующего товара выросла в среднем на 12,5%. После добавления к профилю информации о свойствах, категориях и связях между товарами рекомендации стали точнее сразу по трем критериям. Метрика ранжирования, то есть качество выдачи в топе, выросла на 4%. Прирост полноты составил 5,8% — система стала реже упускать релевантные товары. Показатель покрытия увеличился на 9,3%, то есть список рекомендаций стал разнообразнее. Таким образом, интеграция графа знаний не только повышает точность, но и делает рекомендации менее предсказуемыми и более насыщенными, а это именно то, что ценят конечные пользователи.

Руслан Исрафилов

«В экосистеме Сбера есть несколько доменов, где качество рекомендаций зависит не только от истории действий пользователя, но и от знания о товарах, услугах и сценариях их использования. Классические рекомендательные модели хорошо выявляют связи через клики, просмотры и покупки, однако часть значимых зависимостей невозможно надежно восстановить только по поведенческим данным. Графы знаний позволяют явно описывать такие связи и обогащать пользовательский сигнал дополнительным контекстом. Поэтому для нас особенно ценны исследования, которые показывают, как эффективно объединить графовые представления с последовательными моделями и получить измеримый прирост качества и разнообразия рекомендаций», — отмечает Руслан Исрафилов, исполнительный директор по исследованию данных блока В2С, Сбер.

Евгений Фролов

«В больших системах данные зачастую крайне разнородны, могут иметь сложную структуру, с которой обычные решения на основе трансформерных сетей могут не справиться. В свою очередь, графовые представления предоставляют более гибкий аппарат для описания подобных данных, каких-то полезных их особенностей. Отсюда и произрастает идея по скрещиванию двух миров, реализованная нами в виде конкретного фреймворка для совместного обучения представлений разной природы. По сути, наш подход реализует эффективный механизм насыщения "внутренних знаний" трансформера за счет использования внешних знаний графовой модели. С помощью подобного механизма можно передавать в модель широкий спектр специализированных доменных знаний, которые по каким-то причинам не могут быть выявлены и усвоены одной лишь трансформерной сетью. Это открывает широкие возможности для улучшения работы рекомендательных систем на практике», — отмечает Евгений Фролов, cтарший научный сотрудник Научно-учебной лаборатории матричных и тензорных методов в машинном обучении, руководитель группы «Технологии персонализации» Института AIRI.