Исследователи ВШЭ сравнили рекомендательные алгоритмы по правилам спортивного турнира

Исследователи Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ разработали подход, который помогает эффективнее подбирать рекомендательные алгоритмы. В нем разные методы попарно соревнуются, а по результатам всех поединков составляется общий рейтинг. Это помогает сократить число алгоритмов, которые нужно проверять при разработке новых сервисов, и сэкономить денежные и временные ресурсы. Исследование было представлено на 32-й конференции ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026).
Рекомендательные системы решают, какие товары, фильмы, песни или публикации показать пользователю. Для этого они анализируют его действия и пытаются предсказать, что может заинтересовать его в дальнейшем. Например, ищут посетителей с похожими интересами, учитывают последовательность просмотров или покупок.
При этом универсального алгоритма рекомендаций нет. Метод может хорошо работать в интернет-магазине, но не подойти для онлайн-кинотеатра. Поэтому обычно алгоритмы предварительно проверяют на уже собранных наборах данных и усредняют получившиеся результаты. Но у такого способа есть недостатки: рейтинг не учитывает особенности конкретного набора данных и может быть нестабильным, а проверять все алгоритмы онлайн, на реальных пользователях, дорого и рискованно.
Исследователи НИУ ВШЭ разработали методику для сравнения рекомендательных алгоритмов на основе модели Брэдли — Терри, которую используют для составления рейтингов по результатам парных соревнований. В исследовании игроками выступали рекомендательные алгоритмы, а матчами — проверки на наборах данных. Два алгоритма сопоставляли по выбранной метрике: например, по точности рекомендаций. Тот, у кого показатель был выше, считался победителем. По результатам всех таких сравнений модель оценивала относительную силу каждого алгоритма. Авторы обучили и проверили 14 алгоритмов на 89 наборах данных из разных областей.
Результаты показали, что одни и те же алгоритмы занимали разные места в рейтинге в зависимости от типа данных в поединке. Например, на последовательных наборах, где важен порядок действий пользователя, первые места заняли SASRec и GASATF. На данных без выраженной последовательности они опустились на десятое и одиннадцатое места, а первые позиции заняли LightGCN и ALS.
Дополнительно исследователи проверили, насколько рейтинги устойчивы к неполным данным. Рейтинг на основе модели Брэдли — Терри оставался стабильным, даже если отсутствовала часть сравнений (не каждый игрок сыграл с каждым). Также авторы проверили на дополнительных наборах данных расширенную версию модели, которая учитывает контекст. Она должна была предсказать победителей без непосредственного сравнения алгоритмов для построения рейтинга.
Антон Лысенко
«Идея использовать спортивную модель пришла к нам благодаря работам нашего старшего коллеги Владимира Григорьевича Спокойного. Если приводить аналогию со спортом, на исход поединка влияют не только сами участники, но и условия — например, город или погода. В исследовании таким контекстом стали характеристики набора данных: число пользователей и объектов, средняя длина истории пользователя и другие параметры. Если обучить модель учитывать этот контекст вместе с результатами предыдущих сравнений, то по характеристикам нового набора она может заранее оценить, какие алгоритмы окажутся лучшими», — комментирует один из авторов статьи, эксперт Международной лаборатории стохастических алгоритмов и анализа многомерных данных Антон Лысенко.
В 78% случаев алгоритм, который занимал первое место, действительно входил в тройку лучших. При обычном усреднении показателей это происходило только в 16% случаев. Авторы объясняют это тем, что, в отличие от эвристических способов сравнения, модель теоретически обоснована, поэтому получаемый рейтинг надежнее.
Сергей Самсонов
«Наш подход помогает еще до онлайн-тестирования понять, какие алгоритмы лучше подходят для конкретного набора данных. Например, если банку нужно рекомендовать программы лояльности, можно передать модели характеристики нового набора данных и получить несколько наиболее перспективных вариантов. Тогда на реальных пользователях нужно будет проверять уже только их, а не все доступные алгоритмы. Это позволяет сэкономить время и ресурсы», — комментирует один из авторов статьи, заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных Сергей Самсонов.
Работа выполнена в рамках реализации программы Центра ИИ НИУ ВШЭ при поддержке гранта Министерства экономического развития РФ.
Вам также может быть интересно:
В НИУ ВШЭ стартуют 11 исследовательских проектов с участием научных центров из пяти стран
Высшая школа экономики подвела итоги Конкурса совместных фундаментальных научных проектов «Международное академическое сотрудничество». Полностью поддержано пять проектов, еще шесть получили сокращенное финансирование. Исследовательские команды сформированы с участием учёных из Бразилии, ЮАР, Китая, Индии и Омана. Подробностями о победителях МАС 2026 поделился Александр Балышев, проректор НИУ ВШЭ.
НИУ ВШЭ разработает стандарт обучения по созданию и применению ИИ-агентов
НИУ ВШЭ совместно с российской платформой Nodul создаст стандарт и методику обучения по работе с ИИ-агентами. Доступ к платформе смогут получить до 8 тыс. студентов НИУ ВШЭ разных специальностей — от программистов до маркетологов, экономистов и юристов. По оценке Nodul, это станет самым массовым внедрением инструментов для создания ИИ-агентов в российском высшем образовании. Запуск новой программы начнется уже в текущем учебном году в рамках университетского проекта «Культура работы с данными» Data Culture.
Ключевой навык — критическое мышление: в НИУ ВШЭ обсудили, как ИИ меняет требования к работникам
Форсайт-центр и Институт искусственного интеллекта и цифровых наук (Институт ИИ) НИУ ВШЭ провели круглый стол «Как меняется работа в эпоху ИИ: опыт бизнеса, науки и госсектора». Представители бизнеса и эксперты обсудили роль руководителя в интеграции ИИ в бизнес-процессы, границы доверия к самостоятельным решениям ИИ-агентов, а также почему пилотные проекты не доходят до внедрения и как справедливо оценить труд сотрудников, чья производительность выросла благодаря использованию ИИ.
НИУ ВШЭ стал победителем Всероссийского конкурса студенческих конструкторских бюро
Студенческое конструкторское бюро «Интеллектуальные автономные системы в промышленности», созданное на базе Института робототехнических систем и МИЭМ ВШЭ, одержало победу во Всероссийском конкурсе в области студенческого конструкторского лидерства. Организатор конкурса — Министерство науки и высшего образования РФ. Бюро получит государственную поддержку на реализацию проектов в области робототехники совместно с индустриальными партнерами.
НИУ ВШЭ представил в Китае исследование о безопасности нейросетей для анализа видео
Ученые Высшей школы экономики презентавали на международной конференции ChinaMM 2026 в Китае исследование о том, как искажения при передаче видео влияют на работу нейросетей. Авторы предложили новый способ проверять устойчивость таких моделей в условиях, близких к реальному использованию видеосервисов.
Научная экспедиция на Хайнань: ученые ВШЭ организовали конференцию по статистическому ИИ в Китае
С 24 по 28 августа 2026 года в городе Санья на острове Хайнань (Китай) прошла международная конференция Statistical AI («Статистический искусственный интеллект»). Мероприятие собрало ведущих специалистов в области статистики, машинного обучения и прикладного ИИ. Среди организаторов конференции — Алексей Наумов, директор Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, и Сергей Самсонов, заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных.
V конференция «Погружение в машинное обучение»: главное ИИ-событие осени соберет ведущих ученых России
Институт искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ приглашает исследователей, разработчиков и всех, кто создает будущее технологий, на пятую, юбилейную конференцию «Погружение в машинное обучение» (Fall into ML 2026). Мероприятие состоится 23–24 октября 2026 года в Центре культур НИУ ВШЭ (Москва, Покровский бульвар, д. 11, cтр. 6) и станет главной точкой притяжения для российского ИИ-сообщества.
НИУ ВШЭ представит свои проекты на Международном фестивале молодежи
С 11 по 17 сентября в Екатеринбурге пройдет Международный фестиваль молодежи. В его работе активное участие примет Высшая школа экономики. На стенде университета будут представлены план-макет космического поселения, роботы, а также система анализа больших данных iFORA. 50 студентов Вышки посетят площадки фестиваля, а эксперты станут участниками деловой программы.
В НИУ ВШЭ пройдет международная конференция об обучении служением и искусственном интеллекте
21–23 октября 2026 года в НИУ ВШЭ пройдет Международная научно-практическая конференция «Обучение служением и искусственный интеллект: человекоцентричная социальная миссия университета». Конференция объединит представителей российских и зарубежных университетов, органов власти, некоммерческих организаций и бизнеса. Регистрация уже открыта.
НИУ ВШЭ расширяет сотрудничество с Малайзией в сфере технологического форсайта
Ученые НИУ ВШЭ примут участие в исследовании перспектив инженерного образования в Малайзии, а Малайзийская промышленно-правительственная группа высоких технологий (MIGHT) использует для валидации результатов их форсайт-исследований систему анализа больших данных iFORA. Таковы результаты визита представителей Вышки в Куала-Лумпур.


