Использование метода многоруких бандитов для персонализированных рекомендаций

С развитием интернета и современных технологий в последнее время становится актуальной задача персонализации контента индивидуально для каждого пользователя или группы пользователей. Использование методов решения задачи многорукого бандита для рекомендаций только начинает набирать популярность, однако уже сейчас эксперименты показывают способность этих методов решать поставленную задачу. Однако, для персонализации необходимо использовать дополнительную информацию о пользователях и товарах. Такая информация называется контекстом. Наличие контекста приводит нас к задаче контекстного многорукого бандита, методы решения которой сейчас активно разрабатываются. Существует несколько подходов к решению такой задачи. В большинстве случаев каждый контекст рассматривается изолированно от других. Тогда к каждому контексту отдельно применяется алгоритм, решающий классическую задачу многорукого бандита (бесконтекстного). Поэтому становится актуальной проблема переноса знаний и информации между контекстами. Одним из способов решения такой проблемы является использование нейронных сетей, которые находят нелинейные зависимости контекста и значения награды. В данной работе рассматривается и предлагается метод, основанный на байесовских нейронных сетях, в которых на веса (параметры) сети накладываются распределения. Использование нейронных сетей для решения задачи контекстного многорукого бандита позволяет осуществить перенос знаний между контекстами, а использование распределений на веса нейронной сети вместо их точных значений позволяет осуществлять корректное исследование среды для разрешения дилеммы исследования-использования.