Методы обучения с подкреплением для ответов на вопросы на основе графов знаний

В этой работе мы решаем задачу ответов на вопросы на основе графа знаний (ГЗ). Более конкретно, мы формулируем проблему в терминах обучения с подкреплением и обучаем агента находить путь в ГЗ, который ведет от начальной сущности к целевой, в соответствии с заданным отношением между ними. В качестве агента мы предлагаем модель на основе трансформера, обученную с помощью алгоритма REINFORCE выбирать наиболее перспективное ребро в ГЗ и переходить по нему. Во всех предыдущих работах, решающих задачу обучением с подкреплением, использовались рекуррентные сети для генерации векторных представлений пройденных путей и простые полносвязные сети для предсказания отношений. Мы заметили, что пройденный путь в ГЗ может рассматриваться как последовательность сущностей и отношений. В таком случае задача может быть переформулирована как классификация последовательности, для решения которой отлично подходят трансформеры. Мы также предлагаем две модификации функции награды для улучшения работы алгоритма: штраф за длину пути и награда за неверные ответы. Наши эксперименты показали, что на наборе данных WN18RR предложенный алгоритм значительно превосходит все предыдущие алгоритмы, решающие данную задачу.