Верхние границы в обучении с подкреплением

Обучение с подкреплением является очень общим подходом в машинном обучении. В нем присутствуют многие другие подобласти, такие как основанные на модели и свободные от модели, которые в свою очередь делятся на другие виды. В обычной постановке, агент пытается найти лучший способ взаимодействия со средой, получая награду за свои действия. Поэтому агент стремится найти лучшую стратегию или другими словами оптимальную стратегию. Для некоторых стратегий трудно решить, является ли она оптимальной или нет. В этой работе представлен подход для построения верхнего решение для оптимальной функции значений. Это решение обладает свойством, что чем ближе наша политика к оптимальной, тем уже зазор между верхней и нижней границами. Это помогает нам измерять качество политики агента. Алгоритм для верхних границ работает как для MDP с конечным горизонтом, так и для бесконечного горизонта. Также предложенный алгоритм является не зависящим от модели, поэтому его можно использовать во многих практических задачах.