Нейронные сети в иерархическом обучении с подкреплением

Одними из проблем обучения с подкреплением (RL) являются «проклятье размерности» и среды с разреженным откликом. Для их решения может быть использовано иерархическое обучение с подкреплением, которое позволяет осуществлять абстракцию над действиями и одновременно абстракцию над состояниями среды. В данной работе предложен алгоритм, объединяющий иерархический подход к обучению с подкреплением и способность искусственных нейронных сетей служить универсальными аппроксиматорами функций. Для реализации иерархии действий используется алгоритм «Options», смысл которого заключается в нахождении макро-действий (навыков), которые характеризуются собственной последовательностью действий и целью и позволяют более эффективно находить решение исходной задачи. Сверточная нейронная сеть, принимая на вход изображение, может выполнять роль Q-функции, когда на выходе для каждого возможного действия даётся оценка его полезности в данном состоянии среды. Разработанный алгоритм сравнивается с алгоритмом табличного Q-обучения в задаче построения башни из кубиков с помощью руки-робота.