Глубокое обучение с подкреплением на платформе VizDoom

Недавние успехи глубокого обучения с подкреплением сделали возможным создание искусственного интеллекта для видеоигр, использующего только изображение c экрана для принятия решений, подобно человеку. Обычно новые алгоритмы тестируют на 2D играх, однако они достаточно простые по сравнению с 3D играми, которые как правило обладают гораздо большим пространством состояний и действий, а главное имеют частично наблюдаемые состояния. В этой работе мы комбинируем доказавшие свою эффективность алгоритмы, такие как DQN, Actor-Critic и PPO с существующими модификациями и улучшениями, а затем сравниваем получившихся агентов в частично наблюдаемой 3D среде. В качестве симулятора среды используется платформа VizDoom, основанная на шутере от первого лица. Помимо этого мы предлагаем новый метод параметризованных наград, основанный на обучении мета-параметров. Нами были получены выражения для мета-градиентов в частном случае PPO алгоритма и показано преимущество нашего подхода над фиксированной функцией награды на мультизадачном сценарие.