Глубокое обучение с подкреплением в шутере VizDoom

В данной работы был изучен эффект, получаемый от комбинации нескольких улучшений агентов обучения с подкреплением в полностью наблюдаемых Марковских процессах принятия решений в задачах с частично наблюдаемым Марковским процессом принятия решений. Комбинация эвристических улучшений, таких как Обучение Распределений и Дуэльные архитектуры и др. хорошо изучены и работают значительно лучшем чем DQN, что и делает их настолько популярными. Однако, никто не предпринимал попыток объединить эти методы для частично наблюдаемых процессов. В место этого обычной практикой является разработка агентов под среду. Очевидно, что разработка агента под среду сложнее, а полученный агент будет способен работать только в одной среде. Мы предложили новый способ комбинации улучшений DQN и разработали нового универсального (model-free) агента обучения с подкреплением, который работает в частично наблюдаемых процессах и объединяет хорошо изученные улучшения для полностью наблюдаемых. Для проверки агента была выбрана среда VizDoom. Это шутер от первого лица, в котором есть удобный API для взаимодействия со средой и обучения автономных агентов& Мы разработали нескольких агентов для следующих сценариев: Basic, Defend The Center, health Gathering. Мы доказали, что улучшения из полностью наблюдаемых процессов работают и в частично наблюдаемых, а предложенный агент выучивает значительно более качественную политику поведения. Мы сравнили агента с DRQN с Приоритетным Буфером и Снимковым ансамблем и получили трехкратное улучшение награды за эпизод. Наш агент может быть улучшен при помощи методов разработки агентов для среды и может послужить хорошей основой для разработки более сложных агентов для игры в сценарии VizDoom. Ключевые слова: глубокое обучение с подкреплением, нейронные сети, шутер от первого лица, VizDoom.