Глубинное исследование среды в обучении с подкреплением

В работе изучаются методы исследования среды в обучении с подкреплением, основанные на счетчиках, и способы их обобщения на непрерывные среды. На основании анализа литературы выявляются два возможных способа аппроксимации счетчиков: псевдосчетчики и E-счетчики, затем оба метода экспериментально изучаются. Показывается, что псевдосчетчики, основанные на онлайн-обучении вероятностной модели, в качестве которой выбирается вариационный автокодировщик, оказываются неподходящими для решаемой задачи. Демонстрируется, что E-счетчики могут быть использованы в качестве аппроксимаций счетчиков для их последующего применения в методах исследования среды, основанных на счетчиках. Проводятся эксперименты, как на синтетической среде, требующей направленного исследования, так и на различных средах из инструментария для разработки и сравнения алгоритмов обучения с подкреплением OpenAI Gym с использованием двух различных алгоритмов обучения c подкреплением: Q-обучения и TRPO. Эксперименты показывают, что использование методов исследования, основанных на E-счетчиках, приводит к эффективному исследованию среды в задачах глубинного обучения с подкреплением. Кроме этого, в работе сравниваются два метода исследования среды, основанных на счетчиках: выбор действия в соответствии с верхним доверительным интервалом и добавление к награде бонуса, обратно пропорционального счетчику. В работе также проводится обширный обзор актуальных тенденций в области исследования среды в обучении с подкреплением. Ключевые слова: исследование среды, аппроксимация счетчиков посещений, E- счетчики, добавляемые к награде бонусы, верхний доверительный интервал.