Обучение с подкреплением в средах подобных коллекционным карточным играм

Различные исследования в области обучения с подкреплением часто базируются на различных средах с определёнными наборами особенностей. Как пример игры для Atari "Montezuma Revenge" и “Pitfall” поставили проблему разреженной награды и в процессе решения этой проблемы появился метод Go-Explore. Другие игры для Atari привели к созданию модели Rainbow. Более сложные среды основанные натаких средах как DotA 2 или Starcraft 2 ставят более сложные проблемы. Основываясь на этом подходе я считаю разумным рассмотреть среду коллекционных карточных игр (таких как TES Legends, Hearthstone, Eternal и других), особенно с учётом того что среды такого типа не были тщательно исследованы до сих пор. Этот тип сред содержит интересную комбинацию особенностей, которые уместно рассмотреть в качестве задачи для обучения с подкреплением. В рамках данной работы реализована и исследована данная среда, выявлены и решены некоторые проблемы среды. Достигнуты высокие результаты на различных средах с использованием таких алгоритмов как a2c, self-play и их модификаций.