Кооперация в мультиагентном обучении с подкреплением

В последние годы взаимодействие между эгоистичными и кооперативными политиками в мультиагентном обучении с подкреплением обширно исследовалось при помощи последовательных социальных дилемм (Sequential Social Dilemmas, SSD). Решение SSD подразумевает сохранение кооперации несмотря на конфликт между социальными и эгоистичными целями. Распространённым подходом для побуждения такого поведения является присваивание дополнительной награды, основанной на благосостоянии других агентов, который я называю кооперативным изменением награды (Cooperative Reward Shaping, CRS). В этой работе, я формулирую несколько практических ограничений SSD как метрики кооперативности политики и исследую случаи, в которых CRS не способна улучшить общее благосостояние (social welfare). В качестве альтернативы, решающей эти проблемы, я предлагаю Lawmaker —— мета-агента, который оценивает вклад каждого агента в social welfare и старается его увеличить с помощью изменения политики. Мои эксперименты указывают на то, что Lawmaker продвигает кооперацию в нескольких мультиагентных средах, в том числе тех, где CRS с этим не справляется.