Обучение с подкреплением для DSGE моделей

Динамические стохастические модели общего равновесия (DSGE) — это класс макроэкономических моделей, которые центральные банки используют для понимания бизнес-циклов, шоков и воздействия политических решений на экономику. Каждая модель состоит из множества экономических агентов с функциями полезности, которые взаимодействуют друг с другом, отражая сложные процессы реальной экономики. Взаимодействия между агентами носят динамический и адаптивный характер, позволяя им корректировать свои стратегии в зависимости от внешних условий и внутренних мотиваций. Мы предлагаем масштабируемую переформулировку DSGE-моделей на языке агентов и рынков. Агенты обладают балансами различных типов ресурсов и обмениваются ими друг с другом на рынках. Каждый агент стремится построить оптимальную цепочку обменов, максимизирующую его функцию полезности. Для воспроизведения совершенной конкуренции некоторые рынки включают особый тип агентов — маркет-мейкеров. Их задача — устанавливать цены таким образом, чтобы уравновесить спрос и предложение. Чтобы построить DSGE-модель в этой системе, необходимо создать агентов, рынки и связать агентов стрелками с рынками, к которым у них есть доступ. Для получения траекторий равновесия мы применяем алгоритмы мульти-агентного обучения с подкреплением как для обычных агентов, так и для маркет-мейкеров. Чтобы показать, что наша переформулировка эквивалентна стандартному пониманию DSGE-моделей, мы сравниваем траектории макроэкономических переменных, полученные в нашей среде, с теоретическими траекториями простых DSGE-моделей. В качестве моделей мы используем Real Business Cycle (RBC) Model и Extended Real Business Cycle Model с двумя типами домохозяйств. Мы воспроизводим обе модели в нашей системе, генерируем траектории макроэкономических переменных с помощью обучения с подкреплением и демонстрируем, что эти траектории близки к полученным теоретически.