Алгоритм PPO с обменом сообщениями для эффективного управления железнодорожным трафиком

Задача составления эффективного расписания движения поездов активно изучается уже несколько десятилетий. Поскольку классические подходы к этой проблеме уже хорошо изучены, особый интерес представляют новые решения. Алгоритмы обучения с подкреплением в последнее время достигли значительных успехов в сложных многопользовательских компьютерных играх и в задачах управления роботами. Однако управление тысячами агентов остается сложной задачей для таких алгоритмов. В этой работе представлен алгоритм обучения с подкреплением для управления движением поездов. Мой подход основан на алгоритме Proximal Policy Optimization (PPO), дополненном обменом сообщениями между агентами. Алгоритм протестирован на виртуальном окружении Flatland и была показана весомость вклада обмена сообщениями между агентам в качество работы итогового алгоритма. Ключевые слова: железнодорожное расписание, мультиагентное обучение с подкреплением, обмен сообщениями