• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Обучение с подкреплением для задачи движения в транспортном потоке

ФИО студента: Шикунов Максим Алексеевич

Руководитель: Панов Александр Игоревич

Кампус/факультет: Факультет компьютерных наук

Программа: Науки о данных (Магистратура)

Год защиты: 2019

В данной работе рассматривается возможность интеграции принципов концепции "умного города" для улучшения автоматического управления беспилотным транспортным средством. Для этого используются методы по обмену информацией между различными устройствами. В частности предполагается получение дынных с помощью квадрокоптеров, выполняющих работу по слежению за трафиком на перекрёстках дорог, с последующей передачей этих данных беспилотным машинам. Для имитации процесса была разработана виртуальная среда, моделирующая движение транспорта на перекрёстке. Эта среда следует уже ставшему стандартным шаблону взаимодействия принятому в OpenAI gym API. В качестве тестирования среды использовались несколько алгоритмов обучения с подкреплением такие как DQN и PPO. Далее была рассмотрена иерархическая модель обучения с подкреплением. Из условия постановки задачи движения транспорта на перекрёстке легко прослеживается ее модульность, что позволяет использовать опции из иерархического обучении. Для этого была применена модель Option-Critic, которая позволяет не задавать опции явно, но оговаривает их количество. Чтобы избежать необходимости выбора оптимального количества опций с необходимостью выполнения нескольких вариаций алгоритма, была разработана модификация метода, которая задает лишь область значений для их количества. Оптимальное количество опций определяется автоматически путем сведения этой задачи к проблеме многорукого бандита. По результатам работы была предложена новая виртуальная среда с высокими функциональными возможностями и поддерживающая различные модификации. На простейших из них было выполнено несколько бейзлайнов с указанными выше моделями. Дополнительно была рассмотрена модель Option-Critic без фиксированного количества опций. Полученные результаты требуют дальнейших исследований и большего числа экспериментов.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ