Разработка методов машинного обучения с подкреплением для управления робототехническими устройствами и виртуальными агентамиDevelopment of reinforcement learning methods to control robotic and virtual agents

В рамках данной диссертации сделан фокус на разработку методов, основанных на обучении с подкреплением, применимых для управления робототехническими устройствами. Современные методы глубокого обучения с подкреплением способны решать задачи  управления в виртуальных средах без использования априорной информации о решаемой задаче. Обучение происходит путем проб и ошибок, в котором агент взаимодействует со средой и учится оптимизировать свои действия так, чтобы они приводили к большей ожидаемой награде. При применении таких методов для управления физическими устройствами возникает ряд сложностей, связанных с переносом из симуляции на физическую установку, использованием действий различного масштаба, сходимостью к суб-оптимальной стратегии и трудности с объединением нейросетевых и алгоритмических подходов. В работе предложен набор алгоритмов, которые позволяют выучить эффективную стратегию с учетом этих ограничений. Качество работы предложенных алгоритмов рассматривается на практически важных задачах, таких как настройка оптического интерферометра, управление движением шагающего робота и виртуальная среда NetHack.