Капсульные нейронные сети в глубоком обучении с подкреплением

В работе рассматриваются новые архитектуры графов вычислений (нейронных сетей), которые строятся с учетом нейрофизиологических данных. Биологическое правдоподобие позволяет решить ряд проблем, с которыми сталкиваются существующие архитектуры (например, сверточные слои графов вычислений). В работе рассмотрены так называемые капсульные слои применительно к задачам обучения с подкреплением. В работе описываются основные алгоритмы обучения в капсульных слоях (CapsNet и EM-маршрутизация). Преимущества такого подхода позволяют, например, достичь инвариантности к особенностям размещения объектов на изображении. Такие особенности вызывают интерес с точки зрения обучения с подкреплением, так как многие задачи в этой области оказываются чувствительными именно к расположению объектов на изображении и взаимоотношениям между ними. Предлагается схема интеграции капсул в стандартные реализации глубокого обучения с подкреплением. Приведены результаты предварительных экспериментов, позволяющих сравнить классический подход на основе сверточных сетей с подходом на основе капсульных архитектур. Показано, что вычислительная производительность капсульных сетей уступает сверточным —— время одной эпохи обучения увеличивается на порядки.