Методы и проблемы децентрализованного глубинного обученияMethods and problems of decentralized deep learning

Обучение больших нейронных сетей, достигающих в настоящее время наилучших результатов на большинстве прикладных задач, требует существенных вычислительных ресурсов. Доступ к суперкомпьютерам, обладающим достаточной мощностью, имеется только у ограниченного круга исследователей, что ограничивает возможности для развития машинного обучения как научной области. В данной работе предлагается способ для решения проблемы нехватки вычислительных ресурсов посредством добровольных вычислений, то есть использования свободных ресурсов волонтеров, подключенных к одной распределенной сети. Для решения проблем, возникающих при использовании распределенного машинного обучения в этой постановке, предлагается ряд методов, учитывающих такие её особенности, как ненадежность отдельных узлов, гетерогенность аппаратного обеспечения и сравнительно низкая скорость сетевых соединений. В частности, в работе предложена специализированная нейросетевая архитектура, устойчивая к сетевым задержкам и нестабильности узлов, разработан эффективный способ агрегации параметров моделей в неустойчивой сети, а также представлен метод для совместного предварительного обучения с учетом возможностей каждого участвующего устройства. Предложенные методы позволяют эффективно использовать мощности устройств волонтеров или вытесняемых облачных узлов при распределенном обучении нейронных сетей для широкого ряда сценариев.