Ускорение Нейронных Сетей с Помощью Вариационного Байесовского Вывода

В данной работе рассмотрена задача обучения с учителем таких нейросетей, что линейные слои в них является Тёплицевым (т.е. соответствующая матрица является Тёплицевой). Тёплицевы матрицы примечательны тем фактом, что для них существует эффективный алгоритм умножения матрицы на вектор, что позволяет добиться более быстрого получения предсказаний по сравнению с полносвязным линейным слоем. В целом ряде современных работ исследуется вопрос обучения матриц со структурой как компонент нейронных сетей. Один из основных вызовов заключается в том, что замена полносвязных слоёв на слои со структурой (в частности, Тёплицевы) приводит к ухудшению качества предсказания. В этих работах слои со структурой обучаются не-Байесвоским образом (при помощи максимизации правдоподобия) с явными ограничениями на пространстве параметров. В данной работе мы подходим к задаче обучения матриц со структурой со стороны вариационных Байесовских методов, оказавшихся крайне плодотоворными в ряде задач (в частности, в задаче обучения разреженных матриц). Представленные в работе методы являются модификациями вариационных подходов к процедуре дропаута в нейросетях, а именно, «Вариационного дропаута» и «Конкретного дропаута». Мы применяем преложенные методы в популярных задачах-бенчмарках: задаче распознавания рукописных цифр MNIST, а также задаче классификации шум-сигнал HIGGS. Мы измеряем точность итогового предсказания, падение точности по сравнению с полносвязным слоем, а также соответствющее ускорение вычисления результата. Мы заключаем, что разработанные нами методы, во-первых, позволяют получить Тёплицевы линейные слои. Во-вторых, они позволяют добиться меньшего падения качества по сравнению с полносвязными слоями. Таким образом, представленные методы позволяют значительно ускорить нейронные сети на этапе получения предсказаний ценой меньших потерь качества.