Разреживание нейронных сетей при помощи байесовского подхода

В работе изучается принцип максимума обоснованности для оптимизации гиперпараметров и выбора модели в байесовских нейронных сетях. Описывается эффект автоматического определения релевантности и прунинга при использовании нормального априорного и вариационного апостериорного распределений для параметров нейронной сети. Рассматривается связь между разреженным вариационным дропаутом и гауссовским автоматическим определением релевантности. На основе принципа максимума обоснованности предлагается новый тип априорного распределения, который приводит к структурному разреживанию параметров, что позволяет сжимать и ускорять современные свёрточные архитектуры глубоких нейронных сетей. В работе представлены экспериментальные результаты, которые показывают, что предложенная процедура структурного разреживания удаляет большую часть фильтров и нейронов в свёрточных и полносвязных слоях свёрточных сетей архитектур LeNet5 и VGG без существенных потерь в точности классификации на датасетах MNIST и CIFAR-10. Предложенный подход приводит к более высоким показателям разреженности свёрточных слоёв, чем в предыдущих работах.