Исследование байесовских методов регуляризации нейронных сетей

Глубокие нейронные сети достигают высокого качества во многих задачах машинного обучения. Однако из-за того, что в этих моделях много параметров, они склонны к переобучению —— запоминанию обучающей выборки и настройке на шумовые признаки, что ухудшает обобщающую способность модели. Для того, чтобы предотвратить переобучение, необходимо регуляризовывать модели. На практике часто используется метод регуляризации dropout —— бинарный или гауссовский шум, который накладывается на активации нейронов или веса модели. В данной работе изучается новый подход к регуляризации нейронных сетей —— внесение шума на направление и норму векторов весов вместо независимого покоординатного шума. Рассматривается несколько способов внесения шума на направление векторов, и предлагается вероятностная модель, в которой с помощью вариционного вывода можно автоматически настраивать параметры приближенного апостериорного распределения на веса. Использование специальных априорных распределений может дополнительно приводить к структурному разреживанию в модели и сжатию нейронных сетей.