• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
ФИО студента
Название работы
Руководитель
Факультет
Программа
Оценка
Год защиты
Харитонов Валерий Дмитриевич
Bayesian Pruning of Neural Networks
Науки о данных
(Магистратура)
2018
We study the empirical Bayes approach to hyperparameter optimization and model selection in Bayesian neural networks. We explore its automatic relevance determination and pruning effect when Gaussian prior and approximate posterior for neural network weights are used. The connection is drawn between Sparse Variational Dropout and Gaussian Automatic Relevance Determination objectives. Based on the empirical Bayes procedure, we propose a novel type of prior that encourages structured sparsity and allows for compression and speeding up of modern convolutional deep neural network architectures. We provide experimental results showing that the proposed structured pruning procedure removes most of the filters or neurons in convolutional and dense layers in LeNet5 and VGG-like convolutional neural networks with almost no drop in accuracy of classification on MNIST and CIFAR-10 datasets. The new approach outperforms previously reported results in terms of sparsity levels in convolutional layers.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Расширенный поиск ВКР