Квантизация нейронных сетей для повышения эффективности расчета прогноза

Качество современных генеративных состязательных сетей связано с огромным количеством вычислений, которые выполняются на этапе применения, тем самым усложняя их запуск на современных мобильных девайсах. В то же время, квантизация это популярная техника сжатия нейронных сетей, которая облегчает их применение на приспособленных для этого устройствах. Однако, в то время как в недавних работах показывается возможность кванти­ зовать дискриминативные модели до маленького количества бит даже с использованием рав­ номерных схем, производительность современных техник квантизации в применении к ге­ неративных моделей неясна. Данная статья рассматривает данную проблему с помощью ин­ тенсивного экспериментального исследования эффективности новейших квантизационных техник равномерной для равномерной квантизации генеративных сетей. В этом исследова­ нии рассматривается пост­тренировочная квантизация и квантизационное обучение, приме­ нённые к генераторам 3 разных архитектур, а именно Style­based GAN, Self­Attention GAN и Cycle­Consistent GAN. В результате будет описан вывод, что все эти архитектуры могут быть квантизованы до 4 и 8 бит с незначительнолй потерей качества.