Активное глубокое обучение

В данной работе будут показаны возможности использования методов активного обучения на примере классификации изображении с использованием сверточных неиронных сетеи. Задача представляется важнои, так как неиронные сети обычно требуют большого объ- ема выборки, а также соответствующего ему большого времени обучения. Уменьшение вы- борки позволит сильно сэкономить на маркировке данных и возможно уменьшить время обучения. В данной работе были описаны методы активного обучения, а также продемонстри- рована их работа для классификации статей датасета «The 20 Newsgroups», используя многоклассовую логистическую регрессию. Далее проведена серия экспериментов по использованию активного обучения, а точ- нее pool-based sampling стратегии сэмплирования, для 2-ух слоинои сверточной неиронной сети, классифицирующеи рукописные цифры из датасета MNIST. Затем отработанные методы были применены к более сложнои задаче - классифика- ции изображении датасета CIFAR10 3-слоинои сверточной сетью. Проведенные экспери- менты показывают, что методы активного обучения работают для задачи классификации картинок сверточными сетями и показывают хорошее уменьшение необходимого объема выборки. Результаты экспериментов позволяют сказать, что для описанной задачи оптимальным подходом является принцип максимума энтропии. Качество работы сэмплирования по неуверенности в случае использования принципа максимума энтропии, в разумных пределах размера сэмплирования, не сильно зависит от данного объема, что позволяет уменьшать время обучения сетей до схожего со временем обучения на всех данных.