Ускорение байесовской оптимизации в задаче обучения GAN

На данный момент существует множество работ посвященных генера­тивно-состязательным сетям (англ. Generative Adversarial Network, сокращённо GAN). Как правило, под генеративно-состязательной сетью понимают две нейронные сети: генератор и дискриминатор. Данные сети обучаются одновре­менно, при этом цель генератора научиться генерировать объекты так, чтобы дискриминатор воспринимал их как реальные, а цель дискриминатора научить­ся отличать реальные объекты от тех, которые создает генератор. Затем, после обучения, натренированный генератор может быть использован для генерации новых объектов. Данная задача в исходной постановке хорошо изучена, однако, предположим, что генератор не является сетью, и более того, не существует явной зависимости между параметрами генератора и объектами. Например, подобной задачей может служить уточнение некоторых физических констант по имеющимся реальным экспериментам, и другие обратные задачи. Существующие на сегодняшний день алгоритмы используют различные методы оптимизации для нахождения оптимальных параметров, но при этом требуют большого числа сгенерированных примеров. Основной целью данной работы является разработка нового метода без­градиентной оптимизации, для которого потребуется меньшее число примеров, за счет введения многошагового процесса оптимизации. Так, основная идея состоит в том, чтобы использовать постепенный переход от простых классификаторов к сложным, применяя последние только в тех областях параметров, где простые не смогли справиться. В ходе работы был построен многошаговый алгоритм, а также проведены эксперименты на демонстрационных задачах. В результате проведенных экспериментов было показано премущество построенного алгоритма, над существующими подходами. В силу довольно общей постановки алгоритм может быть также при­менен в других оптимизационных задачах.