Важность выборки для генеративно-состязательной сети

Генеративная состязательная сеть является мощным инструментом для генерации данных. Эта модель использует две сети генератора и дискриминатора и уменьшает расстояние Дженсена Шанона между распределением генерируемых данных и распределением реальных данных на каждой итерации. Это приводит к случаю сильно пересекающимся распределениям, которые замедляют скорость обучения модели, так как многие наблюдения уже достигли правильного решения в пересечении, но дискриминатор получает большое значение функции потерь и продолжает изменять параметры. Для решения этой задачи вводится новая методика. В этой работе показано, что объединение наблюдений в пары и применение метода выборки важности, изменяющего закон распределения данных для уменьшения дисперсии оценки градиента, обеспечивает эффективное решение этой проблемы. Результат подтверждается в разных случаях, начиная с простого 1d GAN на двух гауссовских распределениях и заканчивая классификацией изображений на наборе данных MNIST.