Градиентная оценка с низкой дисперсией для параметров распределения Плакетта-Льюса

Обучение моделей с дискретными латентными переменными с использованием стохастиче- ского градиентного спуска остается сложной задачей из-за высокой дисперсии оценок гради- ента. Современные методы уменьшения дисперсии в основном рассматривают категориаль- ные распределения и имеют ограниченную применимость, когда число возможных исходов становится большим. В этой работе мы рассматриваем модели с латентными перестановками и предлагаем метод снижения дисперсии для распределения Плакетта-Люса. В частности, метод позволяет оптимизировать функции вида ”черный ящик” зависящие от перестановок с помощью стохастического градиентного спуска. Чтобы проиллюстрировать эффективность предложенного подхода, мы рассматриваем задачу восстановления причинно-следственных связей по непрерывным и дискретным данным. Мы показываем, что наш метод превосходит конкурентные методы оптимизации на основе релаксаций а также применим к недифференцируемым оценочным функциям.