Градиентная оптимизация гиперпараметров лучевого поиска

Нейросетевые модели условной генерации текста в текущее время получили широкое применение в задачах обработки естественного языка. Для предсказания последовательности с наибольшей оценённой вероятностью на этапе тестирования используется алгоритм лучевого поиска. Данный алгоритм не позволяет достичь оптимальных результатов без внесения модификаций в функцию оценки последовательности, основанную только на вероятности; в связи с этим возникает необходимость добавления в модель гиперпараметров, балансирующих влияние каждого из дополнительных факторов. В настоящее время задача поиска набора гиперпараметров, позволяющего получить наибольшее значение целевой метрики на валидационной выборке, чаще всего решается перебором значений по заданной сетке. Данный метод имеет экспоненциальную вычислительную сложность по числу неизвестных переменных, что поднимает вопрос существования более эффективного подхода. В данной работе предлагается метод для нахождения оптимальных значений гиперпараметров лучевого поиска путём включения их в функцию потерь, минимизируемую на этапе обучения.