Обучение авторегрессионных моделей, адаптивное к метрикам качества

Данная работа посвящена исследованию процедур обучения авторегрессионных моделей. Авторегрессионные модели широко используются во многих важных приложениях, включая машинный перевод и генерацию кода, они предсказывают последовательно, и каждое предсказанное значение зависит от предыдущих. Такие модели могут предсказывать текст, звуковую волну или временной ряд. Согласно исследованиям, авторегрессионные модели, обученные напрямую максимизировать тестовую метрику, а не правдоподобие, часто показывают более качественные результаты. Однако такой способ обучения имеет свои сложности, что препятствует более широкому распространению. В этой работе мы исследуем компоненты подхода “обучение поиску” (learning-to-search) (Daumé III et al.,2009; Leblond et al.,2018) : политику, определяющую на каждом шаге наилучшее предсказание (reference policy), функцию оценки предсказаний (costs) и функцию потерь. Мы экспериментируем на трех сложных задачах: упорядочение слов, нейросетевой машинный перевод и генерация кода. Во-первых, мы предлагаем способ построения политики, основанной на сопоставлении предсказаний модели и правильных ответов. Мы доказываем, что предложенная политика оптимальна для расстояния Кендалла-тау между перестановками (появляются в задаче упорядочения слов). С помощью этой политики можно приблизительно считать метрику METEOR на каждом шаге обучения. Мы используем это свойство политики для задач нейросетевого машинного перевода и генерации кода. Во-вторых, мы наблюдаем, что используемый подход выигрывает от выбора функций оценки предсказаний, связанных с тестовыми метриками. Наконец, мы изучаем различные функции потерь и обнаруживаем, что стандартная функция потерь на основе дивергенции Кульбака-Лейблера учитывает только несколько токенов, имеющих высокую вероятность. Мы предлагаем функции потерь, чувствительные только к порядку, обучение с которыми явно нацелено на токены имеющие высокую вероятность. Такие функции могут заменить стандартную дивергенцию Кульбака-Лейблера.