Исследование функций потерь для эффективного обучения моделей оценки семантической близости текстовых данных

Использование контрастных потерь для обучения представлений стало популярным в компьютерном зрении, и теперь ему уделяется внимание при решении задач обработки естественного языка (NLP). В работе исследуются способы использования контрастной функции потерь batch-softmax contrastive (BSC) loss для проведения этапа fine-tuning для крупномасштабных предварительно обученных моделей с архитектурой Transformer с целью получения лучших task-specific эмбеддингов предложений при решении задач попарной оценки семантической близости текстовых данных. Мы вводим и изучаем ряд вариаций в расчете этой функции потерь (нормализация, симметризация, выравнивание оцененных значений для положительных примеров), а также в общей процедуре обучения (перемешивание входной последовательности данных, обучаемый параметр температуры, способы дообучения). Наши экспериментальные результаты показывают значительные улучшения метрик для различных наборов данных и типов задач семантической оценки близости пар предложений, включая ранжирование, классификацию и регрессию. В частности для данных задачи Snopes (задача ранжирования) мы реализуем полный пайплайн с использованием BSC loss, который достигает state-of-the-art результатов. Важность каждой предложенной модификации формулировки и способа обучения демонстрируется как теоретически, так и экспериментально с помощью ablation study. Наконец, мы предлагаем подробный анализ и обсуждение полученных результатов, а также даем несколько практических рекомендаций для применения разработанного подхода.