Методы агрегации эмбеддингов на основе метрик сходства текстовых репрезентаций

Задача получения эмбеддингов с помощью моделей семейства BERT является важной проблемой в работе с базовыми моделями, так как позволяет использовать предпосчитанные эмбеддинги в последующих задачах без дополнительных затрат на дообучение. Наиболее простым и популярным методом извлечения эмбеддингов является усреднение скрытых представлений последнего слоя, хотя данный подход далеко не всегда приводит к оптимальному качеству. Однако существуют и другие алгоритмы, нацеленные на построение комбинации векторных представлений с нескольких слоев. Тем не менее, они никак не учитывают информацию о схожести эмбеддингов, которая потенциально может улучшить качество итоговых представлений. В данной работе мы ставим цель выявить способ построения оптимальной комбинации эмбеддингов, учитывая метрики сходства текстовых репрезентаций. С этой целью мы рассматриваем некоторые метрики сходства эмбеддингов, а также различные методы агрегации векторных представлений. Далее мы проводим эксперименты с агрегацией подмножества из небольшого количества слоев моделей семейства BERT, позднее переходя к поиску оптимальных весов для всех слоев моделей на основе метрик сходства текстовых репрезентаций.