Исследование Нейросетевых Методов Разделения Значений Многозначных Слов

Индуцирование смысла слов - это техника, которая разделяет различные смыслы многозначного слова в зависимости от контекста, в котором оно используется. В отличие от техники устранения неоднозначности, набор возможных смыслов слова не определен, и его нужно установить по набору контекстов, в которых данное слово встречается. Самый распространенный способ применения этой техники состоит в использовании предобученной языковой модели с некоторым знанием языка. Одно из хороших решений состоит в генерации слов, которыми можно заменить данное слово в данном контексте и последующая кластеризация наборов таких замен. В отличие от такого решения, мы фокусируемся на кластеризации эмбеддингов языковой модели напрямую. В данной работе мы исследуем способы построения таких эмбеддингов с помощью языковой модели BERT, которые содержат наибольший объем информации о смысле слова. Затем мы сравниваем описанные методы с подходом, в котором вычисляются расстояния между контекстами с помощью моделей классификации пар предложений.