Методы оценивания семантической близости фраз для классификации текстовых сообщений

Задача классификации коротких текстовых сообщений возникает в системах маршрутизации обращений клиентов, а также в системах разговорного интеллекта при распознавании намерений собеседника. Важной проблемой при решении данной задачи является распознавание парафраз. В коротких сообщениях одно и то же намерение может быть перефразировано многими способами, иногда вообще не имеющими одинаковых слов. Данное обстоятельство существенно усложняет задачу и делает неприменимыми обычные методы классификации текстов, основанные на частотных признаках слов. В данной работе предлагается совместно использовать вероятностные тематические модели с частичным обучением и автоматическим выделением информативных словосочетаний и нейросетевые векторные представления слов для оценивания семантической близости коротких сообщений. Рассматриваемые методы протестированы на коллекции пар вопросов с бинарным целевым признаком, и проведено их сравнение с конкурирующими моделями Word2Vec и FastText.