Распознавание парафраза на материале русского языка

Распознавание парафраза - это одна из задач обработки естественного языка, которая заключается в определении, являются ли два предложения близкими по смыслу. В настоящее время представлено достаточно большое количество методов оценки семантической близости предложений, которые были экспериментально протестированы на англоязычных корпусах. В этой работе проводится обзор наиболее популярных моделей по распознаванию парафраза, а также применяются две из них на русском корпусе предложений ParaPhraser. Для проведения экспериментов были выбраны модели: Word2Vec с TF-IDF взвешиванием и Bilateral Multi-perspective Matсhing. Первый метод оценивает семантическую близость предложений только на основе векторных представлений слов, в то время как второй метод учитывает контекстные зависимости предложений, а также сравнивает предложения на детальном уровне - уровне слов в процессе обучения. Цель данного исследования - экспериментально оценить и сравнить точность выбранных моделей для задачи распознавания парафраза на русскоязычном корпусе предложений.