Симплификация предложений с использованием предобученных языковых моделей

Задача упрощения текста включает в себя несколько подзадач, из которых было выбрано: упрощение на уровне предложения. В такой постановке задача сводится к тому, чтобы получить из сложного предложения получить упрощенное. Критерии сложности предложения включают в себя наличие сложных грамматических конструкций, в том числе, причастных и деепричастных оборотов, подчиненных предложений, наличие редких и неоднозначных слов и т.д., с целью улучшения читабельности и понимания. Тем не менее, для русского языка по этой задаче не проводилось большого количества исследований. Целью данной работы является исследование различных предварительно обученных языковых моделей на наборе данных парных предложений русского языка, и достижение хорошего качества упрощения, сопоставимого с современными работами. В результате лучшим методом оказалась языковая модель mT5 с применением регулирующих токенов, которая смогла достичь качества по метрике SARI=39.375.