Методы оценивания языковых моделей в задачах понимания естественного языкаLanguage model evaluation in natural language understanding

В связи с бурным развитием языкового моделирования и языковых моделей на основе архитектуры «Трансформер», особую актуальность приобретают вопросы, связанные с оценкой языковых моделей и того, насколько хорошо они понимают естественный язык. Возникает необходимость в разработке методов количественного оценивания языковых моделей, а также в разработке систем тестов и инструментов, с помощью которой можно оценивать те или иные аспекты языкового моделирования и сравнивать модели между собой. В данном исследовании предложен метод оценивания устойчивости языковых моделей в задаче распознавания причинно-следственных связей. В работе разработана методология для мультиязычного оценивания моделей на пяти языках и проведено оригинальное исследование стабильности мультиязычной модели BERT в задаче распознавания причинно-следственных связей. Помимо этого, в рамках создания первого русскоязычного набора тестов на понимание естественного языка в работе представлен фреймворк для оценивания языковых моделей на данном наборе тестов, с помощью которого проведено оригинальное исследование по оцениванию ряда предобученных моделей архитектуры BERT для русского языка.