Эталонное тестирование языковых моделей на задачах понимания естественного языкаBenchmarking transformer language models on natural language understanding tasks

В области обработки естественного языка эталонное тестирование (англ. benchmarking) является общепринятой методологией оценки обобщающей способности современных языковых моделей на основе архитектуры «Трансформер». Однако существующие бенчмарки разработаны для малого количества языков и используют методы агрегации результатов, не соответствующие многообразию критериев оценки. В данной работе впервые предложены бенчмарки для оценки языковых моделей на задачах понимания русского языка и новые методы агрегации результатов эталонного тестирования, учитывающие предпочтения конечного пользователя. В работе представлены результаты эталонного тестирования более ста языковых моделей и их конфигураций относительно уровня человека в различных экспериментальных постановках. Предложенные бенчмарки, кодовая база, открытые рейтинги систем, проекты по оценке людей на рассматриваемых задачах и другие материалы находятся в открытом доступе.