Интерпретация представления знаний в нейросетевых моделях автоматической обработки естественного языкаInterpreting Knowledge Representation in NLP Models

Большие языковые модели оказались очередной крупной вехой в развитии искусственного интеллекта: модели справляются с языковыми задачами, не требуя явного указания алгоритмов их решения. В исследовании представлен анализ механизмов, лежащих в основании этой ключевой способности языковых моделей. Проводится анализ промежуточных представлений языковых единиц, вычисляемых нейросетевыми моделями языка по ходу решения задач языкового моделирования. Эксперименты проводятся в методологии пробинга. В начале проведён пробинг представленности грамматики в представлениях больших языковых моделей. Грамматические эксперименты проведены на двух выборках языков --- пробной (4 европейских языка) и затем типологически разнообразной (более сотни языков). Затем, как и в случае с типологическим сравнением языков, использовано множество грамматических категорий для оценки грамматических характеристик моделей. На основании проведённых экспериментов удаётся выделить важную черту процесса усвоения грамматического знания в слоях модели: раннее установление специализации слоёв в моделях. Дальнейшие эксперименты затрагивают иные виды знания в языковых моделях. Промежуточные векторные представления нейросетей анализируются с точки зрения семантики, что позволяет обнаружить иерархическую организацию векторного пространства. Затем подобная же иерархическая структура обнаруживается и в пространстве представлений фактов --- знания экстралингвистического. Результаты экспериментов описаны в опубликованных статьях, а исходный код находится в открытом доступе.