Чувствительность языковых моделей на основе трансформеров к дискурсивным структурам

Языковые модели на основе трансформеров (такие, как BERT, GPT-2, RuBERT) являются самой распространённой архитектурой языковых моделей. На основе таких моделей удаётся создавать эффективные решения для широкого класса задач компьютерной лингвистики, благодаря чему использование их для обработки естественного языка широко распространено. Несмотря на это, причины подобной эффективности не до конца ясны. Поэтому одним из важныъ направлений автоматической обработки текстов являются исследования внутренних механизмов нейронных языковых моделей. В частности, в рамках подобных исследований проводятся эксперименты, призванные доказать или опровергнуть наличие у языковых моделей определённых лингвистических знаний и связать эти знания с определёнными элементами архитектуры модели. В настоящей работе мы исследуем знания языковых моделей, связанные с дискурсивным уровнем языка. Для этого мы предлагаем ряд экспериментов на текстах на русском и английском языке, извлечённых из корпусов корпусов с дискурсивной разметкой (RST Discourse Treebank для английского и RuRS Treebank для русского). С помощью этих экспериментов мы показываем, что у языковых моделей BERT, GPT-2 и RuBERT есть знание дискурсивных структур. Кроме того, мы демонстрируем, как это знание распределено по слоям нейронных сетей, и анализируем особенности дискурсивных знаний трёх моделей.