Применение моделей глубокого обучения, учитывающих структурную лингвистическую информацию, в задачах анализа текстовых данных

В данной работе предложены способы интеграции лингвистической структурной информации в современные нейросетевые подходы, решающие задачи классификации и генерации текстов. Мы предлагаем комбинацию GCN и RSTRecNN моделей для одновременного кодирования семантики, синтаксиса, отношений кореференций и дискурса при решении задач категоризации. Эксперименты представлены для трех популярных бенчмарков, и во всех случаях результаты базовой RSTRecNN модели были улучшены. Кроме того, мы приводим анализ важности использования корректных лингвистических структур. Современные подходы к NLG на основе моделей-трансформеров, такие как GPT-2, позволяют генерировать синтаксически связные оригинальные тексты. Однако эти тексты имеют существенный недостаток: несогласованность дискурсивной структуры. В данной работе предлагается метод оценки качества дискурса, и эксперименты показывают, что дискурсивная структура в текущих генерируемых текстах часто является ошибочной. Мы предлагаем направления для ее исправления при помощи дообучения модели на текстах, содержащих дополнительные дискурсивные маркеры. Кроме того, в работе предлагается пайплайн, состоящий из двух нейросетевых генерирующих моделей, позволяющий планировать высокоуровневую дискурсивную структуру, и представлены его предварительные результаты.