Автоматический анализ литературных произведений с помощью моделей дистрибутивной семантики

Модели дистрибутивной семантики, такие как векторные представления слов, демонстрируют высокое качество и хорошую производительность в задачах естественной обработки языка. Ряд исследований показал, что эти модели, обученные на огромных текстовых корпусах, хорошо справляются с различными семантическими задачами. В данной работе рассматривается возможность применения векторных представлений слов к конкретной задаче литературного анализа – извлечение социальных сетей из художественной литературы, которая обладает ограниченным объёмом входных данных. В нашем исследовании модели сначала обучаются на текстах популярных книжных серий фэнтезийных романов, «Песнь Льда и Пламени» и «Гарри Поттер», а затем оценивается их качество на основе выделенных связей. Извлекаемые социальные сети сравниваются с «золотым стандартом», полученным с помощью краудсорсинга. Данное исследование фокусируется на предварительной обработке текста, с помощью которой увеличивается число контекстов, в которых появляются персонажи, используя различные алгоритмы разрешения кореференции, а также благодаря заменам разных форм имени одного и того же героя на некоторый стандартный вид.