YandexGPT в применении к GraphRAG: формирование графов и семантический анализ графовых сообществ

Графы знаний являются мощными инструментами для организации документов и извлечения информации из неструктурированных данных. Хотя метод GraphRAG, сочетающий RAG-пайплайн и графовые рассуждения, демонстрирует всё большую эффективность в задачах генерации ответов на вопросы, построения рекомендательных систем и других прикладных задачах обработки языковых данных, его применимость к русскоязычным датасетам остаётся относительно малоизученной. Данное исследование сосредоточено на адаптации фреймворка GraphRAG для русского языка путем интеграции в алгоритм GraphRAG проприетарной модели YandexGPT – одной из самых продвинутых крупных языковых моделей, обученных на русскоязычных корпусах. Ключевым вкладом данной работы является переработка кода библиотеки GraphRAG, созданной Microsoft, для поддержки подключения к моделям через API. (оригинальный код построен вокруг OpenAI-модулей, что затрудняет внедрение пользовательских классов). Кроме того, мы представляем интерактивный веб-интерфейс, который позволяет осуществлять глобальный семантический поиск по построенным графам знаний. Для оценки точности построенных графов мы также проводим сравнительные эксперименты на русскоязычных данных, – а именно на транскриптах подкастов и новостных статьях, – с моделями с открытым исходным кодом, такими как Qwen, DeepSeek и др., которые изначально обучены на английских датасетах. Мы ожидаем, что модели линейки YandexGPT, более точно настроенные на русский язык, будут генерировать более информативные графы. Помимо методов оценивания, предложенных в оригинальной статье, в ходе экспериментов используются и новые подходы, позволяющие оценивать построенные пайплайны с учетом контекста документов. В качестве метрик оцениваются семантические аспекты ответов GraphRAGа: полнота, прямо, разнообразие и помощь в принятии решений. Ключевые слова: GraphRAG, YandexGPT, графы знаний, русскоязычные данные, семантические отношения, обработка естественного языка, большие языковые модели