Распределенная система хранения и рубрикации документов

<div>Выпускная квалификационная работа на тему &quot;Распределенная система хранения и рубрикации документов&quot; имеет объем 43 страницы, содержит 5 рисунков и 4 таблицы. При подготовке работы использовано 47 источников.</div><div>&nbsp;</div><div>В структуру работы входит введение, обзор литературы и похожих решений, 2 содержательные главы, глава об экспериментальной апробации разработанной системы и заключение.</div><div>&nbsp;</div><div>Работа посвящена разработке и экспериментальной апробации распределенной системы обработки коллекций текстовых документов. В работе реализованы методы рубрикации коллекций документов на основе моделей скрытого размещения Дирихле (LDA) и вероятностного латентного семантического анализа (PLSI), реализованы средства поиска и извлечения документов на основе этих моделей, а также разработанной автором поисковой машины на базе аннотированных суффиксных деревьев (АСД) с предварительной обработкой коллекции. Во время предварительной обработки коллекции происходит построение специальной структуры данных, используемой для сокращения времени выполнения поискового запроса. Реализованные методы включены в работающую распределенную систему обработки коллекций документов. Проведено экспериментальное сравнение реализованных методов, в качестве коллекций документов были взяты товарные каталоги интернет-магазина &quot;Озон&quot;, находящиеся в свободном доступе. На основании этого сделан вывод, что сделанные модификации способны в ряде случаев как улучшить качество поиска документов и ускорить процесс поиска документов в коллекции, так и сократить время, затрачиваемое на обработку коллекций.</div><div>&nbsp;</div><div><strong>Ключевые слова:</strong> скрытое размещение Дирихле (LDA), вероятностный латентный семантический анализ (PLSI), аннотированные суффиксные деревья (АСД), рубрикация текстов, системы поиска документов, распределенные системы обработки текстовых документов</div>