Автоматическое определение количества кластеров в задаче рубрикации текстовых документов

<p>Целью настоящей работы является исследование применения подходов к кластеризации с автоматическим определением количества кластеров к задаче рубрикации текстовых документов в условиях отсутствия информации о рубриках и их количестве.</p><p>Научная новизна работы обусловлена ее спецификой. Данное исследование является первой работой, в которой известные методы кластеризации с автоматическим определением числа кластеров без учета лингвистических особенностей применяются к задаче кластеризации коллекции текстовых документов. Аналогичная проблема уже решалась в работе М. Киселева &laquo;Метод кластеризации текстов, основанный на попарной близости термов, характеризующих тексты, и его сравнение с метрическими методами кластеризации&raquo;, в которой был предложен метод формирования автотезауруса на основе понятия близости термов для решения задачи кластеризации текстовых документов.</p><p>Описанный в работе метод кластеризации был протестирован на массиве новостных сообщений различной тематики с более 500 источников. Источниками являлись официальные сайты туристических агентств, туроператоров, театров и других компаний. Выбранная специфика новостей обусловлена тем, что, в отличие от стандартных новостей информационных агентств, в них сложно предугадать структуру будущего рубрикатора, опираясь на рубрикаторы источников.</p><p>В ходе исследования было установлено, что автоматическая предварительная кластеризация подойдет в том случае, если в коллекции представлены документы близкой тематики, либо каждая потенциальная рубрика имеет достаточное количество &laquo;представителей&raquo; в обучающей выборке.&nbsp;</p><p>Автоматическая кластеризация с помощью x-means может применяться как вспомогательный этап, после которого у эксперта будет предварительно кластеризованная выборка документов. Это позволит скорректировать рубрики в соответствии с их значимостью в рамках конкретных задач.</p><p>Безусловно, нельзя полностью полагаться на машинное обучение при составлении рубрик, поскольку при этом не учитывается ни специфика задачи, ни приоритеты тематик. Однако, как показали эксперименты, применение xmeans в качестве помощи при подготовке обучающего корпуса является неплохим решением в условиях неопределенности рубрик. Безусловным преимуществом такого подхода перед полностью ручным рубрицированием обучающей выборки является то, что при ручной обработке необходимо вначале составить классификатор (рубрикатор), что зачастую требует вначале полного ознакомления со всеми документами, а затем их систематизации по рубрикам. Это довольно непросто, особенно при достаточно больших коллекциях текстов.</p>