Сравнение методов кластеризации сниппетов новостных документов

Ранжирование результатов поисковых запросов – одна из наиболее важных тем в поисковой инженерии. В современных системах ранжирование основано не только на релевантности документов запросу пользователя, но и на геолокации, истории предыдущих запросов и других параметрах. В качестве альтернативы представлению результатов поиска в виде списка применяются кластеризованные поисковые результаты. Преимуществом данного представления является комбинирование похожих результатов с целью улучшения пользовательской навигации. В работе представлены традиционные алгоритмы кластеризации, основанные на мере сходства между документами, а также алгоритмы концептуальной кластеризации, использующие анализ формальных понятий и теорию решеток. Для каждого метода приведен пример работы на коллекции сниппетов новостных документов. Помимо этого, проводится сравнительный анализ результатов тематической кластеризации большой коллекции новостных сниппетов традиционными и концептуальными алгоритмами. Также в данной работе предложен алгоритм концептуальной кластеризации на основе вероятностного индекса.