Тематическое моделирование текстов

Аннотация Объем данных, представленных в виде текстов, велик и быстро растет. Нам нужны эффективные способы организации и понимания этих данных. Тематическое моделирование - популярная техника, позволяющая найти тематическую структуру документов. Она используется в обработке естественного языка и машинном обучении. В этой статье мы рассмотрим два популярных алгоритма тематического моделирования, Latent Semantic Analysis (LSA) и Latent Dirichlet Allocation (LDA), на наборе данных об описаниях фильмов из Википедии. Мы рассмотрим, как использовать эти два метода, и покажем полученные результаты. Статья начинается с объяснения LSA и LDA и показывает, как они работают вместе с методами предварительной обработки и метриками для оценки тематических моделей. Затем мы изучаем эти два алгоритма на заданном наборе данных, где показываем результаты - наилучшее количество тем для каждой исследуемой модели с учетом показателя согласованности. В заключение мы обсуждаем полученные результаты и приходим к выводу, что для коллекции документов фильма Википедия наилучший результат дает модель LDA с 5 темами. Ключевые слова: Тематическое моделирование, LSA, LDA, обработка естественного языка, машинное обучение