Моделирование жанрово-тематической направленности текста для автоматического выявления рекламы

В настоящее время существует множество различных тематических моделей. Широко известные методы вероятностного латентного семантического анализа (PLSA) (Hofmann 1999) и скрытое распределение Дирихле (LDA) (Blei et al., 2003) являются универсальными и различают темы, соответствующие широким тематическим областям. Тем не менее, модель темы в настоящем исследовании должна автоматически идентифицировать отличительные термины предопределенных жанров. Поэтому используется модель с регулируемой темой, поскольку она фокусируется на определении тем, которые позволяют разделить документы на соответствующие и нерелевантные классы (Rubin 2012). Несмотря на множество научных публикаций по тематическому моделированию, ни одна из них не применяет тематические модели для определения коммерческих текстов. Именно поэтому целью настоящего исследования является разработка алгоритма классификации жанров на основе тематического моделирования автоматического обнаружения рекламы. Исследование решает несколько задач, таких как создание пользовательского корпуса текстов, ручная классификация тестового образца как прошлое полуконтролируемого процесса машинного обучения, создание тематической модели для будущей классификации текстов вне корпуса, оценка модели и анализируя результаты автоматического обнаружения рекламы.