Кластеризация СМИ по новостному контенту

Алгоритмы, используемые для сравнения текстов и кластеризации СМИ на основе контента, входят во многие методы исследования отдельных изданий и медиаландшафта в целом. Они помогают сопоставлять освещение событий различными СМИ, отслеживать распространение ложной информации и предвзятость в подаче материала и могут быть полезны как исследователям, так и практикам: рекламодателям, медиаменеджерам и сотрудникам пресс-служб. В настоящей работе рассмотрены три алгоритма, их эффективность проверена на базе статей из 38 русскоязычных СМИ. Первый метод основан на сравнении места, которое различные темы занимают в вещании разных изданий; второй сопоставляет списки людей, которых медиа цитируют чаще всего; третий использует данные о наиболее характерных для издания словах, то есть тех, которые в материалах конкретного СМИ используются намного чаще, чем в языке в целом. Эти методы исследуют статьи на различных уровнях: тем, цитат как структурного компонента текста и отдельных слов. Третий метод оказался наиболее точным в кластеризации СМИ, он успешно разделяет их по основным темам, региону и положению на политическом спектре. В дополнение к сравнению алгоритмов, работа дает информацию, полученную из предобработанных данных, и показывает направление для будущих исследований.