Суммаризация нескольких документов

Каждый день в социальных сетях появляется много информации — новостные факты, мнения пользователей о мировых событиях, комментарии миллионов людей и организаций. В настоящее время возрастает потребность в сервисе, который суммирует информацию без лишнего шума и представляет ее в читаемом виде. В своей работе я изучаю проблему суммаризации последовательных событий, таких, как австралийские пожары в начале 2020 года, на основе твитов. В работе представлен метод создания списка ключевых новостных фактов с датами их возникновения, описывающего выбранное событие. Алгоритм построения состоял из четырех этапов: сбор данных из Твиттера с помощью ключевых слов и фраз, обработка текста, кластеризация твитов или предложений по временным промежуткам и по смыслу, извлечение суммаризации. В работе было опробовано несколько разных методов, некоторые из которых показали высокое качество построения суммаризации — читаемый текст, полноценное изложение фактов, структурированная запись. В качестве дальнейших путей развития мною было предложено несколько направлений — улучшение автоматизации процесса для разработки программного продукта и рассмотрение других параметров для анализа, например, список ключевых слов, разбиение на кластеры.