Система автоматического реферирования текстов на русском языке

С развитием информационных технологий увеличиваются необходимые на поиск интересующих сведений временные затраты, что снижает личную эффективность пользователя. В таких условиях область автоматического реферирования становится всё более актуальной, поскольку эта сфера обработки естественного языка позволяет представить необходимую информацию, содержащуюся в источниках, в сокращенном виде, что значительно экономит временные ресурсы. В данном исследовании была создана программа, позволяющая генерировать реферат из массивов текстов новостных статей. Итогом автоматического реферирования этой программы является документ, который содержит в себе релевантную информацию, неоднократно появляющуюся в коллекции, без повторов, который при этом также включает в себя дополнительную информацию, специфичную для какого-то из текстов в массиве. Для корректного определения информативности элементов текста был создан корпус информативных слов для новостей спортивной тематики. Сбор был осуществлен с помощью поисковых роботов, которые сохраняют текст статьи и все необходимые метаданные в базе данных. Для анализа работы алгоритма реферирования вручную были отобраны коллекции статей с новостных порталов «РИА Новости», «Интерфакс», «Корреспондент» и др. Оценка полученных рефератов при тестовом запуске программы даёт основания полагать, что данный способ реферирования коллекции текстов перспективен, и существует несколько путей для улучшения качества его работы.