РРазработка сервисов по анализу текстов для новостного агентства

Данная работа посвящена разработке сервисов по анализу текстов для новостного агентства. Решаются задачи классификации новостных статей, извлечения именованных сущностей (персоны, локации, организации, продукты), генерации новостных заголовков. Для задачи классификации предложены различные нейросетевые архитектуры, позволяющие добиться высокого качества классификации (0.76 – 0.88 по F1 мере в зависимости от уровня категории). Для извлечения именованных сущностей используется как модель на правилах, так и нейросеть. Для задачи генерации заголовков предложены две нейросетевые архитектуры: с использование pointer generator для копирования несловарных слов из текста в заголовок и RL summarizer, позволяющий оптимизировать напрямую метрики суммаризации, а не только правдоподобие языковой модели. Модели для классификации и извлечения именованных сущностей успешно внедрены и используются редакторами РИА «Новости» при выпуске статей.