Применение машинного обучения для задачи суммаризации новостных текстов

В работе исследуется корпус текстов русскоязычных новостных статей агентства РИА Новости. Цель работы - апробировать несколько нейросетевых моделей суммаризации для генерирования заголовков новостей и сравнить полученные метрики качества. Модели сопоставляются по метрике rouge. В работе применяются следующие архитектуры: энкодер-декодер архитектура с использованием рекуррентных нейронных сетей (LSTM) и механизмом внимания, Transformer и представленный в этом году Reformer. Кратко рассматривается структура используемых моделей, а также механизмы сокращения потребляемой памяти, которые предлагается использовать в статье о Reformer: reversible connections и приближенное вычисление внимания с использованием locality-sensitive hashing (LSH). Указанные модели обучены с применением фреймворков: openNMT и Trax. Все модели демонстрируют сопоставимое качество, а получаемые новостные заголовки выглядят адекватными для человеческого прочтения. Кроме того, в работе сравнивается качество оригинального Transformer и Transformer, в котором все слои внимания рассчитываются с помощью LSH. Данное сравнение реализуется с помощью Pytorch.