Автоматическая генерация отчетов на основе фактов

Одной из областей применения технологий обработки естественного языка (NLP) является управляемая генерация текста, например, задача написания коротких отчетов, основанных на наборе фактов. На текущий момент эта задача зачастую требует участия специалистов, которые должны обработать и проанализовать сырые данные и подготовить отчет. Такого рода рутинные задачи можно автоматизировать частично или полностью с помощью растущего количества решений в области обработки естественного языка. В рамках этого исследования была изучена генерация текста на основе данных, где в качестве входа могут выступать набор некоторых фактов или строк в таблице или записей в базе данных, а в качестве выхода краткое описание этих данных. В результате было реализовано решение, состоящее из двух шагов: генерации фраз из исходных входных данных, а затем их редактирования и соединения в единый текст. Оба шага включают использование нейронных сетей. Это новый метод, который позволяет реализовать систему генерации текста на основе данных в условиях отсутствия данных для обучения. Полученный алгоритм был применен к реальным данным с информацией об аудитории сайта, и было показано, что он генерирует удовлетворительные тексты. Кроме того, мы реализовали монолитное решение, которое принимает результаты двухэтапного решения в качестве обучающих данных.