Распределенная классификация текстовых потоков: проблемы, ограничения и решения

Масштабируемая классификация текстового потока является актуальной задачей, однако сложной в реализации. Для ее решения можно воспользоваться системами пакетной обработки, которые являются масштабируемыми, и доказали свою эффективность в применении к машинному обучению, но в то же время, не обеспечивают низкой задержки, что является критичным в этой задаче. С другой стороны, передовые и наиболее популярные системы потоковой обработки способны обеспечить низкую задержку, однако у них нет поддержки того же уровня устойчивости к ошибкам и детерминированных вычислений. В этой работе будет показано, как распределенная модель обработки потока и механизмы отказоустойчивости и воспроизводимости могут повлиять на корректность классификации потока данных. Также предлагаю схему вычислений, которая способна быть устойчивой к подобного рода проблемам. Для оценивания производительности итогового решения представлены результаты серии экспериментов на потоке реальных новостей.