Решение задачи разладки на распределенных потоковых данных

Алгоритмы обнаружения разладки широко используются в системах потоковой обработки для отслеживания подозрительной активности в операциях с кредитными картами, тиках фондового рынка или трафике компьютерной сети. Также они могут быть использованы для отслеживания неожиданных изменений в обучающих данных для потоковых моделей машинного обучения. Для масштабируемости обработки потока естественно использовать распределенные системы потоковой обработки, такие как Flink, Storm, Spark Streaming и т.д, однако большинство алгоритмов обнаружения разладки либо не предусматривают распределение по вычислительным узлам, либо используют информацию о вероятностном распределении данных, хотя зачастую мы не располагаем информацией о вероятностном распределении данных в потоке. В этой работе я развиваю существующий эффективный алгоритм, не использующий информацию о вероятностном распределении данных, для использования в рамках механизма распределенной потоковой обработки. Однако у масштабируемости есть своя цена. Проведенные мной эксперименты демонстрируют компромисс между масштабируемостью вместе с вероятностью ложного обнаружения с одной стороны и точностью обнаружения изменений вместе с задержкой в обнаружении с другой стороны. Ключевые слова: задача разладки, распределенные системы потоковой обработки, оконные алгоритмы