Масштабирование системы онлайн-вычисления статистик

Перед командой антифрода стоит задача анализа большого объема логов и вычисление разнообразных статистик над ними. Для этого на данный момент используется архитектура на основе Mapreduce, для чего логи делят на блоки по несколько минут. Таким образом готовые статистики (к примеру: для каждого анонимизированного пользователя количество поисковых запросов, которые он сделал) доступны через несколько минут. Эти статистики используются в специальных правилах, которые и определяют, является ли действие пользователя фродовым (т. е. нечестным/ненастоящим. Пример: делать много запросов о своей фирме с целью поднять ее популярность в поисковой выдаче). Для некоторых сервисов подобная задержка длиною в минуты слишком большая, к примеру для сервисов UGC (user generated content), где спамеры за несколько минут могут отправить довольно много сообщений/комментариев, а без статистик их не отфильтровать. О разработке архитектуры, которая поможет решить эти проблемы далее и пойдет речь.