Визуализатор логов событий с поиском паттернов и построением карты процесса

В современном мире проблема обработки больших объемов данных является достаточно актуальной. В данной работе представлена система для исследования больших логов событий. Данная система представляет собой клиент-серверное приложение, в котором сложные вычислительные процессы выполняются на серверной части. Клиентское приложение, которым пользуется ученый, не требовательно к ресурсам оборудования и может быть установлено на обычном персональном компьютере. Для обработки сложных задач, требовательных к ресурсам и времени, была разработана специальная подсистема (“Job subsystem”). Данная программа также поддерживает генерацию карты процесса, которая является одним из наиболее важных инструментов для анализа логов. Для создания карты процессов использовались подходы “map-reduce” и “aggregation pipelines” в базе данных Mongo. В отличие от своих бесплатных аналогов, разработанная система позволяет обрабатывать логи, размеры которых достигают нескольких гигабайт. Клиентская и серверная части приложения были разработаны с использованием технологий Microsoft .NET, написаны на языке C#. MongoDB была использована для хранения и обработки данных. Работа содержит 51 страниц, 3 главы, 40 иллюстраций, 25 источников и 1 приложение. Ключевые слова: анализ логов, визуализация логов, big data, process mining, клиент-сервер, карта процесса, база данных Mongo.