Программа хранения и обработки разнородной информации, полученной при анализе сетевого трафика

Целью данной работы является реализация возможности сохранения результатов разбора и анализа сетевого трафика в рамках системы глубокого анализа трафика (Deep Packet Inspection) ProtoSphere, разрабатываемой в ИСП РАН, с целью предоставления возможности проведения дальнейшей аналитики. В задачи данной работы входят анализ существующих решений и подходов, нацеленных на хранение и обработку трафика в различных представлениях, а также разработка программы, позволяющей сохранять результаты обработки сетевого трафика во внешнее хранилище. В работе представлено описание системы разбора и анализа сетевого трафика ProtoSphere, описан процесс реализации модуля, осуществляющего сохранение результатов разбора сетевого трафика во внешнее хранилище. Реализованный модуль использует абстракцию работы с базами данных, что потенциально позволяет работать с различными хранилищами. Продемонстрирован один из возможных сценариев проведения аналитики - поиск связанных потоков с использованием аналитической базы данных Greenplum. Проведен эксперимент по параллельной обработке данных с помощью фреймворка Hadoop, в основе работы которого лежит модель вычислений map-reduce.