Распределенная система обработки лог-событий

ФИО студента: Гуреев Никита Дмитриевич

Руководитель: Брейман Александр Давидович

Кампус/факультет: Факультет компьютерных наук

Программа: Программная инженерия (Бакалавриат)

Год защиты: 2016

Работа посвящена распределенной обработке лог-событий. В данной работе были рассмотрены существующие системы, предоставляющие аналогичный функционал и представлены используемые алгоритмы и технологии для реализации системы. Объектом разработки является распределенная система обработки лог-событий. В качестве основных технологий для реализации данной системы были выбраны Apache Kafka, Apache Storm. Для определения нагрузки на системы было использовано экспоненциальное сглаживание EMA. Оно позволяет определять нагрузку на вычислительный узел с учетом нагрузки за предыдущие периоды времени, которые учитываются с экспоненциально уменьшающимися весами. Использование современных технологий позволяет иметь систему, способную обрабатывать большие объемы данных в реальном времени, используя разделение входящих данных на отдельные потоки и их дальнейшую обработку на отдельных вычислительных узлах. Работа содержит 157 страниц, 9 формул, 77 изображений, 6 таблиц и 6 приложений. Ключевые слова: распределенная система, обработка лог-событий, Apache Storm, Apache Kafka.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ