Автоматизация процесса управления системой сбора данных из открытых источников информации

ФИО студента: Бурнашов Евгений Владимирович

Руководитель: Лычагин Кирилл Анатольевич

Кампус/факультет: Московский институт электроники и математики им. А.Н. Тихонова

Программа: Компьютерные системы и сети (Магистратура)

Оценка: 7

Год защиты: 2019

Данная выпускная квалификационная работа посвящена проблеме автоматизации процесса управления системой сбора данных из открытых источников информации. Целью данной выпускной квалификационной работы является упрощение управления системой сбора данных, представляющей из себя несколько разнородных веб-роботов, а также создания общей инфраструктуры для управления этими роботами. Веб-роботы, которые собирают информацию в сети интернет называют «веб-краулерами» или просто «краулерами», данные роботы представляют собой приложения, как правило написанные на языках программирования Python или Java. Они обладают разными свойствами и выполняют схожие, но все-таки разные функции. Одним из способов для создания общей системы по управлению разнородными краулерами, является технология контейнеризации. Данная технология позволяет помещать приложения в контейнеры, представляющие собой очень маленькие копии операционных систем, в которых будет работать приложение. За основу инфраструктуры взята технология Docker Swarm, краулеры, использованный в данной системе были написаны на языках Python и Java. Данная работа содержит 3 главы, введение и заключение, 21 иллюстраций, а также библиографический список из 25 источников.

Текст работы (работа добавлена 26 мая 2019 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ