Разработка распределенной системы сбора данных

ФИО студента: Солдатов Алексей Сергеевич

Кампус/факультет: Факультет компьютерных наук

Программа: Прикладная математика и информатика (Бакалавриат)

Год защиты: 2018

Интернет сегодня содержит огромное количество различных данных. Проблема заключается в сборе и обработке информации с веб-сайтов и социальных сетей. Мощности одного компьютера может не хватать для быстрого сбора данных на фоне того, что увеличение производительности одного вычислительного элемента имеет свои лимиты. Для решения данной проблемы применяются технологии распределенных параллельных вычислений с использованием мощностей десятков и сотен вычислительных узлов. В рамках данный работы рассмотрены фундаментальные принципы и требования построения распределенных систем. В них вошли такие понятия как отказоустойчивость, масштабируемость и управляемость. На основе данных принципов была разработана и реализована распределенная система сбора данных. Финальным этапом работы стало проведение тестов и экспериментов над системой для верификации соответствия требованиям и достижению поставленных целей и задач.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ