Проектирование хранилища данных с регулярным обновлением из открытых источников

ФИО студента: Бабанов Павел Александрович

Руководитель: Гоменюк Кирилл Сергеевич

Программа: Бизнес-информатика (Бакалавриат)

Год защиты: 2017

Выпускная квалификационная работа посвящена разработке хранилища данных с регулярным обновлением из открытых источников. Основная цель исследования – разработка набора инструментов анализа данных государственных закупок, помогающих пользователям портала в формировании аналитики и удобного доступа к данным. Для достижения поставленной цели были выполнены следующие задачи: собрана и проанализирована научно-технических информация по тематике исследования, изучена структура источников данных, проведен анализ существующих сервисов, спроектирована структура базы данных, разработана архитектура информационно-аналитической системы, спроектирован парсер и реализованы ETL-процедуры, настроена регулярно обновляющаяся база данных, выполнена аналитика по данным, опубликованы аналитические отчеты. Для получение данных с официального сайта «Портал государственных закупок», было настроено подключение к FTP-серверу, на котором данные хранятся в свободном доступе. Данные ежедневно загружаются базу данных SQL Server, синтаксический анализатор данных реализован с помощью пакетов SSIS. После загрузки данных в базу происходит синтаксический анализ данных, очищенные данные попадают в хранилище данных для дальнейшей аналитики. Процедура загрузки данных и их анализ происходит ежедневно с помощью настроенной утилиты SQL Server Agent, которая предназначена для регулярного выполнения действий в базе данных. После загрузки данных в хранилище, данные анализируются и обновляются в опубликованных отчетах, данная процедура реализована с помощью программы Power BI. Настоящая работа состоит из нескольких глав. В первой главе работы проведено детальное описание портала государственных закупок. Во второй главе проведен обзор аналогов, технологий, а также проектирование хранилища данных. В третьей главе приведены практические этапы реализации хранилища и результатов аналитики. В результате исследования было разработано хранилища данных с регулярным обновлением из открытых источников.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ