Проектирование и внедрение федеративного хранилища в аналитической среде больших данных крупного предприятия в сфере электронной коммерции

Ключевые слова: инфраструктура данных, обработка данных, интеграция данных, программное обеспечение с открытым исходным кодом, тестирование, Docker, СУБД, ETL, хранилище данных, программный интерфейс приложения, потоки данных, оптимизация рутинных задач Объект исследования: стандартизация процессов интеграции данных для аналитики как ключевой шаг к построению эффективной среды больших данных Предмет исследования: аналитическая среда отдела-стартапа в крупной компании в сфере электронной коммерции – Ozon Магистерская диссертация состоит из вступления, трех глав, заключения, списка литературы и шести приложений. Во введении освещаются актуальность выбранной темы, а также цель, объект и предмет исследования. В Главе 1 представлен первичный анализ среды исследования. В этом разделе формулируются основные проблемы, с которыми приходится сталкиваться аналитикам данных в компании, а также описываются стандартные бизнес-процессы, сложившиеся при работе с данными. В конце главы приводятся аргументы в пользу необходимости в новой концепции для организации работы с данными вместе с научной и коммерческой ценностью исследования. В Главе 2 приведен теоретический анализ существующих подходов к проблемам, сформулированным в Главе 1. Анализ сопровождается рассуждением о том, почему каждая из концепций не может полностью решить их. Также в этой главе приводится описание новой парадигмы работы с данными и ее применимость к рассматриваемой инфраструктуре. Глава 3 посвящена разбору нового решения, потенциально подходящего для оптимизации процессов работы с данными аналитической команды – федеративное хранилище данных. В этом разделе описывается основная идея нового подхода, архитектура и главные компоненты предлагаемого решения, а также разворачивается тестовая среда для реализации контрольного примера. Завершается глава описанием преимуществ разработанной системы вместе с перспективами ее дальнейшего развития. Заключение содержит основные выводы по работе. Список приложений включает типовые скриншоты и длинные листинги кода, описывающего логику решения.