Введение в платформы данных

Бакалавриат 2024/2025

Статус: Курс по выбору (Прикладная математика и информатика)

Кто читает: Базовая кафедра МТС

Когда читается: 3-й курс, 1, 2 модуль

Охват аудитории: для своего кампуса

Преподаватели: Бартенев Максим Владимирович, Гюльмамедов Саттар Алекперович

Язык: русский

Контактные часы: 56

Дополнительные материалы в LMS Задать вопрос

Аннотация

Прежде чем построить дашборд, провести аналитику или обучить ML-модель, данные необходимо собрать, загрузить в хранилище, обработать, проверить и подготовить для дальнейшего использования. Для решения этих задач компании создают платформы данных — инфраструктуру и набор инструментов, которые обеспечивают полный цикл работы с данными. На курсе вы разберетесь, как устроены платформы данных, из каких компонентов они состоят и какие задачи решают. Основное внимание будет уделено технологиям экосистемы Hadoop и инструментам обработки больших данных. В первой части курса вы изучите архитектуру Hadoop, работу HDFS, принципы MapReduce и YARN, а также познакомитесь с другими компонентами экосистемы. Затем научитесь работать с Hive и использовать HiveQL для организации и обработки данных. Отдельный модуль посвящен Apache Spark: его архитектуре, развертыванию кластера, работе со Spark DataFrame API и Spark SQL API.

Цель освоения дисциплины

Понимать принципы работы и структуры платформ данных
Изучить архитектуры и компоненты систем обработки больших данных на примере экосистемы Hadoop, DataLake, DataWarehouse
Научиться запускать, развертывать и управлять кластерами и платформами данных
Освоить инструменты и методы работы с большими данными
Понимать, как управлять качеством данных - Изучить современные инструменты бизнес-аналитики

Планируемые результаты обучения

Понимание компонентов Hadoop и архитектуры кластера
Знание системы HDFS, её свойств и интеграции с другими компонентами Hadoop
Умение развертывать Hadoop и выполнять базовые операции файловой системы
Понимание парадигмы MapReduce
Знание системы управления ресурсами YARN
Понимание форматов файлов в Hadoop
Знание других проектов экосистемы Hadoop
Понимание назначения, структуры и компонентов Hive
Умение развертывать Hive и выполнять операции с ним
Знание HiveQL и организации данных в Hive
Сравнение Hive с традиционными RDBMS
Понимание архитектуры и назначения Spark
Умение развертывать кластер Spark
Знание Spark DataFrame API
Понимание взаимодействия между компонентами Hadoop
Знание средств организации ETL-процессов
Умение работать с DBT, Prefect и NiFi
Сравнение различных инструментов ETL
Понимание способов организации хранилищ: Data Lake, Data Warehouse, Lakehouse
Знание систем Greenplum и Clickhouse
Понимание использовани Kafka
Знание принципов контроля качества данных (DQ)
Понимание основ Data Governance (DatGov)
Умение использовать инструменты бизнес-аналитики (BI)

Содержание учебной дисциплины

Введение в обработку больших данных и Hadoop
Обработка данных в Hadoop
Аналитика и обработка данных с использованием Hive
Apache Spark и его применение
Инструменты организации ETL-процессов
Технологии хранения и обработки больших данных
Управление качеством данных и бизнес-аналитика

Элементы контроля

Домашнее задание 1
Развертывание Hadoop
Домашнее задание 2
Развертывание кластера YARN и выполнение распределенного MapReduce
Домашнее задание 3
Развертывание Hive
Домашнее задание 4
Развертывание кластера Spark
Домашнее задание 5
Развертывание Airflow, реализация ETL процесса с его применением
Домашнее задание 6
Работа с Greenplum
Домашнее задание 7
Работа с DQ
Домашнее задание 8
Работа с BI

Промежуточная аттестация

2024/2025 2nd module
Формула оценивания: средний балл за все домашние задания. В случае невыполнения домашнего задания в срок, за него выставляется 0 баллов.

Список литературы

Авторы

Кононова Елизавета Дмитриевна

Программа дисциплины