Delivered at:: Big Data and Information Retrieval School

Course type:: Compulsory course

When:: 2 year, 2, 3 module

Instructor

Sysoev, Kirill

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина посвящена принципам распределённого хранения и пакетной обработки больших данных на примере Hadoop и Apache Spark. Рассматриваются HDFS, YARN и MapReduce, архитектура Spark, распределённые коллекции RDD, DataFrame, Spark SQL, построение ETL-конвейеров и основы анализа их выполнения. Практическая подготовка включает работу с объектным хранилищем S3 и оркестрацию обработки средствами Apache Airflow. В составе команд по три человека обучающиеся разрабатывают пакетный конвейер трансформации данных, формируют дашборд, подготавливают отчёт и защищают результаты работы. Занятия проводятся дистанционно; практические задания выполняются на личных компьютерах обучающихся.

Цель освоения дисциплины

Сформировать у студентов умение разрабатывать, проверять и объяснять функционирование конвейеров распределённой пакетной обработки данных с использованием Apache Spark, S3 и Apache Airflow, представлять результаты обработки в дашборде и обосновывать принятые решения.

Планируемые результаты обучения

Студент сможет объяснять необходимость распределённой обработки, её ограничения и назначение HDFS, YARN, MapReduce и Spark.
Студент сможет работать с контейнерным учебным окружением, размещать данные в HDFS и выполнять простое задание MapReduce.
Студент научится разрабатывать обработку данных с использованием RDD, DataFrame и Spark SQL, объясняя ленивое выполнение, разбиение данных, shuffle и кэширование.
Студент научится создавать пакетный конвейер чтения, очистки, объединения, агрегирования и записи данных с использованием S3, проверять корректность результата и повторного запуска.
Студент научится организовывать выполнение обработки посредством Airflow, анализировать журналы и Spark UI, объяснять план выполнения и основные причины снижения производительности.
Студент сможет совместно разрабатывать конвейер, документировать решение в отчёте и репозитории, формировать дашборд и защищать результаты командной работы.

Содержание учебной дисциплины

Введение в большие данные. Hadoop и HDFS
MapReduce, YARN и контейнерное окружение Docker
Практическая работа с Hadoop
Архитектура Spark и основы работы с RDD
Разделы данных, shuffle, кэширование и переход к DataFrame
Подготовка и анализ данных с использованием DataFrame и Spark SQL
Пакетные ETL-конвейеры и объектное хранение S3
Сквозной ETL-конвейер и анализ выполнения Spark
Оркестрация и интеграция с использованием Airflow
Распределённый код и запуск приложения
Диагностика и оптимизация производительности Spark
Представление и защита командных проектов

Элементы контроля

Посещение лекций
При выполнении двух онлайн-тестов и QR-тестов посещаемости запрещается пользоваться конспектами и документацией, запускать код, использовать ИИ и иную внешнюю помощь.
Онлайн-тест 1
При выполнении двух онлайн-тестов и QR-тестов посещаемости запрещается пользоваться конспектами и документацией, запускать код, использовать ИИ и иную внешнюю помощь. Самостоятельность выполнения работ. Использование ИИ при выполнении оцениваемых работ запрещено. При подозрении на его использование формируется комиссия для проверки знаний обучающегося и их соответствия полученной оценке. Если обучающийся не подтверждает оценку за индивидуальную работу, за неё выставляется 0 баллов. Если при проверке командного проекта хотя бы один проверяемый участник не подтверждает оценку, за проект всей команды выставляется 0 баллов.
Онлайн-тест 2
При выполнении двух онлайн-тестов и QR-тестов посещаемости запрещается пользоваться конспектами и документацией, запускать код, использовать ИИ и иную внешнюю помощь. Самостоятельность выполнения работ. Использование ИИ при выполнении оцениваемых работ запрещено. При подозрении на его использование формируется комиссия для проверки знаний обучающегося и их соответствия полученной оценке. Если обучающийся не подтверждает оценку за индивидуальную работу, за неё выставляется 0 баллов. Если при проверке командного проекта хотя бы один проверяемый участник не подтверждает оценку, за проект всей команды выставляется 0 баллов.
Командная работа с защитой
Работа выполняется командой из трёх обучающихся. Количество команд определяется на занятиях. После этого устанавливается продолжительность выступления и вопросов каждой команде в пределах времени лекции 12. Задание выдаётся после лекции 9 и выполняется самостоятельно вне занятий. Обязательные результаты: работающий пакетный конвейер трансформации данных на Spark, S3 и Airflow; дашборд; отчёт со ссылкой на публичный GitHub-репозиторий; защита. Отчёт представляется до начала лекции 12, защита проводится на лекции 12. Каждый участник представляет выполненную им часть работы. Содержание отчёта по проекту: постановка задачи и описание данных; схема решения; выполненные преобразования; проверки корректности; порядок запуска; полученные показатели и дашборд; распределение вклада участников; источники заимствований. Отчёт представляется до начала лекции 12. Репозиторий должен быть публичным. Самостоятельность выполнения работ. Использование ИИ при выполнении оцениваемых работ запрещено. При подозрении на его использование формируется комиссия для проверки знаний обучающегося и их соответствия полученной оценке. Если обучающийся не подтверждает оценку за индивидуальную работу, за неё выставляется 0 баллов. Если при проверке командного проекта хотя бы один проверяемый участник не подтверждает оценку, за проект всей команды выставляется 0 баллов.

Промежуточная аттестация

2026/2027 3rd module
Оитог,i = R(0,25 × Т1,i + 0,25 × Т2,i + 0,10 × Пi + 0,40 × Кi). Т1,i и Т2,i - целые оценки обучающегося за первый и второй тесты; Пi - целая оценка за посещаемость; Кi - индивидуальная целая оценка за командную работу после распределения лидером. Веса составляют соответственно 25%, 25%, 10% и 40%.

Список литературы

Авторы

Сысоев Кирилл Романович

Master’s Programme 'Data Engineering'

Distributed Big Data Processing Technologies

Instructor

Программа дисциплины