ETL-процессы

Магистратура 2024/2025

ID 915798

Статус: Курс обязательный (Инженерия данных)

Направление: 09.04.04. Программная инженерия

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 3, 4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Касьяненко Дарья Алексеевна

Прогр. обучения: Инженерия данных

Язык: русский

Кредиты: 6

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс предоставляет студентам практические навыки в проектировании, разработке и управлении процессами ETL (Extract, Transform, Load). В ходе обучения студенты изучают методы извлечения, трансформации и загрузки данных в различные хранилища. Они также получают практические навыки в использовании инструментов и фреймворков ETL и изучают методы обработки ошибок и мониторинга процессов. Курс также рассматривает концепцию и модели облачных вычислений и современные практики разработки cloud-native приложений.

Цель освоения дисциплины

Получение знаний о методах извлечения и преобразования данных
Определение лучших инструментов работы с данными
Поиск решений для объединения данных из нескольких источников
Приведение к единой терминологии и единым метрикам для работы с DWH
Изучение принципов, моделей и технологий облачных вычислений
Изучение принципов построения и методов разработки cloud-native приложений

Планируемые результаты обучения

- Определяет основные концепции ETL-процесса, жизненные цикл и основные этапы ETL-процесса
- Формулирует, в чем заключается ETL-процесс и его роль в инженерии данных
- Определяет источники данных и их типы, форматы хранения данных
- Различает влияние источников данных на проектирование ETL-процессов
- Умеет работать с различными источниками данных
- Понимает, что подразумевает преобразование данных, применяет правила и методы преобразования данных
- Понимает, как бизнес логика влияет на работу с данными
- Применяет методы трансформации для подготовки данных к загрузке
- Применяет принципы загрузки данных в базы данных и DWH, различает одноразовую и периодическую загрузку
- Выделяет основные характеристики и компоненты хранилища данных и архитектуры DWH
- Понимает различия между DWH и традиционными базами данных
- Выделяет основные концепции Data Lake и отличие от DWH
- Понимает для каких целей подходит Data Lake, как хранить и управлять данными в Data Lake
- Применяет популярные решения для работы с Data Lake
- Выделяет популярные инструменты для реализации ETL-процесса
- Понимает, как выбрать подходящий инструмент для конкретных задач ETL-процесса
- Применяет один из популярных инструменты для реализации ETL-процесса для практических задач
- Использует инструменты автоматизации ETL: Apache Airflow, Luigi и умеет выбирать оптимальные инструменты для реализации ETL-процесса
- Понимает, как интегрировать ETL с DevOps
- Описывает оптимальную схему для реализации ETL-процесса
- Реализовывает собственный ETL-процесс (извлечение, преобразование, загрузка данных в хранилище)
- Понимает основы работы с большими данными и применение NoSQL в ETL и DWH
- Использует NoSQL базы данных для хранения больших объемов информации.
- Выделяет типы облачных хранилищ данных, популярные облачные провайдеры
- Понимает особенности облачного хранения данных
- Выделяет модели облачных вычислений, облачные платформы для ETL и DWH
- Понимает особенности облачных вычислений и платформ для решения задач бизнеса
- Понимает, что такое cloud-native архитектура, основные характеристики cloud-native приложений
- Выделяет преимущества архитектуры cloud-native в процессах ETL и управлении DWH
- Использует преимущества архитектуры cloud-native в практических задачах
- Выделяет основные компоненты потоковой архитектуры
- Приводит примеры удачных решений, знает возможные сложности потоковой обработки данных
- Умеет работать с потоками данных
- Объясняет, как качество данных влияет на выводы и принимаемые решения
- Применяет методы проверки качества данных для практических задач
- Выделяет основные инструменты визуализации данных (Tableau, Power BI)
- Создает отчет на основе данных из DWH (пример визуализации из таблицы)
- Понимает современные тренды в ETL и DWHновые технологии и их влияние на процессы обработки данных
- Выбирает оптимальные инструменты облачных технологий для реализации ETL-процесса
- Составляет оптимальную схему для реализации ETL-процесса с использованием облачных технологий

Содержание учебной дисциплины

Общие сведения об ETL-процессах
Структура и источники данных
Основы трансформации данных
Загрузка данных в целевую систему
Data Warehousing (DWH)
Data Lakes
Инструменты ETL .
Интеграция и автоматизация ETL-процессов
Работа с Big Data и NoSQL
Хранение данных в облаке.
Работа с облачными вычислениями (Cloud Computing)
Cloud-native приложения
Потоковая обработка данных
Управление данными и их качество
Отчетность и визуализация данных
Тренды и технологии будущего в ETL и DWH

Элементы контроля

Итоговое задание по модулю 3
Итоговое задание по модулю 4
Задания с самопроверкой по чек-листу или проверкой на вебинаре
Тесты

Промежуточная аттестация

2024/2025 4th module
Итоговое задание по модулю 3 * 0.3 + Итоговое задание по модулю 4 * 0.3 + Задания с самопроверкой по чек-листу или проверкой на вебинаре * 0.2 + Тесты * 0.2

Список литературы

Авторы

Ахмедова Гюнай Интигам кызы
Касьяненко Дарья Алексеевна

Программа дисциплины