Введение в платформы данных

Бакалавриат 2023/2024

Лучший по критерию «Полезность курса для Вашей будущей карьеры»

Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Базовая кафедра МТС

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Бартенев Максим Владимирович

Язык: русский

Кредиты: 4

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Прежде чем построить дашборд, провести аналитику или обучить ML-модель, данные необходимо собрать, загрузить в хранилище, обработать, проверить и подготовить для дальнейшего использования. Для решения этих задач компании создают платформы данных — инфраструктуру и набор инструментов, которые обеспечивают полный цикл работы с данными. На курсе вы разберетесь, как устроены платформы данных, из каких компонентов они состоят и какие задачи решают. Основное внимание будет уделено технологиям экосистемы Hadoop и инструментам обработки больших данных. В первой части курса вы изучите архитектуру Hadoop, работу HDFS, принципы MapReduce и YARN, а также познакомитесь с другими компонентами экосистемы. Затем научитесь работать с Hive и использовать HiveQL для организации и обработки данных. Отдельный модуль посвящен Apache Spark: его архитектуре, развертыванию кластера, работе со Spark DataFrame API и Spark SQL API.

Цель освоения дисциплины

Понимать принципы работы и структуры платформ данных
Изучить архитектуры и компоненты систем обработки больших данных на примере экосистемы Hadoop, DataLake, DataWarehouse
Научиться запускать, развертывать и управлять кластерами и платформами данных
Освоить инструменты и методы работы с большими данными
Понимать, как управлять качеством данных - Изучить современные инструменты бизнес-аналитики

Планируемые результаты обучения

Понять основные концепции платформ данных
Понять из каких компонентов состоят платформы данных
Научиться запускать собственную платформу данных

Содержание учебной дисциплины

Основные концепции платформ данных
Хранение данных
Загрузка данных в хранилище из различных источников. ETL и Streaming
Построение витрин данных в хранилище. Модели данных
Оптимизация работы пользователей с хранилищем. Оптимизация производительности
Data Governance. Новый уровень доверия к данным
Качество данных. Что это такое и как его измерять
Каталог данных. Построение Data Mesh
Аналитика данных. Способы работы с данными в хранилище. Data Virtualization
Business intelligence и визуализация данных

Элементы контроля

Посещаемость
Активность на занятии
Экзамен
Домашнее задание
Выдаются на семинаре до следующего занятия Домашнее задание 1: Поднять свой DWH на Greenplum/ClickHouse Домашнее задание 2: Настроить загрузку данных в DWH Домашнее задание 3: Настроить построение отчетов в хранилище Домашнее задание 4: Настройка оптимизаций в хранилище Домашнее задание 5: Настройка проверок качества данных Домашнее задание 6: Работа с каталогом данных. Подключение новых источников к каталогу Домашнее задание 7: Поиск инсайтов в данных, работа с данными в нескольких источниках Домашнее задание 8: Построение визуализаций данных, дашбордов

Промежуточная аттестация

2023/2024 3rd module
0.1 * Посещаемость + 0.1 * Активность на занятии + 0.4 * Домашнее задание + 0.4 * Экзамен

Список литературы

Авторы

Кононова Елизавета Дмитриевна

Программа дисциплины