Бакалавриат
2023/2024![Цель освоения дисциплины](/f/src/global/i/edu/objectives.svg)
![Планируемые результаты обучения](/f/src/global/i/edu/results.svg)
![Содержание учебной дисциплины](/f/src/global/i/edu/sections.svg)
![Элементы контроля](/f/src/global/i/edu/controls.svg)
![Промежуточная аттестация](/f/src/global/i/edu/intermediate_certification.svg)
![Список литературы](/f/src/global/i/edu/library.svg)
Введение в платформы данных
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Кто читает:
Базовая кафедра МТС
Где читается:
Факультет компьютерных наук
Когда читается:
4-й курс, 3 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для своего кампуса
Преподаватели:
Бартенев Максим Владимирович
Язык:
русский
Кредиты:
4
Контактные часы:
40
Программа дисциплины
Аннотация
Для чего нужны платформы данных? Как бы это очевидно ни звучало, они нужны для принятия решений на основе данных. У бизнеса может быть бесконечное количество запросов: как изменить цену товаров, в каком месте разместить магазин, кому показать рекламу, куда сдвинуть кнопку на сайте и т.д. Эти задачи могут решаться с помощью аналитики, построения дашбордов, сбора метрик, построения ML-моделей и т.д. Само по себе решение таких задач нетривиально, однако, это лишь верхушка айсберга.
Прежде, чем проводить какую-либо аналитику, данные нужно найти, загрузить в хранилище, проверить их качество, агрегировать, и на любом из этапов может возникнуть огромное количество проблем. Здесь и появляются платформы данных, которые предоставляют инфраструктуру и инструменты для загрузки, обработки, проверки и анализа данных, что в конечном счете значительно упрощает и ускоряет решение любых задач, связанных с данными.
В рамках курса вы познакомитесь с основными концепциями платформ данных, посмотрите из чего они состоят, какие бывают реализации, и запустите собственную платформу данных. Кроме того, на собранной платформе попрактикуетесь с организацией полного цикла работы с данными: от загрузки из источника до работы аналитика с этими данными. Вы узнаете, что такое Big Data, Data Warehouse, Data Lake, Data Governance, а также познакомитесь с технологиями, которые позволяют реализовать эти методологии и концепции. Особое внимание в курсе будет уделено таким технологиям, как Hadoop и Spark. Вы изучите компоненты Hadoop, архитектуру кластера и HDFS, научитесь развертывать Hadoop и выполнять базовые операции. Также вы изучите архитектуру и назначение Spark и научитесь работать с Spark DataFrame API и Spark SQL API.
Теоретическая часть будет представлена в виде онлайн-курса, что позволит вам просматривать лекции в комфортном темпе и возвращаться к ним при возникновении трудностей. Практическая часть будет проходить при поддержке преподавателей, которые помогут вам освоить материал, ответят на все возникающие вопросы и дадут обратную связь по домашним заданиям. По необходимости будут организованы встречи в формате Q&A, где вы сможете задать вопросы и получить развернутые ответы от экспертов.
Цель освоения дисциплины
- Освоить навыки построения хранилищ данных
- Освоить методы обработки и анализа данных
- Понимать принципы и методы обеспечения безопасности данных
Планируемые результаты обучения
- Понять основные концепции платформ данных
- Понять из каких компонентов состоят платформы данных
- Научиться запускать собственную платформу данных
Содержание учебной дисциплины
- Основные концепции платформ данных
- Хранение данных
- Загрузка данных в хранилище из различных источников. ETL и Streaming
- Построение витрин данных в хранилище. Модели данных
- Оптимизация работы пользователей с хранилищем. Оптимизация производительности
- Data Governance. Новый уровень доверия к данным
- Качество данных. Что это такое и как его измерять
- Каталог данных. Построение Data Mesh
- Аналитика данных. Способы работы с данными в хранилище. Data Virtualization
- Business intelligence и визуализация данных
Элементы контроля
- Посещаемость
- Активность на занятии
- Экзамен
- Домашнее заданиеВыдаются на семинаре до следующего занятия Домашнее задание 1: Поднять свой DWH на Greenplum/ClickHouse Домашнее задание 2: Настроить загрузку данных в DWH Домашнее задание 3: Настроить построение отчетов в хранилище Домашнее задание 4: Настройка оптимизаций в хранилище Домашнее задание 5: Настройка проверок качества данных Домашнее задание 6: Работа с каталогом данных. Подключение новых источников к каталогу Домашнее задание 7: Поиск инсайтов в данных, работа с данными в нескольких источниках Домашнее задание 8: Построение визуализаций данных, дашбордов
Промежуточная аттестация
- 2023/2024 3rd module0.1 * Активность на занятии + 0.4 * Домашнее задание + 0.1 * Посещаемость + 0.4 * Экзамен
Список литературы
Рекомендуемая основная литература
- 22373 - И. Интеллект; К.Еременко - Работа с данными в любой сфере: Как выйти на новый уровень, используя аналитику - 9785961472288 - Alpina - Альпина Паблишер - 2021 - https://hse.alpinadigital.ru/audio/22373
- Provost, F., & Fawcett, T. (2013). Data Science for Business : What You Need to Know About Data Mining and Data-Analytic Thinking (Vol. 1st ed). Beijing: O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=619895
Рекомендуемая дополнительная литература
- Kimball, R., & Ross, M. (2013). The Data Warehouse Toolkit : The Definitive Guide to Dimensional Modeling (Vol. 3rd edition). Hoboken, New Jersey: Wiley. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=605991