Современные технологии хранения данных

2026/2027

Статус: Маго-лего

Кто читает: Департамент прикладной математики

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 1, 2 модуль

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Сластников Сергей Александрович

Язык: русский

Кредиты: 6

Контактные часы: 40

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс посвящен современным технологиям хранения и обработки данных в масштабе. Рассматриваются архитектурные подходы к построению хранилищ данных: от реляционных СУБД и Data Warehouse к концепциям Data Lake и Lakehouse на основе облачных объектных хранилищ и открытых табличных форматов (Apache Iceberg, Delta Lake). Изучаются инструменты аналитической обработки данных — PostgreSQL, ClickHouse и MPP-системы, Apache Spark — и построение современных ELT-пайплайнов с использованием Apache Airflow и dbt. Отдельное внимание уделяется потоковой обработке данных (Apache Kafka, Spark Streaming), захвату изменений (CDC, Debezium) и контролю качества данных. Курс также охватывает алгоритмические основы анализа больших данных: приближенные методы (MinHash, LSH, SimHash), распределенную кластеризацию и классификацию (K-Means, XGBoost на Spark), рекомендательные системы на основе матричной факторизации (ALS). Практическая составляющая курса реализована через работу с реальными наборами данных в среде PySpark, ClickHouse и Kafka.

Цель освоения дисциплины

Освоение современного стека технологий хранения, интеграции и распределенной обработки данных, а также алгоритмических методов анализа больших данных, необходимых для проектирования и эксплуатации масштабируемых data-платформ.

Планируемые результаты обучения

Студенты знают принципы проектирования корпоративных хранилищ данных (DWH): слоистую архитектуру (Raw/ODS/DDS/витрины), подходы к моделированию (схемы «звезда» и «снежинка» по Kimball, Data Vault 2.0, SCD). Понимают парадигму ELT и умеют строить пайплайны данных с использованием Apache Airflow и dbt.
Знает внутреннее устройство PostgreSQL: механизмы MVCC, WAL, индексы, секционирование, репликацию (Patroni). Владеют навыками администрирования, оптимизации запросов (EXPLAIN/ANALYZE) и обеспечения высокой доступности PostgreSQL.
Студенты знают принципы колоночного хранения и архитектуру ClickHouse (семейство движков MergeTree, материализованные представления, интеграции с внешними системами). Понимают отличия OLAP-колоночных СУБД от строковых и их место относительно класса NoSQL. Знают принципы массивно-параллельных систем (MPP) на примере Greenplum/Arenadata DB.
Студенты знают архитектуру Apache Spark (драйвер, executors, менеджер ресурсов) и модели данных RDD/DataFrame/Dataset. Понимают принципы потоковой обработки данных: архитектуру Apache Kafka, гарантии доставки сообщений, захват изменений (CDC, Debezium). Ориентируются в смежных технологиях (Apache Flink, Cassandra, MongoDB, NewSQL) как контексте выбора технологии под задачу.
Студенты владеют навыками контроля качества данных: умеют применять инструменты проверок (Great Expectations / Soda) и понимают концепцию контрактов данных.
Студенты понимают фундаментальные ограничения алгоритмов на больших данных: однопроходные алгоритмы, модель BSP, приближенные методы, сложность по коммуникациям и памяти. Знают классические задачи анализа больших данных: кластеризацию, классификацию, рекомендательные системы, приближенный подсчет.
Студенты знают методы поиска похожих элементов: меру Жаккара, MinHash, Locality-Sensitive Hashing (LSH), SimHash. Умеют применять их для обнаружения дубликатов и кластеризации текстовых данных в распределенной среде.
Студенты знают алгоритмы распределенной кластеризации (K-Means, K-Means++, BIRCH, DBSCAN) и их реализации в среде Apache Spark (PySpark, Spark MLlib).
Студенты знают методы распределенной классификации: логистическую регрессию с SGD, случайные леса и XGBoost на Spark. Владеют навыками настройки гиперпараметров через кросс-валидацию, оценки качества моделей на больших данных и анализа кривых обучения.
Студенты понимают принципы матричной факторизации и алгоритма ALS (Alternating Least Squares) для построения рекомендательных систем. Умеют настраивать и оценивать модель ALS на реальных данных, включая обработку холодного старта и оценку качества по метрикам precision@k, recall@k, MAP.

Содержание учебной дисциплины

Архитектура хранилищ данных: от Data Lake к Lakehouse
Системная аналитика и моделирование DWH. ELT-пайплайны
PostgreSQL как DWH-движок и администрирование
Колоночная аналитика: ClickHouse и MPP-системы
Распределенная и потоковая обработка данных. Качество данных
Введение в алгоритмы анализа больших данных
Поиск похожих элементов и Locality-Sensitive Hashing (LSH)
Кластеризация
Классификация в распределенной среде
Рекомендательные системы (ALS)

Элементы контроля

Домашние задания 1-4
Тест 1
Описание: Тест будет дан для проверки изученного материала во время семинара.
Домашние задания 5-7
Тест 2
Тест будет дан для проверки изученного материала во время семинара.
Экзамен

Промежуточная аттестация

2026/2027 2nd module
Домашнее задание: SUM(Домашние задания 1-4) * 0,500 + Домашнее задание: SUM(Домашние задания 5-7) * 0,200 + Тест: SUM(Тесты 1-2) * 0.100 + Экзамен: Практическая работа* 0.200

Список литературы

Авторы

Титова Наталия Николаевна
Юнышева Анастасия Владимировна
Сластников Сергей Александрович

Программа дисциплины