Магистратура 2025/2026

Современные технологии хранения данных

ID 1009019

Статус: Курс обязательный (Прикладные модели искусственного интеллекта)

Кто читает: Департамент прикладной математики

Где читается: Московский институт электроники и математики им. А.Н. Тихонова

Когда читается: 2-й курс, 1, 2 модуль

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Титова Наталия Николаевна

Язык: русский

Кредиты: 6

Контактные часы: 40

Программа дисциплины

Аннотация

Курс посвящен современным технологиям хранения и обработки данных в масштабе. Рассматриваются архитектурные подходы к построению хранилищ данных: от реляционных СУБД и Data Warehouse к концепциям Data Lake и Lakehouse на основе облачных объектных хранилищ и открытых табличных форматов (Apache Iceberg, Delta Lake). Изучаются инструменты аналитической обработки данных — PostgreSQL, ClickHouse и MPP-системы, Apache Spark — и построение современных ELT-пайплайнов с использованием Apache Airflow и dbt. Отдельное внимание уделяется потоковой обработке данных (Apache Kafka, Spark Streaming), захвату изменений (CDC, Debezium) и контролю качества данных. Курс также охватывает алгоритмические основы анализа больших данных: приближенные методы (MinHash, LSH, SimHash), распределенную кластеризацию и классификацию (K-Means, XGBoost на Spark), рекомендательные системы на основе матричной факторизации (ALS). Практическая составляющая курса реализована через работу с реальными наборами данных в среде PySpark, ClickHouse и Kafka.

Цель освоения дисциплины

• Освоение современного стека технологий хранения, интеграции и распределенной обработки данных, а также алгоритмических методов анализа больших данных, необходимых для проектирования и эксплуатации масштабируемых data-платформ.

Планируемые результаты обучения

• Студенты узнают о различных типах DWH, их архитектуре и компонентах, а также о методах проектирования эффективных и надежных хранилищ данных
• Студенты познакомятся с инструментами и технологиями ETL, используемыми для извлечения данных из различных источников, их преобразования в согласованный формат и загрузки в DWH
• Студенты научатся использовать различные модели данных, такие как модели "звезда", "снежинка" и хранилища данных с временной привязкой, для организации и представления данных в DWH
• Студенты изучат методы управления данными и обеспечения качества данных в DWH, включая очистку данных, обработку дубликатов и определение правил проверки данных
• Студенты получат практический опыт работы с популярными инструментами и технологиями DWH, такими как Informatica PowerCenter, Talend, Microsoft SQL Server Integration Services (SSIS) и Oracle Data Integrator
• Студенты узнают, как использовать DWH для анализа данных и создания информативных отчетов, используя инструменты бизнес-аналитики и средства визуализации данных
• Студенты изучат принципы обеспечения безопасности и управления DWH, включая управление доступом к данным, аудит и резервное копирование
• Студенты будут осведомлены о последних тенденциях и передовом опыте в области DWH, таких как облачные хранилища данных, большие данные и озера данных
• Студенты смогут объяснить, что такое большие данные и почему они важны в современном мире.
• Участники смогут описать эволюцию систем хранения данных и выделить их ключевые особенности.
• Слушатели поймут принципы работы распределённых файловых систем, в частности HDFS, и смогут перечислить их основные компоненты.
• Студенты получат представление о различиях между файловыми и объектными хранилищами.
• Участники смогут объяснить, где и как применяются HDFS и объектные хранилища в реальных задачах обработки больших данных.

Содержание учебной дисциплины

• Введение в большие данные
  Цель занятия: познакомиться с основами больших данных через изучение устройства распределенной файловой системы HDFS.
• Системная аналитика и моделирование данных в проектах DWH
• Экосистема Hadoop и MapReduce
• Hadoop File System. Hadoop HDFS
• SQL поверх больших данных и инструменты визуализации больших данных
• PostgreSQL для администраторов
• NoSQL и средства высокой доступности для разработчиков
• NewSQL
• Введение в Spark
• Продвинутый Spark
• Approximate-алгоритмы для больших данных
• Потоковая обработка данных (Kafka, Flink)
• Основы распределённой СУБД Apache Cassandra

Элементы контроля

• home work
• Test in class
  В начале или в конце урока, во время семинара будут даны тексты для проверки изученного материала.
• Final certification - in-person exam

Промежуточная аттестация

• 2025/2026 2nd module
  0.2 * Final certification - in-person exam + 0.05 * Test in class + 0.5 * home work + 0.2 * home work

Список литературы

Рекомендуемая основная литература

• 16562 - Cassandra. Полное руководство. 2-е изд. - Д.Карпентер - ДМК Пресс - 2017 - https://hse.alpinadigital.ru/document/16562 - Alpina
• 22541 - Проектирование событийно-ориентированных систем в Apache Kafka - Б.Стопфорд - ДМК Пресс - 9785604241219 - 2019 - https://hse.alpinadigital.ru/document/22541 - Alpina
• Agile web development with Rails 4, Ruby, S., 2013
• Agile-маркетинг. Хакерские практики для эффективного бизнеса, пер. с англ. И. Лейко ; науч. ред. Ю. Тегель, 270 с., Бринкер, С., 2019
• Antony, B., Boudnik, K., Adams, C., Shao, B., Lee, C., & Sasaki, K. (2016). Professional Hadoop. Indianapolis, IN: Wrox. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1233763
• Apache Kafka. Потоковая обработка и анализ данных. 2-е изд. - 978-5-4461-2288-2 - Гвен Шапира, Тодд Палино, Раджини Сиварам, Крит Петти - 2023 - Санкт-Петербург: Питер - https://ibooks.ru/products/390221 - 390221 - iBOOKS
• ASP.NET Core : разработка приложений MVC, Docker, Azure, Visual Studio, C#, JavaScript, TypeScript и Entity, Чамберс, Дж., 2018
• Bhattacharya, A., & Kumar, A. (2014). An Approximate Inner Bound to the QoS Aware Throughput Region of a Tree Network under IEEE 802.15.4 CSMA/CA and Application to Wireless Sensor Network Design.
• Brajesh Mishra. (2020). Big Data Analysis Using Hadoop Map Reduce. https://doi.org/10.26562/irjcs.2020.v0705.005
• Cassandra. Полное руководство - Карпентер Д., Хьюитт Э. - Издательство "ДМК Пресс" - 978-5-97060-453-3 - 2017 - русский - https://e.lanbook.com/book/93577 - ЛАНЬ - 93577
• Complete publicity plans : how to create publicity that will spark media exposure and excitement, Beckwith, S., 2003
• Computer Science : основы программирования на Java, ООП, алгоритмы и струкуры данных, Седжвик, Р., 2018
• DAMA-DMBOK: свод знаний по управлению данными, , 2023
• Deka, G. C. (2017). NoSQL : Database for Storage and Retrieval of Data in Cloud. Boca Raton, FL: Chapman and Hall/CRC. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1521297
• Hadoop : the definitive guide, White, T., 2012
• Hadoop в действии - Ч.Лэм - ДМК Пресс - 9785970607237 - 2019 - русский - https://hse.alpinadigital.ru/document/16667 - Alpina - 16667
• Kafka Streams и ksqlDB : данные в реальном времени, Сеймур, М., 2023
• Kafka в действии - В.Гамов; Д.Клейн; Д.Скотт - ДМК Пресс - 9785937001184 - 2022 - русский - https://hse.alpinadigital.ru/document/33905 - Alpina - 33905
• Kafka в действии, Скотт, Д., 2022
• Marianne Baxter, & Robert G. King. (1999). Measuring Business Cycles: Approximate Band-Pass Filters For Economic Time Series. The Review of Economics and Statistics, (4), 575. https://doi.org/10.1162/003465399558454
• NoSQL : новая методология разработки нереляционных баз данных, Садаладж, П. Дж., 2016
• PostgreSQL 11. Мастерство разработки - Шёниг Г. -Ю. - Издательство "ДМК Пресс" - 978-5-97060-671-1 - 2020 - русский - https://e.lanbook.com/book/131714 - ЛАНЬ - 131714
• PostgreSQL. Разработка баз данных : учебник / М. Ф. Ванина, А. Г. Ерохин, Н. В. Тутова [и др.]. — Москва : Русайнс, 2023. — 227 с. — ISBN 978-5-466-03410-3. — URL: https://book.ru/book/950185 (дата обращения: 01.07.2026). — Текст : электронный.
• Practical teaching methods, K-6 : sparking the flame of learning, Wilkinson, P. F., 2003
• RESTful Web API. Паттерны и практики. - 978-601-08-4867-2 - Амундсен Майк - 2025 - Астана: Спринт Бук - https://ibooks.ru/products/399817 - 399817 - iBOOKS
• Spark в действии - Ж.Перрен - ДМК Пресс - 9785970608791 - 2021 - русский - https://hse.alpinadigital.ru/document/22561 - Alpina - 22561
• Spark для профессионалов : современные паттерны обработки больших данных, , 2017
• SPARK для профессионалов: современные паттерны обработки больших данных, , 2017
• Valentine, C. (2014). Hadoop : 94 Most Asked Questions —— What You Need to Know. Emereo Publishing.
• White T. Hadoop: The Definitive Guide. - O'Reilly Media, 2015.
• White, T. (2011). Hadoop : The Definitive Guide: Vol. 2nd ed., updated. Yahoo Press.
• Автоматизация проектирования вычислительных систем. Языки, моделирование и базы данных, , 1979
• Администрирование PostgreSQL 9. Книга рецептов - Саймон Ригс, Ханну Кросинг - Издательство "ДМК Пресс" - 978-5-94074-750-5 - 2013 - русский - https://e.lanbook.com/book/39995 - ЛАНЬ - 39995
• Администрирование WEB - сервера Apache и руководство по электронной коммерции : пер. с англ., Хокинс, С., 2001
• Базы данных : курс лекций и материалы для практических занятий, Карпова, И. П., 2013
• Базы данных: работа с PostgreSQL - Романова И. П., Романов П. С. - Московский Университет имени С.Ю.Витте - 978-5-9580-0705-9 - 2023 - русский - https://e.lanbook.com/book/443078 - ЛАНЬ - 443078
• Базы данных. Практический курс. В 2ч. Ч. 1. Объектно-реляционные базы данных на примере PostgreSQL 9.5 - Наместников А. М. - Ульяновский государственный технический университет - 978-5-9795-1743-8 - 2017 - русский - https://e.lanbook.com/book/165100 - ЛАНЬ - 165100
• Базы данных. Проектирование моделей данных : учебник для вузов, Гринченко, Н. Н., 2024
• Введение в системный анализ, , 2017
• Введение в теорию систем и системный анализ : Учебно-методическое пособие, Рейнов, Ю.И., 2007
• Изучаем Spark : молниеносный анализ данных, Карау, Х., 2015
• Мамедли, Р. Э. Большие данные и NoSQL базы данных : учебное пособие для вузов / Р. Э. Мамедли, Т. Б. Казиахмедов. — Санкт-Петербург : Лань, 2024. — 92 с. — ISBN 978-5-507-49873-4. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/434051 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
• Мартишин С.А., Симонов В.Л., Храпченко М.В. - Базы данных: Работа с распределенными базами данных и файловыми системами на примере MongoDB и HDFS с использованием Node.js, Express.js, Apache Spark и Scala - 978-5-16-015133-5 - ИНФРА-М - 2023 - https://znanium.ru/catalog/product/1876807 - 1876807 - ZNANIUM
• Оптимизация запросов PostgreSQL - Домбровская Г., Новиков Б., Бейликова А. - Издательство "ДМК Пресс" - 978-5-97060-963-7 - 2021 - русский - https://e.lanbook.com/book/241103 - ЛАНЬ - 241103
• Основы проектирования информационных систем с помощью языка UML - Забродин А.В., Бубнов В.П. - Петербургский государственный университет путей сообщения Императора Александра I - 978-5-7641-1133-9 - 2018 - русский - https://e.lanbook.com/book/111721 - ЛАНЬ - 111721
• Пользовательские истории : искусство гибкой разработки ПО, Паттон, Дж., 2019
• Практическое применение нотации визуального моделирования UML в бизнес процессах - Шлаев Д. В., Шматко С. Г., Орел Ю. В., Сорокин А. А. - Ставропольский государственный аграрный университет - - - 2022 - русский - https://e.lanbook.com/book/323537 - ЛАНЬ - 323537
• Работа с СУБД PostgreSQL - Малков О. Б., Маркова М. П., Девятерикова М. В. - Омский государственный технический университет - 978-5-8149-3707-0 - 2023 - русский - https://e.lanbook.com/book/421547 - ЛАНЬ - 421547
• Разработка базы данных общего назначения с моделью, обеспечивающей малое время ответа : дис. ... канд. технических наук : 05.13.01, Долгов, Д. Н., 1981
• Реляционные базы данных : практ. приемы оптимальных решений, Мирошниченко, Г. А., 2005
• Реляционные базы данных и системы NoSQL - Григорьев Ю. А., Плутенко А. Д., Плужникова О. Ю. - Амурский государственный университет - 978-5-93493-308-2 - 2018 - русский - https://e.lanbook.com/book/156492 - ЛАНЬ - 156492
• Семь баз данных за семь недель. Введение в современные базы данных и идеологию NoSQL - Эрик Редмонд, Джим. Р. Уилсон - Издательство "ДМК Пресс" - 978-5-94074-866-3 - 2013 - русский - https://e.lanbook.com/book/58690 - ЛАНЬ - 58690
• Создание микросервисов. 2-е изд. . - 978-5-4461-1145-9 - Ньюмен Сэм - 2023 - Санкт-Петербург: Питер - https://ibooks.ru/products/390019 - 390019 - iBOOKS

Рекомендуемая дополнительная литература

• Agile : оценка и планирование проектов, Кон, М., 2021
• An, D., & Lin, L. (2019). Quantum linear system solver based on time-optimal adiabatic quantum computing and quantum approximate optimization algorithm. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1909.05500
• Beginning PHP5, Apache, and MySQL web development, , 2005
• Carpenter, J., & Hewitt, E. (2016). Cassandra: The Definitive Guide : Distributed Data at Web Scale (Vol. Second edition). Sebastopol, CA: Reilly - O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1271661
• DAMA-DMBOK : data management body of knowledge, , 2017
• Data analysis and approximate models : model choice, location-scale, analysis of variance, nonparametric regression and image analysis, Davies, L., 2014
• Digital restoration from start to finish : how to repair old and damaged photographs, Ctein, ., 2017
• Frampton M. Big Data Made Easy: A Working Guide to the Complete Hadoop Toolset. - Apress, 2015. - ЭБС Books 24x7.
• Ilya Ganelin, Ema Orhian, Kai Sasaki, & Brennon York. (2016). Spark : Big Data Cluster Computing in Production. Wiley.
• Java : руководство для начинающих, Шилдт, Г., 2023
• Jules S. Damji, Brooke Wenig, Tathagata Das, & Denny Lee. (2020). Learning Spark. O’Reilly Media.
• Kafka : a guide for the perplexed, Koelb, C., 2010
• Kafkas "Utreil" und die Literaturtheorie : zehn Modellanalysen, , 2002
• Lin, J., & Dyer, C. (2010). Data-Intensive Text Processing with MapReduce. Morgan & Claypool Publishers.
• MySQL 8 для больших данных : эффективная обработка данных с помощью MySQL 8, Hadoop, NoSQL API и других инструментов для больших данных, , 2018
• Nabi, Z. (2016). Pro Spark Streaming : The Zen of Real-Time Analytics Using Apache Spark. [Berkeley, CA]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1174432
• Narkhede, N., Shapira, G., & Palino, T. (2016). Kafka: The Definitive Guide : Real-Time Data and Stream Processing at Scale: Vol. First edition. O’Reilly Media.
• NoSQL : database for storage and retrieval of data in cloud, , 2017
• Storing and managing big data NoSQL, Hadoop and more : high impact strategies - what you need to know: definitions, adoptions, impact, benefits, maturity, vendors, Roebuck, K., 2011
• The spark that lit the revolution : Lenin in London and the politics that changed the world, Henderson, R., 2020
• Адаптивные алгоритмы управления распределением нагрузки в многосерверных системах : автореф. дис. ... канд. технических наук : 05.13.15, Калашников, Е. И., 2010
• Администрирование Microsoft SQL Server 2000 : учеб. курс MCSA/MCSE, MCDBA: экзамен 70-228: офиц. пособие Microsoft для самостоят. подгот., , 2006
• Алгоритмы : введение в разработку и анализ, Левитин, А. В., 2018
• Алгоритмы : разработка и применение, Клейнберг, Дж., 2018
• Базы данных : учебник и практикум для вузов, Нестеров, С. А., 2020
• Большие данные : принципы и практика построения масштабируемых систем обработки данных в реальном времени, Марц, Н., 2017
• Большие данные : революция, которая изменит то, как мы живем, работаем и мыслим, Майер-Шенбергер, В., 2014
• Большие данные в образовании: анализ данных как основание принятия управленческих решений : сб. науч. ст. I Международной конференции, 15 окт. 2020 г., Москва, , 2020
• Введение в реляционные базы данных, Кириллов, В. В., 2012
• Мартишин С.А., Симонов В.Л., Храпченко М.В. - Базы данных: Работа с распределенными базами данных и файловыми системами на примере MongoDB и HDFS с использованием Node.js, Express.js, Apache Spark и Scala - 978-5-16-019845-3 - ИНФРА-М - 2024 - https://znanium.ru/catalog/product/2139860 - 2139860 - ZNANIUM
• Системы базы данных : полный курс : пер. с англ., Гарсиа-Молина, Г., 2003

Авторы

• Сластников Сергей Александрович
• Титова Наталия Николаевна