Кто читает:: Департамент больших данных и информационного поиска

Статус:: Курс обязательный

Когда читается:: 1-й курс, 1-4 модуль

Преподаватель

Масленников Даниил Игоревич

Дополнительные материалы в LMS Задать вопрос

Аннотация

Дисциплина направлена на практическое освоение современных инструментов и подходов Data Engineering. В рамках дисциплины вы научитесь строить пайплайны загрузки и обработки данных, работать с объектными хранилищами и потоковой обработкой данных, применять AI-инструменты в разработке и разрабатывать сервисы на Go. Отдельный блок посвящён развёртыванию и эксплуатации Data-приложений в Kubernetes. Основной акцент сделан на практической работе: от интеграции источников и построения пайплайнов данных до развёртывания, мониторинга, масштабирования и автоматизации эксплуатации приложений.

Цель освоения дисциплины

Освоить на практике современные инструменты и подходы Data Engineering

Планируемые результаты обучения

Студенты узнают основные подходы к интеграции источников и построению хранилищ данных
Студенты узнают принципы полной, инкрементальной и потоковой загрузки данных
Студенты узнают подходы к построению пайплайнов обработки данных
Студенты узнают возможности применения AI-инструментов при разработке Data-приложений
Студенты узнают основные принципы разработки сервисов на Go
Студенты узнают основные принципы развёртывания и эксплуатации приложений в Kubernetes
Студенты узнают подходы к конфигурации, хранению данных, мониторингу, масштабированию и автоматизированному развёртыванию приложений
Студенты научатся организовывать получение и хранение данных из различных источников
Студенты научатся реализовывать полную, инкрементальную и потоковую загрузку данных
Студенты научатся разрабатывать и проверять пайплайны обработки данных
Студенты научатся анализировать ограничения реализованных решений и определять возможные направления их развития
Студенты научатся применять AI-инструменты при работе с кодом
Студенты научатся разрабатывать и оптимизировать сервисы обработки данных на Go
Студенты научатся развёртывать Data-приложения и связанные с ними компоненты в Kubernetes
Студенты научатся настраивать хранение данных, конфигурацию, мониторинг, масштабирование и автоматизированное развёртывание приложений

Содержание учебной дисциплины

Интеграция источников и построение хранилища на S3
CDC и построение потокового пайплайна данных
AI Coding для Data Engineering
Skills, Agents и Multi-Agent Development
Основы разработки на Go
Конкурентность и оптимизация приложений на Go
Основы Kubernetes и развёртывание приложений
Конфигурация и управление приложениями в Kubernetes
Хранение данных и Data Workloads в Kubernetes
Helm и управление Kubernetes-приложениями
Monitoring и Observability в Kubernetes
Production Kubernetes и эксплуатация приложений

Элементы контроля

Практические задания
На вебинарах преподаватель разбирает инструменты и подходы на практических примерах, а вы применяете их при выполнении практических задач. Практические задания предназначены для отработки изучаемых инструментов и подходов, а также подготовки к итоговым заданиям. Использование ИИ при выполнении заданий Вы можете использовать ИИ при выполнении заданий, но только если: - это не противоречит целям и условиям задания, инструкциям преподавателя; - вы осмысленно обрабатываете результат выдачи ИИ, анализируете и дорабатываете его; - самостоятельно делаете выводы по ключевым пунктам задания, а не полагаетесь на ИИ. Нарушение этих пунктов считается неисполнением обязанностей по добросовестному освоению образовательной программы и может привести к снижению баллов.
Итоговые задания
В рамках дисциплины предусмотрены итоговые задания с проверкой и обратной связью от преподавателя. Итоговые задания выполняются индивидуально и загружаются на учебную платформу. Выполнение итоговых заданий является обязательным. Использование ИИ при выполнении заданий Вы можете использовать ИИ при выполнении заданий, но только если: - это не противоречит целям и условиям задания, инструкциям преподавателя; - вы осмысленно обрабатываете результат выдачи ИИ, анализируете и дорабатываете его; - самостоятельно делаете выводы по ключевым пунктам задания, а не полагаетесь на ИИ. Нарушение этих пунктов считается неисполнением обязанностей по добросовестному освоению образовательной программы и может привести к снижению баллов.
Зачет
Зачёт проводится в 1-м модуле. Использование ИИ при выполнении заданий Вы можете использовать ИИ при выполнении заданий, но только если: - это не противоречит целям и условиям задания, инструкциям преподавателя; - вы осмысленно обрабатываете результат выдачи ИИ, анализируете и дорабатываете его; - самостоятельно делаете выводы по ключевым пунктам задания, а не полагаетесь на ИИ. Нарушение этих пунктов считается неисполнением обязанностей по добросовестному освоению образовательной программы и может привести к снижению баллов.
Экзамен
Экзамен проводится в 3-м модуле.
Тест по темам 1-2

Промежуточная аттестация

2026/2027 2nd module
Формула расчёта зачёта: 0,2 × тест по темам 1–2 + 0,4 × ИДЗ модуля 1 + 0,4 × итоговый тест
2026/2027 4th module
Формула расчёта экзамена (в 3-м модуле): 0,6 × ИДЗ + 0,4 × итоговый тест Максимальный итоговый балл — 10.
2027/2028 2nd module
Формула расчёта зачёта: 0,2 × тест по темам 1–2 + 0,4 × ИДЗ модуля 1 + 0,4 × итоговый тест
2027/2028 3rd module
Формула расчёта экзамена (в 3-м модуле): 0,6 × ИДЗ + 0,4 × итоговый тест Максимальный итоговый балл — 10.

Список литературы

Авторы

Комарова Ксения Степановна

Магистерская программа «Инженерия данных»

Семинар наставника

Преподаватель

Программа дисциплины