Дата-инженерия
Программа подготовит вас к профессии дата-инженера — архитектора пайплайнов и инфраструктур работы с данными, востребованного в любой современной IT-компании.
Вы освоите ETL, хранилища данных, Big Data, BI-инструменты и сделаете собственный проект на пути к первому офферу в роли дата-инженера.
Стоимость обучения
265 000 ₽
Продолжительность
8 месяцев
Формат обучения
Очный
Документ
Удостоверение о повышении квалификации
Курс разработан для всех, кто хочет перейти в дата-инженерию и уже обладает навыками Python и SQL.
Приглашаем на обучение специалистов, которые желают систематизировать свои знания, освоить промышленные инструменты и научиться строить масштабные системы для работы с данными.
Вы изучите, как работать с инструментами, используемыми в ведущих технологических компаниях, и как применять их на практике, а также реализуете собственный индивидуальный проект — полноценный пайплайн, который можно включить в портфолио и использовать как конкурентное преимущество при трудоустройстве.
Курс подойдет вам, если вы уже имеете навыки:
- Python — создавать функции, работать с библиотеками, можете написать или разобрать скрипт в 50+ строк;
- SQL — строить запросы с JOIN, агрегацией и оконными функциями, понимать DML и DDL.
Для кого
Для слушателей, желающих стать дата-инженерами и улучшить свои навыки работы с данными
Начинающим дата-инженерам
Получите системное обучение и практические навыки для успешного трудоустройства на стартовую позицию
Техническим специалистам, меняющим профессию
Освоите полный цикл работы дата-инженера, чтобы начать карьеру в перспективной профессии
IT-специалистам, развивающим свои навыки
Повысите квалификацию, откроете новые карьерные возможности и станете универсальным специалистом в области данных
Программа обучения
Открывает широкий спектр знаний в области дата-инжиниринга: от ETL-процессов до управления данными и применения машинного обучения на практике
Хранилища данных3 занятия
- Классификация БД
- Типы хранилищ: DWH, DataLake, LakeHouse
- Слои DWH
- Нормальные формы
- Медленно меняющиеся измерения (Slowly Changing Dimensions)
- Методологии проектирования: Star, Snowflake, Data Vault, Anchor Model
- Инструменты проектирования
Организация инфраструктуры7 занятий
- Основные команды терминала
- Контейнеризация (Docker)
- Оркестрация (Kubernetes)
- Виртуализация
- CI/CD (GitLab CI/CD)
- Облачная инфраструктура (на примере Yandex Cloud) — развёртывание сервисов, настройка параметров
ETL10 занятий
- Разработка пайплайнов в Apache Airflow
- Основные компоненты Airflow: dag, task, task_group, операторы
- Оркестрация, расписания, триггеры, сенсоры
- Переменные, коннекторы, pools
- Кастомные операторы
- Change Data Capture (CDC)
- Источники/приёмники данных: API, FTP/SFTP, S3, Kafka, RabbitMQ, внешние витрины, облачные диски
- Лучшие практики построения пайплайнов
Работа с большими данными5 занятий
- Hadoop: HDFS, YARN, Hive, MapReduce
- Apache Spark: RDD, DataFrame, Spark SQL
- Форматы файлов: Parquet, AVRO, ORC
Потоковая обработка данных5 занятий
- Kafka
- Spark Streaming
- NiFi
- Flink
Витрины данных и Business Intelligence3 занятия
- Основные отечественные и мировые BI-системы
- Базовые компоненты визуализации и аналитики (например, Yandex DataLens)
- Основы языков DAX, MDX
- Проектирование витрин данных (логическое моделирование)
- Сбор витрин под требования бизнеса
- Роль витрин в жизненном цикле корпоративных данных
- Создание дашбордов с использованием мер, вычисляемых столбцов и различных видов визуализации
Администрирование баз данных (DBA)3 занятия
- Управление пользователями и группами
- DCL-операторы SQL
- Резервное копирование и восстановление
- Блокировки и взаимные блокировки
- Vacuum
- Настройки баз данных
Аналитические СУБД3 занятия
- Принципы MPP (Massively Parallel Processing)
- Узкие места аналитических СУБД
- Выбор СУБД под задачу
- ClickHouse, GreenPlum, Trino, DuckDB, YDB, StarRocks
Введение в NoSQL базы данных3 занятия
- Отличия NoSQL от RDBMS
- Типы NoSQL систем
- CAP-теорема, алгоритмы консенсуса, ACID
- Документоориентированная СУБД (MongoDB) — развёртывание, заполнение, запросы
- СУБД ключ-значение (Redis), языки запросов
- Хранение графов (Neo4J), язык Cypher
- Колончатые СУБД (ClickHouse) и аналитические запросы
Управление данными (Data Governance)3 занятия
- Предпосылки и драйверы Data Governance
- Роль Data Quality и Data Governance
- Принципы и метрики качества данных
- Управление основными данными для стандартизации
- Определение ключевых данных под бизнес-цели
- Основные роли и компетенции в Data Governance
Машинное обучение и Apache Spark3 занятия
- Spark ML
- ML Flow
- Построение ML-пайплайнов, версионирование датасетов
- Учёт и трекинг моделей
Итоговый проект
Проектирование и разработка пайплайна обработки данных
Формат обучения
Условия приема: высшее или среднее профессиональное образование; лица, получающие высшее образование
Пререквизиты: Python, SQL
Формат обучения: очный
Состав группы: группа до 30 человек
Научитесь создавать и оптимизировать пайплайны
Оптимизируете работу с большими объёмами данных для быстрых и точных бизнес-результатов
Освоите современные облачные и потоковые технологии
Сможете внедрять эти технологии, чтобы строить гибкую и надёжную инфраструктуру данных
Внедрите машинное обучение и автоматизацию
Начнете применять передовые методы машинного обучения и автоматизации в проектах
Документ, который Вы получите
Удостоверение о повышении квалификации при успешном завершении обучения
Мы также предлагаем
01
Поддержку экспертов и итоговый проект, приближенный к реальным задачам
02
Удобный формат обучения – легко совмещать с работой или другими делами
03
Занятия в компьютерных классах в корпусе НИУ ВШЭ на Покровском бульваре
Преподаватели
Владислав Бояр
Академический руководитель программы, инженер данных во «Вкусно — и точка», эксперт Центра непрерывного образования ФКН
Армен Бекларян
Эксперт Центра непрерывного образования ФКН, доцент базовой кафедры Сбера
Кирилл Дикалин
Руководитель направления аналитической инфраструктуры в Альфа-Банке
Кирилл Гоменюк
Инженер данных в Т-Банке
Пётр Гуринов
Senior Data Engineer
Кирилл Сысоев
Инженер больших данных в UzumData, доцент ФКН
Стоимость и условия
265 000 ₽
полная стоимость программы
66 250 ₽
раз в два месяца при рассрочке без переплат: 4 платежа по полной стоимости программы
Как получить скидку?
5-10%
Как поступить на программу
01
Положить программу в корзину и зарегистрироваться в личном кабинете в правом верхнем углу на странице программы
02
Заполнить профиль в личном кабинете и приложить скан-копии личных документов
03
Перейти в корзину и оформить заказ. Кнопка "Оформить заказ" станет активна, если вы заполнили все необходимые поля в профиле
04
Дождаться подтверждения заявки. После подтверждения заявки, в личном кабинете появится договор на ознакомление и ссылка на оплату
05
Начать обучение. За несколько дней до начала обучения менеджер отправит на почту организационное письмо со всей важной информацией о программе и ссылкой на учебный чат в Telegram
Контакты
Основной адрес
Телефон
Электронная почта
На звонки и письма отвечаем в рабочее время: понедельник — суббота, 11:00 – 19:00.