Руководство пользователя личного кабинета
Скачать
ВойтиЗарегистрироваться
ВойтиЗарегистрироваться
 Войти Зарегистрироваться
ВойтиЗарегистрироваться
  • Бизнес-образование
  • Все направления
Data Science и аналитика/Анализ данныхИскусственный интеллект
Профессиональная переподготовка·Москва·Центр непрерывного образования

Дата-инженер

Программа за год подготовит вас к профессии дата-инженера — архитектора пайплайнов и инфраструктур работы с данными, востребованного в любой современной IT-компании.

Вы освоите SQL, Python, ETL, хранилища данных, Big Data, BI-инструменты и сделаете собственный проект на пути к первому офферу в роли дата-инженера.

Новая программа Центра непрерывного образования ФКН — старт осенью 2025 г.

Подать заявкуЗадать вопрос

  • Стоимость обучения

    395 000 ₽

  • Продолжительность

    1 год

  • Формат обучения

    Очный

  • Документ

    Диплом о профессиональной переподготовке

Дата-инженеры — важные специалисты в современном мире. Они выстраивают инфраструктуру по сбору, обработке, движению и структурированию данных. Благодаря им возможны аналитика, стратегическое планирование, рекомендательные системы, обучение нейросетей. Спрос на квалифицированных специалистов в этой области стабильно растёт: по данным LinkedIn, профессия дата-инженера входит в топ-5 самых востребованных IT-направлений последних лет.

Программа "Дата-инженер" разработана для тех, кто хочет перейти в IT, освоить дата-инжиниринг или укрепить свои навыки работы с данными. Особое внимание уделено фундаментальным знаниям — вы разберётесь в архитектуре хранилищ данных, системах потоковой и пакетной обработки, администрировании СУБД, а также в вопросах управления данными.

За год вы освоите инструменты, используемые в ведущих технологических компаниях, научитесь применять их на практике и реализуете собственный индивидуальный проект — полноценный пайплайн, который можно включить в портфолио и использовать как весомое конкурентное преимущество при трудоустройстве.

По итогам обучения вы будете готовы начать карьеру дата-инженера, уверенно чувствуя себя в профессиональной среде.

Для кого

Для слушателей, желающих стать дата-инженерами и улучшить свои навыки работы с данными

  • Начинающие дата-инженеры

    Получите системное обучение и практические навыки для успешного трудоустройства на стартовую позицию

  • Технические специалисты, меняющие профессию

    Освоите полный цикл работы дата-инженера, чтобы начать карьеру в перспективной профессии

  • IT-специалисты, развивающие навыки

    Повысите квалификацию, откроете новые карьерные возможности и станете универсальным специалистом в области данных

Программа обучения

Открывает широкий спектр знаний в области дата-инжиниринга: от работы с базами данных и ETL-процессов до управления данными и применения машинного обучения на практике

  • SQL10 занятий

    • Классификация баз данных
    • Операторы SQL, фильтрация, типы данных
    • Основные термины: схема, отношение, кортеж, поле
    • Группировка и агрегация, подзапросы, CTE, материализованные CTE
    • Объединения таблиц, виды связей между отношениями, множества
    • Первичный и внешний ключи
    • Оконные функции
    • DML-операции (insert, update, delete)
    • DDL-операции, ограничения (constraints)
    • Представления, материализованные представления, временные таблицы
    • Внешние таблицы
    • Индексы, партиции
    • Функции, триггеры
    • План запроса, оптимизация запросов
    • Транзакции (TCL)

  • Python15 занятий

    • Типы данных
    • Основные конструкции: циклы, функции, классы
    • Библиотеки pandas и numpy
    • Работа с БД: psycopg2, sqlalchemy, pandas
    • Регулярные выражения
    • Обработка неструктурированных и полуструктурированных данных
    • Работа с API (requests, fastapi), Postman
    • Многопоточность и асинхронность (asyncio, concurrent.futures)
    • Алгоритмы и структуры данных
    • Системы контроля версий (Git): базовые команды, Git Flow, GitHub Flow и др., интеграция с IDE
    • Управление изменениями БД через git (liquibase)

  • Хранилища данных3 занятия

    • Классификация БД
    • Типы хранилищ: DWH, DataLake, LakeHouse
    • Слои DWH
    • Нормальные формы
    • Медленно меняющиеся измерения (Slowly Changing Dimensions)
    • Методологии проектирования: Star, Snowflake, Data Vault, Anchor Model
    • Инструменты проектирования

  • Организация инфраструктуры7 занятий

    • Основные команды терминала
    • Контейнеризация (Docker)
    • Оркестрация (Kubernetes)
    • Виртуализация
    • CI/CD (GitLab CI/CD)
    • Облачная инфраструктура (на примере Yandex Cloud) — развёртывание сервисов, настройка параметров

     

  • ETL10 занятий

    • Разработка пайплайнов в Apache Airflow
    • Основные компоненты Airflow: dag, task, task_group, операторы
    • Оркестрация, расписания, триггеры, сенсоры
    • Переменные, коннекторы, pools
    • Кастомные операторы
    • Change Data Capture (CDC)
    • Источники/приёмники данных: API, FTP/SFTP, S3, Kafka, RabbitMQ, внешние витрины, облачные диски
    • Лучшие практики построения пайплайнов

  • Работа с большими данными5 занятий

    • Hadoop: HDFS, YARN, Hive, MapReduce
    • Apache Spark: RDD, DataFrame, Spark SQL
    • Форматы файлов: Parquet, AVRO, ORC

     

  • Потоковая обработка данных5 занятий

    • Kafka
    • Spark Streaming
    • NiFi
    • Flink

  • Витрины данных и Business Intelligence3 занятия

    • Основные отечественные и мировые BI-системы
    • Базовые компоненты визуализации и аналитики (например, Yandex DataLens)
    • Основы языков DAX, MDX
    • Проектирование витрин данных (логическое моделирование)
    • Сбор витрин под требования бизнеса
    • Роль витрин в жизненном цикле корпоративных данных
    • Создание дашбордов с использованием мер, вычисляемых столбцов и различных видов визуализации

  • Администрирование баз данных (DBA)3 занятия

    • Управление пользователями и группами
    • DCL-операторы SQL
    • Резервное копирование и восстановление
    • Блокировки и взаимные блокировки
    • Vacuum
    • Настройки баз данных

  • Аналитические СУБД3 занятия

    • Принципы MPP (Massively Parallel Processing)
    • Узкие места аналитических СУБД
    • Выбор СУБД под задачу
    • ClickHouse, GreenPlum, Trino, DuckDB, YDB, StarRocks

  • Введение в NoSQL базы данных3 занятия

    • Отличия NoSQL от RDBMS
    • Типы NoSQL систем
    • CAP-теорема, алгоритмы консенсуса, ACID
    • Документоориентированная СУБД (MongoDB) — развёртывание, заполнение, запросы
    • СУБД ключ-значение (Redis), языки запросов
    • Хранение графов (Neo4J), язык Cypher
    • Колончатые СУБД (ClickHouse) и аналитические запросы

  • Управление данными (Data Governance)3 занятия

    • Предпосылки и драйверы Data Governance
    • Роль Data Quality и Data Governance
    • Принципы и метрики качества данных
    • Управление основными данными для стандартизации
    • Определение ключевых данных под бизнес-цели
    • Основные роли и компетенции в Data Governance

  • Машинное обучение и Apache Spark3 занятия

    • Spark ML
    • ML Flow
    • Построение ML-пайплайнов, версионирование датасетов
    • Учёт и трекинг моделей

  • Итоговый проект

    Разработка Telegram-бота для сбора сообщений и реакций в чате

Результаты обучения

  • Научитесь создавать и оптимизировать пайплайны

    Оптимизируете работу с большими объёмами данных для быстрых и точных бизнес-результатов

  • Освоите современные облачные и потоковые технологии

    Сможете внедрять эти технологии, чтобы строить гибкую и надёжную инфраструктуру данных

  • Внедрите машинное обучение и автоматизацию

    Начнете применять передовые методы машинного обучения и автоматизации в проектах

Документ, который Вы получите

Диплом о профессиональной переподготовке установленного образца при успешном завершении обучения

Это официальный документ от НИУ ВШЭ, который подтверждает освоение новой профессии, гарантирует качество и легитимность вашего образования

Подать заявкуЗадать вопрос
Подать заявкуЗадать вопрос

Мы также предлагаем

  • 01

    Поддержку экспертов и итоговый проект, приближенный к реальным задачам

  • 02

    Удобный формат обучения – легко совмещать с работой или другими делами

  • 03

    Занятия в компьютерных классах в корпусе НИУ ВШЭ на Покровском бульваре

Стоимость и условия

Контакты

На звонки и письма отвечаем в рабочее время: понедельник — суббота, 11:00 – 19:00. 

395 000 ₽

Подать заявкуЗадать вопрос