Данный курс представляет собой ключевую часть образовательного процесса магистратуры для будущих дата-инженеров. В ходе обучения студенты будут вовлечены в обмен опытом с профессионалами в области дата-инженерии, которые выступят в роли наставников. В рамках семинара студенты будут работать над реальными проектами, применяя свои навыки в практических задачах под руководством наставников. Семинар также будет посвящен развитию мягких навыков, таких как коммуникация, руководство, аналитическое мышление и принятие решений, что является важным аспектом успешной карьеры в данной области.

Данный курс предоставляет студентам возможность ознакомиться с основными понятиями теории вероятностей и математической статистики. В рамках курса изучаются базовые формулы и теоремы теории вероятностей и математической статистики, законы распределения случайных величин и их характеристики, а также методы статистического описания данных. Студенты также получают навыки постановки и решения задач математической статистики.

В курсе рассматриваются основные подходы к анализу и проектированию алгоритмов и структур данных. Среди тем, изучаемых в курсе — Освоение языка С++, асимптотическая оценка сложности алгоритма в худшем случае, эффективные алгоритмы сортировки и выбора порядковых статистик, структуры данных (линейные структуры данных, двоичные деревья поиска, хеш-таблицы, деревья отрезков, декартовы деревья), способы проектирования алгоритмов (динамическое программирование, жадная стратегия), разработка и реализация собственных отказоустойчивых структур данных с покрытием тестами.

Данный курс предоставляет глубокое понимание и навыки работы с языком программирования Python, с особым акцентом на его применении в анализе данных и инженерии данных. В рамках курса студенты изучают продвинутые аспекты Python, включая синтаксис, объектно-ориентированное программирование и возможности специализированных библиотек. Курс также включает изучение ключевых концепций и методов работы с данными, включая обработку больших объемов информации, многопоточное и асинхронное программирование в Python. Студенты приобретают навыки работы с библиотеками и фреймворками для анализа данных и визуализации на практике, а также изучают разработку Python-приложений для обработки и анализа данных.

Курс предоставляет студентам практические навыки в проектировании, разработке и управлении процессами ETL (Extract, Transform, Load). В ходе обучения студенты изучают методы извлечения, трансформации и загрузки данных в различные хранилища. Они также получают практические навыки в использовании инструментов и фреймворков ETL и изучают методы обработки ошибок и мониторинга процессов. Курс также рассматривает концепцию и модели облачных вычислений и современные практики разработки cloud-native приложений.

В данном курсе изучаются основные инструменты, которые используются в повседневной работе разработчика программного обеспечения. Курс предназначен для освоения операционной системы Linux, развития навыков работы в терминале и освоения синтаксиса BASH. Во второй части курса рассматриваются вопросы систем контроля версий и контейнеризации. Овладение данными навыками позволит сократить время на отладку кода, а также повысит качество разрабатываемых проектов.

Дисциплина направлена на формирование у студентов знаний и практических навыков программирования на языках Java и Scala. В курсе рассматриваются основы синтаксиса, принципы объектно-ориентированного программирования, принципы функционального программирования, работа с массивами, строками и коллекциями, механизмы обработки исключений и многопоточности, работа с иммутабельными структурами данных и монадами, использование implicits и тайпклассов, основы асинхронности. Отдельное внимание уделяется современным средствам Java, включая Stream API, лямбда- выражения и работу с внешними библиотеками. В блоке Scala рассматриваются Cats, Circe и Akka HTTP. Практическая часть курса включает разработку учебного проекта.

Дисциплина направлена на формирование знаний и навыков работы с нереляционными базами данных. В рамках курса студенты изучат различные модели и типы нереляционных данных, основные принципы работы с ними. Студенты научатся проектировать и создавать схемы базы данных в нереляционной модели, использовать различные языки запросов и манипулирования данными для работы с нереляционными базами данных, решать задачи, связанные с управлением данными, и анализировать и оптимизировать производительность нереляционных баз данных. В результате изучения дисциплины студенты будут готовы к применению NoSQL баз данных в своих проектах и дальнейшему профессиональному росту в области бэкенд-разработки и баз данных.

Курс предоставляет студентам углубленные знания о различных архитектурах и типах систем хранения данных, а также о базах данных и хранилищах данных для обработки больших объемов информации. Особое внимание уделяется современным тенденциям в области хранения данных, включая облачные решения и инфраструктуру как код. Студенты получат возможность изучить методы оптимизации производительности систем хранения данных, включая настройку индексов, запросов и конфигураций баз данных. Они также узнают о принципах обеспечения отказоустойчивости, высокой доступности и масштабируемости систем хранения. Курс также включает в себя практические задания, в ходе которых студенты будут разрабатывать и настраивать системы хранения данных, а также проводить анализ и оптимизацию существующих хранилищ данных.

1. Курс является практическим, он не дублирует курс «Теория баз данных», а предназначен, в первую очередь, для более глубокого изучения языка SQL.
2. Для изучения курса «Язык SQL» не требуется обязательного предварительного знакомства с базами данных. В рамках этого курса студенты смогут получить все минимально необходимые знания основ теории баз данных, которые нужны для полноценного освоения языка SQL.
3. Язык SQL изучается в среде свободной СУБД PostgreSQL.
4. Используется учебная база данных «Авиаперевозки», разработанная специалистами компании «Постгрес Профессиональный». Она содержит большой объем правдоподобных данных.
5. Будут рассмотрены не только методы построения запросов, но и такие важные темы, как транзакции, основы оптимизации запросов и основы программирования на стороне сервера баз данных.

Данный курс предназначен для получения слушателями комплекс-ных практических навыков работы с современными системами бизнес-аналитики (BI). В ходе обучения студенты освоят полный цикл создания дашбордов: от формулировки бизнес-требований и работы с данными до визуализации и представления результатов ру-ководству. Ключевой фокус сделан на глубоком практическом погружении в Apache Superset — открытую BI-платформу для создания визуализаций, интерактивных дашбордов и работы с данными из многообразных источников.

Курс предоставляет студентам комплекс теоретических знаний и методологических основ в области технологий построения пайплайнов для обслуживания ML-моделей, включая работу с данными и моделями в промышленных условиях. В ходе обучения студенты изучают концепции MLOps, DataOps, DevOps, включая процессы управления данными, автоматизацию и оптимизацию процессов, а также управление версиями данных. Они также получают практические навыки использования инструментов CI/CD для непрерывной интеграции, развертывания и тестирования данных.