• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Mentor's Seminar "Financial Technologies and Data Analysis"

2023/2024
Academic Year
RUS
Instruction in Russian
9
ECTS credits
Course type:
Compulsory course
When:
2 year, 1-3 module

Instructor


Popov, Ilya

Программа дисциплины

Аннотация

Дисциплина преподается с целью ознакомления слушателей с подходами к решению бизнес-задач в крупных финансовых организациях с применением методов математического моделирования и анализа данных, приобретения навыков постановки прикладных исследовательских задач, разработки новых подходов и методов анализа данных, а также презентации реализованных решений перед заказчиками
Цель освоения дисциплины

Цель освоения дисциплины

  • Цель освоения дисциплины - анализ научных и практических тенденций в области финансовых технологий
  • Целями освоения дисциплины являются формирование у студентов комплекса теоретических знаний и методологических основ в области технологий обработки, хранения, преобразования и визуализации данных. В ходе курса рассматриваются все этапы обработки данных: появление данных в OLTP-системах, их транспорт в OLAP-хранилище, сохранение в сырой слой, нормализация в детальный слой, построение аналитических витрин и отчетов, автоматизация процессов, мониторинг здоровья кластера и системы в целом
Планируемые результаты обучения

Планируемые результаты обучения

  • Владение общими навыки проектирования структуры хранилищ данных
  • Владение навыками работы с реляционными БД, MPP, DFS-хранилищами
  • Умение строить ETL-процессы, осуществлять потоковую и батчевую обработку данных
  • Умение строить end-to-end архитектуру хранилища данных, администрировать и поддерживать стабильную работу различных программных комплексов
  • Умение строить BI-системы и системы операционного мониторинга
  • Формирует задания для исследования новых рынков, следит за ходом исследований и принимает их результаты
  • Проводит поиск и анализ наиболее актуальных академических и прикладных исследований в области финансовых технологий
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Ключевые направления исследований в области финансовых технологий
  • Постановка исследовательских задач
  • Разбор научных статей в области финансовых технологий
  • Разбор практических кейсов в области финансовых технологий
  • Введение в Data Engineering. Устройство современного дата-пайплайна.
  • Файловые хранилища. S3-like хранилища. Hadoop-экосистема.
  • Устройство и основы работы с Apache Spark.
  • Data Warehousing. Современные архитектуры организации хранилищ данных: Data Vault, Anchor Model, hNhM.
  • Очереди и работа с потоками данных: Apache Kafka, Spark Streaming
  • MPP СУБД: Greenplum, Vertica, Clickhouse. Особенности устройства и организации вычислений
  • Планы запросов. Учимся читать планы запросов на реляционных СУБД и MPP
  • ETL / ELT. Правила проектирования ETL-процессов
  • Использование данных. BI-системы
  • Новые вызовы в DE
Элементы контроля

Элементы контроля

  • неблокирующий Проект
    Презентация концепции курсового проекта
  • неблокирующий Работа на семинарах
  • неблокирующий Домашнее задание 1
  • неблокирующий Домашнее задание 2
  • неблокирующий Домашнее задание 3
  • неблокирующий Домашнее задание 4
  • неблокирующий Проект
    По итогам выполнения всех домашних заданий должен получиться один большой проект, сочетающий в себе все элементы пайплайна обработки данных: появление в OLTP-системе, транспорт в OLAP, сохранение в сырой слой, нормализация в детальный слой, построение аналитических витрин и отчетов, мониторинг здоровья кластера и системы.
Промежуточная аттестация

Промежуточная аттестация

  • 2022/2023 учебный год 4 модуль
    0.6 * Проект + 0.4 * Работа на семинарах
  • 2023/2024 учебный год 3 модуль
    Oитоговая = ¼*(Домашнее задание 1) + ¼*(Домашнее задание 2) + ¼*(Домашнее задание 3) + ¼*(Домашнее задание 4)
Список литературы

Список литературы

Рекомендуемая основная литература

  • Kleppmann, M. (2017). Designing Data-Intensive Applications : The Big Ideas Behind Reliable, Scalable, and Maintainable Systems. Sebastopol, CA: O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1487643
  • Linstedt, D., & Olschimke, M. (2015). Building a Scalable Data Warehouse with Data Vault 2.0. Amsterdam: Morgan Kaufmann. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1065504

Рекомендуемая дополнительная литература

  • DAMA-DMBOK : data management body of knowledge, , 2017
  • Kimball, R., & Ross, M. (2013). The Data Warehouse Toolkit : The Definitive Guide to Dimensional Modeling (Vol. 3rd edition). Hoboken, New Jersey: Wiley. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=605991
  • White, T. (2015). Hadoop: The Definitive Guide : Storage and Analysis at Internet Scale: Vol. 4th edition. O’Reilly Media.