Семинар наставника "Финансовые технологии и анализ данных"

Магистратура 2022/2023

Статус: Курс обязательный (Финансовые технологии и анализ данных)

Направление: 01.04.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 1-й курс, 1-4 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для своего кампуса

Преподаватели: Масютин Алексей Александрович

Прогр. обучения: Финансовые технологии и анализ данных

Язык: русский

Кредиты: 6

Контактные часы: 56

Полная версия программы учебной дисциплины

Аннотация

Дисциплина преподается с целью ознакомления слушателей с подходами к решению бизнес-задач в крупных финансовых организациях с применением методов математического моделирования и анализа данных, приобретения навыков постановки прикладных исследовательских задач, разработки новых подходов и методов анализа данных, а также презентации реализованных решений перед заказчиками

Цель освоения дисциплины

Цель освоения дисциплины - анализ научных и практических тенденций в области финансовых технологий
Целями освоения дисциплины являются формирование у студентов комплекса теоретических знаний и методологических основ в области технологий обработки, хранения, преобразования и визуализации данных. В ходе курса рассматриваются все этапы обработки данных: появление данных в OLTP-системах, их транспорт в OLAP-хранилище, сохранение в сырой слой, нормализация в детальный слой, построение аналитических витрин и отчетов, автоматизация процессов, мониторинг здоровья кластера и системы в целом

Планируемые результаты обучения

Владение общими навыки проектирования структуры хранилищ данных
Владение навыками работы с реляционными БД, MPP, DFS-хранилищами
Умение строить ETL-процессы, осуществлять потоковую и батчевую обработку данных
Умение строить end-to-end архитектуру хранилища данных, администрировать и поддерживать стабильную работу различных программных комплексов
Умение строить BI-системы и системы операционного мониторинга
Формирует задания для исследования новых рынков, следит за ходом исследований и принимает их результаты
Проводит поиск и анализ наиболее актуальных академических и прикладных исследований в области финансовых технологий

Содержание учебной дисциплины

Ключевые направления исследований в области финансовых технологий
Постановка исследовательских задач
Разбор научных статей в области финансовых технологий
Разбор практических кейсов в области финансовых технологий
Введение в Data Engineering. Устройство современного дата-пайплайна.
Файловые хранилища. S3-like хранилища. Hadoop-экосистема.
Устройство и основы работы с Apache Spark.
Data Warehousing. Современные архитектуры организации хранилищ данных: Data Vault, Anchor Model, hNhM.
Очереди и работа с потоками данных: Apache Kafka, Spark Streaming
MPP СУБД: Greenplum, Vertica, Clickhouse. Особенности устройства и организации вычислений
Планы запросов. Учимся читать планы запросов на реляционных СУБД и MPP
ETL / ELT. Правила проектирования ETL-процессов
Использование данных. BI-системы
Новые вызовы в DE

Элементы контроля

Проект
Презентация концепции курсового проекта
Работа на семинарах
Домашнее задание 1
Домашнее задание 2
Домашнее задание 3
Домашнее задание 4
Проект
По итогам выполнения всех домашних заданий должен получиться один большой проект, сочетающий в себе все элементы пайплайна обработки данных: появление в OLTP-системе, транспорт в OLAP, сохранение в сырой слой, нормализация в детальный слой, построение аналитических витрин и отчетов, мониторинг здоровья кластера и системы.

Промежуточная аттестация

2022/2023 учебный год 4 модуль
0.4 * Работа на семинарах + 0.6 * Проект
2023/2024 учебный год 3 модуль
Oитоговая = ¼*(Домашнее задание 1) + ¼*(Домашнее задание 2) + ¼*(Домашнее задание 3) + ¼*(Домашнее задание 4)

Программа дисциплины