Python для сбора и анализа данных

2022/2023

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс обязательный

Когда читается:

1-й курс, 3 модуль

Преподаватели

Беляков Денис Олегович

Горшков Сергей Сергеевич

Федоров Михаил Антонович

Программа дисциплины

Аннотация

На сегодняшний день Python является стандартом индустрии для анализа данных. По окончании этого курса, студенты получат в свое распоряжение набор аналитических инструментов, которые им пригодятся как в академии, так и при работе в частном или государственном секторе. Целью этого курса является развитие навыков программирования и создание крепкой практической базы для анализа и презентации данных.

Цель освоения дисциплины

• Курс должен помочь студентам освоить основные библиотеки Python для анализа данных и научить проводить первичный анализ данных с помощью этих библиотек.

Планируемые результаты обучения

• Знать библиотеку numpy для анализа данных
• Знать библиотеку pandas для анализа данных
• Знать об особенностях многопоточности в Python и уметь ускорять код, использующий вышеописанные библиотеки
• Знать язык SQL, иметь навыки работы с реляционными БД
• Понимать основные отличия модели MapReduce от Spark
• Понимать основные принципы работы распределенных систем, модель MapReduce.
• Уметь написать простое веб-приложение на языке Python
• Уметь развернуть простое веб-приложение с использованием технологии Docker, понимать принципы ее работы
• Уметь развернуть простое веб-приложение с использованием технологии Kubernetes, понимать принципы ее работы
• Уметь решать задачи на визуализацию данных с помощью модулей matplotlib, seaborn, plotly

Содержание учебной дисциплины

• Модуль numpy
• Модули matplotlib, seaborn, plotly для визуализации данных.
• Global Interpreter Lock в Python. Модуль multiprocessing
• Реляционные базы данных и SQL
• Распределенные системы, свойства и задачи. CAP теорема.
• Spark: основные идеи, сравнение с MapReduce.
• Создание простого веб-приложения на языке Python.
• Облачные вычисления. Виртуализация и её типы.
• Концепция Docker Swarm. Kubernetes. Основные компоненты архитектуры K8s.
• Модуль pandas.

Элементы контроля

• Домашнее задание
• Бонус
  Бонусный проект, без его выполнения можно заработать максимальный балл по курсу

Промежуточная аттестация

• 2022/2023 учебный год 3 модуль
  = МАКС(СУМ(ДЗ) / 6 + БОНУС, 10)

Список литературы

Рекомендуемая основная литература

• Лучано, Р. Python. К вершинам мастерства / Р. Лучано , перевод с английского А. А. Слинкин. — Москва : ДМК Пресс, 2016. — 768 с. — ISBN 978-5-97060-384-0. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/93273 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Рекомендуемая дополнительная литература

• Eric Matthes. (2019). Python Crash Course, 2nd Edition : A Hands-On, Project-Based Introduction to Programming: Vol. 2nd edition. No Starch Press.