Introduction to Data Science

2023/2024

Academic Year

RUS

Instruction in Russian

3

ECTS credits

Delivered at:

Big Data and Information Retrieval School

Course type:

Compulsory course

When:

2 year, 4 module

Instructors

Бакшук Матвей Вячеславович

Perevyshina, Tatiana

Программа дисциплины

Аннотация

Дисциплина «Введение в Data Science» знакомит студентов с основными концепциями и методами анализа данных и машинного обучения. Студенты также научатся программировать на языке Python, познакомятся с базовыми приёмами извлечения и обработки данных из сети интернет и различных типов файлов.

Цель освоения дисциплины

• Обучить студентов базовым навыкам программирования на языке Python.
• Обучить студентов базовым приемам извлечения и обработки данных, необходимым для дальнейшего обучения и в работе по специальности.
• Познакомить студентов с основными концепциями и методами анализа данных, статистики и машинного обучения.

Планируемые результаты обучения

• Владеет базовыми навыками работы с данными: агрегированием, фильтрацией, созданием новых переменных, работой со сводными таблицами.
• Владеет метриками качества линейной регрессии: MSE, MAE, R2.
• Владеет процедурой обнаружения пропущенных значений. Умеет работать с пропущенными значениями: удаление и стратегии замены.
• Владеет хи-квадратом критерия согласия Пирсона.
• Знает и умеет строить базовые типы графиков.
• Знает основные типы дискретных (Бернулли, биномиальное, пуассоновское) и непрерывных (нормальное, экспоненциальное, хи-квадрат) распределений. Знает определение функции плотности.
• Знает постановку задачи машинного обучения. Знает виды задач машинного обучения.
• Знает процедуру тестирования гипотез. Понимает понятие статистической значимости. Умеет применять p-value для тестирования гипотез.
• Знает типы переменных. Знает меры центральной тенденции и разброса. Знает процедуру обнаружения выбросов. Умеет обрабатывать выбросы.
• Понимает основные процедуры сбора данных. Умеет дать определение понятиями “выборка” и “генеральная совокупность”. Умеет определить наиболее репрезентативную выборку.
• Понимает понятия ошибок I и II рода.
• Умеет интерпретировать ROC-кривую.
• Умеет использовать метод k ближайших соседей.
• Умеет оценивать линейную регрессию. Умеет интерпретировать оценки коэффициентов в линейной регрессии.
• Умеет оценивать логистическую регрессию.
• Умеет проводить Z-тест и t-тест для одной выборки и для двух независимых выборок с одинаковыми дисперсиями.
• Умеет рассчитать выборочный коэффициент корреляции Пирсона.
• Умеет строить доверительные интервалы, основанные на Z- и t-распределениях, для среднего и доли.

Содержание учебной дисциплины

• Введение в Python: переменные, коллекции, условные операторы, циклы.
• Анализ и визуализация данных в Python: pandas и matplotlib.
• Введение в теорию вероятностей и статистику. Выборка и генеральная совокупность. Репрезентативность выборки.
• Распределения. Описательные статистики. Меры центральной тенденции и разброса.
• Корреляция Пирсона.
• Тестирование гипотез. Ошибки I и II рода.
• Statsmodels в Python.
• Статистические тесты. Статистическая значимость. p-value.
• Проверка гипотез при помощи Z-теста и t-теста.
• Непараметрическое тестирование. Хи-квадрат критерий согласия Пирсона.
• Линейная регрессия.
• Введение в машинное обучение. Виды задач машинного обучения.
• sklearn в Python.
• Метод k ближайших соседей.
• Логистическая регрессия.
• ROC-кривая

Элементы контроля

• Контрольная работа
  Оценивается по 10-балльной шкале. Контрольная, основанная на Спецификации НЭ по Анализу данных 2023-24 года. В контрольную входят задания, аналогичные части заданий варианта НЭ, на решение которых отводится 80 минут. Если ваш курс реализуется в онлайн формате ( в zoom), преподаватель имеет право попросить включить камеры и демонстрацию экрана.
• Домашние задания
  Домашние задания по курсу. Всего пять заданий в течение всего курса.
• Тесты на семинарах
  В конце 4, 6, 8, 10, 12 семинара. Тесты можно писать только очно.
• Работа на семинаре
  Учитывается только если вы присутствовали очно. Практика должна быть открыта во время занятия. После семинара у вас есть 72 часа доделать практику. В зачет идет первая попытка.
• Исследовательский проект
  Групповой проект, выполняется в группах по 3 человека. В исключительных случаях по разрешению преподавателя возможно выполнение в группах по 2 человека. Для получения оценки необходима устная защита. В случае получения незачета, за проект выставляется оценка 0.

Промежуточная аттестация

• 2023/2024 учебный год 4 модуль
  0.3 * Исследовательский проект + 0.15 * Домашние задания + 0.2 * Контрольная работа + 0.1 * Работа на семинаре + 0.25 * Тесты на семинарах

Список литературы

Рекомендуемая основная литература

• Basic statistics for the behavioral sciences, Heiman, G. W., 2006

Рекомендуемая дополнительная литература

• All of statistics : a concise course in statistical inference, Wasserman, L., 2004