Анализ данных

Бакалавриат 2023/2024

Статус: Курс обязательный (Химия)

Направление: 04.03.01. Химия

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет химии

Когда читается: 3-й курс, 3, 4 модуль

Формат изучения: с онлайн-курсом

Онлайн-часы: 50

Охват аудитории: для своего кампуса

Преподаватели: Перевышина Татьяна Олеговна

Язык: русский

Кредиты: 3

Контактные часы: 28

Полная версия программы учебной дисциплины

Аннотация

Данный курс представляет собой адаптацию общеуниверситетского курса по анализу данных и направлен на формирование компетенций в области статистики и анализа данных. В курсе будут рассмотрены темы, которые необходимы для успешного освоения основных понятий и методов, связанных с анализом данных. Также будут рассмотрены темы, связанные с основами машинного обучения. Дисциплина реализуется с помощью онлайн-курса «Учебник по Анализу данных (Базовый)» в SmartLMS (https://edu.hse.ru/course/view.php?id=136232).

Цель освоения дисциплины

Целью освоения дисциплины «Анализ данных» является овладение студентами основами статистики и анализа данных для применения в решении различных практических задач.

Планируемые результаты обучения

Использовать Python в применении к анализу данных.
Корректно открывать табличные данные различных форматов.
Фильтровать данные по нескольким условиям.
Сортировать данные.
Использовать собственноручно написанные функции для обработки данных, создания новых переменных.
Создавать сводные таблицы.
Вычислять описательные статистики и интерпретировать полученные результаты.
Переводить значения признака в z-оценки.
Обрабатывать пропущенные значения и выбросы.
Вычислять релевантные описательные статистики и интерпретировать полученные результаты.
Вычислять коэффициент корреляции Пирсона и интерпретировать полученные результаты.
Визуализировать данные с помощью простейших видов диаграмм: линейной, точечной, столбчатой.
Понимать и корректно использовать основные статистические понятия.
Визуализировать данные с помощью различных диаграмм: тепловой карты, ящика с усами и других.
Создавать интерактивные визуализации.
Реализовывать разведочный анализ данных.
Уметь реализовывать все шаги проверки статистических гипотез.
Применять параметрические статистические критерии для проверки гипотез.
Применять непараметрические статистические критерии для проверки гипотез.
Построить уравнение линейной регрессии с использованием метода наименьших квадратов.
Оценивать качество модели линейной регрессии с помощью релевантных метрик.
Решать задачу классификации с использованием логистической регрессии и KNN.
Оценивать качество модели классификации с помощью релевантных метрик.

Содержание учебной дисциплины

Введение в инструменты.
Введение в статистику. Базовые манипуляции с данными.
Типы данных. Создание новых переменных.
Генеральная совокупность и выборка. Частотные таблицы и распределения.
Описательные статистики: меры центральной тенденции и разброса.
Z-оценка. Выбросы.
Корреляция.
Введение в визуализацию данных.
Продвинутая визуализация данных.
Введение в тестирование гипотез. Непараметрические критерии.
Параметрические критерии для проверки гипотез.
Линейная регрессия.
Логистическая регрессия.
Введение в машинное обучение.

Элементы контроля

КР1 в формате НЭ
Если ваша дисциплина реализуется в формате онлайн: - Элемент контроля проводится с прокторингом - Платформу проведения элемента контроля определяет преподаватель - Время, длительности, количество слотов и распределение студентов по слотам определяет преподаватель и доводит до студентов - В время написания экзамена студенты обязаны включить камеры и демонстрацию экрана (всего экрана, а не отдельного окна). - лицо должно находиться в центре области обзора веб-камеры и занимать не менее 10% захватываемого камерой пространства на протяжении всего сеанса; - лицо должно быть освещено равномерно, источник освещения не должен быть направлен в камеру или освещать только одну половину лица; - волосы, одежда, руки или что-либо другое не должно закрывать область лица; - не разрешается надевать солнцезащитные очки, можно использовать очки только с прозрачными линзами; - сдающий должен находиться один в помещении во время сдачи экзамена с прокторингом; - сдающий обязан находиться в зоне видимости веб-камеры во время прохождения экзамена с прокторингом; - Если студент будет демонстрировать не весь экран, а только одно окно, то сначала последует предупреждение и просьба настроить демонстрацию всего экрана. В случае игнорирования предупреждения студент будет удален. - Проктор может попросить включить микрофон или показать рабочее место. Если вы не увидите сообщение проктора и не прореагируете на него, проктор продублирует свою просьбу голосом. - При технических неполадках студенты обязаны их фиксировать с помощью фотографии / скриншотов и отправить преподавателю. - Во время экзамена разрешается выйти из помещения один раз на не более чем 5 минут. Прежде чем покинуть помещение, студент должен в чате проинформировать проктора об этом и дождаться разрешения на выход. - Пройти тестирование можно только на компьютере и ноутбуке, не допускается сдача элемента контроля на планшете или телефоне. - От студентов требуется обеспечить стабильную работу Интернет-соединения. В случае необходимости студент может заранее обратиться в учебный офис и попросить забронировать компьютерный класс. - В случае нарушения правил проведения элемента контроля в дистанционной форме, результаты будут аннулированы
КР2 в формате НЭ
Если ваша дисциплина реализуется в формате онлайн: - Элемент контроля проводится с прокторингом - Платформу проведения элемента контроля определяет преподаватель - Время, длительности, количество слотов и распределение студентов по слотам определяет преподаватель и доводит до студентов - В время написания экзамена студенты обязаны включить камеры и демонстрацию экрана (всего экрана, а не отдельного окна). - лицо должно находиться в центре области обзора веб-камеры и занимать не менее 10% захватываемого камерой пространства на протяжении всего сеанса; - лицо должно быть освещено равномерно, источник освещения не должен быть направлен в камеру или освещать только одну половину лица; - волосы, одежда, руки или что-либо другое не должно закрывать область лица; - не разрешается надевать солнцезащитные очки, можно использовать очки только с прозрачными линзами; - сдающий должен находиться один в помещении во время сдачи экзамена с прокторингом; - сдающий обязан находиться в зоне видимости веб-камеры во время прохождения экзамена с прокторингом; - Если студент будет демонстрировать не весь экран, а только одно окно, то сначала последует предупреждение и просьба настроить демонстрацию всего экрана. В случае игнорирования предупреждения студент будет удален. - Проктор может попросить включить микрофон или показать рабочее место. Если вы не увидите сообщение проктора и не прореагируете на него, проктор продублирует свою просьбу голосом. - При технических неполадках студенты обязаны их фиксировать с помощью фотографии / скриншотов и отправить преподавателю. - Во время экзамена разрешается выйти из помещения один раз на не более чем 5 минут. Прежде чем покинуть помещение, студент должен в чате проинформировать проктора об этом и дождаться разрешения на выход. - Пройти тестирование можно только на компьютере и ноутбуке, не допускается сдача элемента контроля на планшете или телефоне. - От студентов требуется обеспечить стабильную работу Интернет-соединения. В случае необходимости студент может заранее обратиться в учебный офис и попросить забронировать компьютерный класс. - В случае нарушения правил проведения элемента контроля в дистанционной форме, результаты будут аннулированы
ДЗ
Мини-тесты
Если ваша дисциплина реализуется в формате онлайн: - Элемент контроля проводится с прокторингом - Платформу проведения элемента контроля определяет преподаватель - Время, длительности, количество слотов и распределение студентов по слотам определяет преподаватель и доводит до студентов - В время написания экзамена студенты обязаны включить камеры и демонстрацию экрана (всего экрана, а не отдельного окна). - лицо должно находиться в центре области обзора веб-камеры и занимать не менее 10% захватываемого камерой пространства на протяжении всего сеанса; - лицо должно быть освещено равномерно, источник освещения не должен быть направлен в камеру или освещать только одну половину лица; - волосы, одежда, руки или что-либо другое не должно закрывать область лица; - не разрешается надевать солнцезащитные очки, можно использовать очки только с прозрачными линзами; - сдающий должен находиться один в помещении во время сдачи экзамена с прокторингом; - сдающий обязан находиться в зоне видимости веб-камеры во время прохождения экзамена с прокторингом; - Если студент будет демонстрировать не весь экран, а только одно окно, то сначала последует предупреждение и просьба настроить демонстрацию всего экрана. В случае игнорирования предупреждения студент будет удален. - Проктор может попросить включить микрофон или показать рабочее место. Если вы не увидите сообщение проктора и не прореагируете на него, проктор продублирует свою просьбу голосом. - При технических неполадках студенты обязаны их фиксировать с помощью фотографии / скриншотов и отправить преподавателю. - Во время экзамена разрешается выйти из помещения один раз на не более чем 5 минут. Прежде чем покинуть помещение, студент должен в чате проинформировать проктора об этом и дождаться разрешения на выход. - Пройти тестирование можно только на компьютере и ноутбуке, не допускается сдача элемента контроля на планшете или телефоне. - От студентов требуется обеспечить стабильную работу Интернет-соединения. В случае необходимости студент может заранее обратиться в учебный офис и попросить забронировать компьютерный класс. - В случае нарушения правил проведения элемента контроля в дистанционной форме, результаты будут аннулированы
Работа на семинарах
Если ваша дисциплина реализуется в формате онлайн: - Элемент контроля проводится с прокторингом - Платформу проведения элемента контроля определяет преподаватель - Время, длительности, количество слотов и распределение студентов по слотам определяет преподаватель и доводит до студентов - В время написания экзамена студенты обязаны включить камеры и демонстрацию экрана (всего экрана, а не отдельного окна). - лицо должно находиться в центре области обзора веб-камеры и занимать не менее 10% захватываемого камерой пространства на протяжении всего сеанса; - лицо должно быть освещено равномерно, источник освещения не должен быть направлен в камеру или освещать только одну половину лица; - волосы, одежда, руки или что-либо другое не должно закрывать область лица; - не разрешается надевать солнцезащитные очки, можно использовать очки только с прозрачными линзами; - сдающий должен находиться один в помещении во время сдачи экзамена с прокторингом; - сдающий обязан находиться в зоне видимости веб-камеры во время прохождения экзамена с прокторингом; - Если студент будет демонстрировать не весь экран, а только одно окно, то сначала последует предупреждение и просьба настроить демонстрацию всего экрана. В случае игнорирования предупреждения студент будет удален. - Проктор может попросить включить микрофон или показать рабочее место. Если вы не увидите сообщение проктора и не прореагируете на него, проктор продублирует свою просьбу голосом. - При технических неполадках студенты обязаны их фиксировать с помощью фотографии / скриншотов и отправить преподавателю. - Во время экзамена разрешается выйти из помещения один раз на не более чем 5 минут. Прежде чем покинуть помещение, студент должен в чате проинформировать проктора об этом и дождаться разрешения на выход. - Пройти тестирование можно только на компьютере и ноутбуке, не допускается сдача элемента контроля на планшете или телефоне. - От студентов требуется обеспечить стабильную работу Интернет-соединения. В случае необходимости студент может заранее обратиться в учебный офис и попросить забронировать компьютерный класс. - В случае нарушения правил проведения элемента контроля в дистанционной форме, результаты будут аннулированы

Промежуточная аттестация

2023/2024 учебный год 4 модуль
0.25 * КР1 в формате НЭ 0.25 * КР2 в формате НЭ (рекомендуется вынести как экзамен на сессию) 0.15 * ДЗ (небольшие ДЗ, несколько за курс или работа на семинарах) 0.20 * мини-тесты на семинарах 0.15 * практическая работа на семинарах Итоговая формула: min(0.25 * КР1 + 0.25 * КР2 + 0.20 * мини-тесты + 0.15 * работа на семинарах + 0.15 * ДЗ, 8) В соответствии с п. 69 “Положения об организации промежуточной аттестации и текущего контроля успеваемости студентов” (ПОПАТКУСа) итоговая оценка студента за дисциплину-пререквизит (ДПР) к НЭ по АД не может быть больше 8 баллов. 9 или 10 за ДПР можно получить, сдав НЭ на 9 или 10 (см. раздел «Перезачет оценок» https://www.hse.ru/studyspravka/examsdataculture)

Программа дисциплины