Современные методы анализа данных с применением ИИ

Программа обучения

• Тема 1. Среда разработки, первичный обзор данных3 ак.часа

  1. Узнаете, как развернуть и настроить рабочую среду для анализа данных.
  2. Познакомитесь с тем, как формулировать прикладные ML‑задачи и отличать основные типы постановок: классификацию, регрессию и кластеризацию.
  3. Освоите первичный обзор табличных данных: определение типов признаков, расчёт базовых сводных метрик и первичную визуальную проверку качества данных.
  4. Узнаете, как корректно формулировать и фиксировать гипотезы по итогам первичного анализа, чтобы они были проверяемыми и полезными для дальнейших шагов.
  5. Познакомитесь с подходом «вайб‑кодинга» и научитесь использовать ИИ‑ассистентов для ускорения типовых операций с обязательной проверкой корректности результата.
  6. Освоите практический мини‑кейс, где закрепите настройку среды, первичный анализ и применение ИИ‑помощника в работе с данными.

• Тема 2. Предобработка данных3 ак.часа

  1.   Узнаете базовые стратегии очистки данных и критерии выбора подхода (что чистить, зачем и как это влияет на модель и итоговые метрики).
  2. Освоите методы обработки пропусков и некорректных значений.
  3. Научитесь выполнять стандартизацию и нормализацию данных, кодировать категориальные признаки.
  4. Освоите простые приёмы генерации признаков.
  5. Познакомитесь с тем, как применять ИИ‑инструменты для ускорения предобработки и конструирования признаков (идеи признаков, шаблоны преобразований, помощь в отборе) при обязательной проверке корректности и воспроизводимости.

• Тема 3. Базовые модели, оценка качества и контроль переобучения6 ак.часов

  1. Познакомитесь с базовыми моделями машинного обучения (линейная и логистическая регрессия), их принципом работы и типичными сценариями применения.
  2. Освоите ключевые метрики качества для регрессии и классификации и научитесь выбирать метрику под цель задачи.
  3. Узнаете, как интерпретировать матрицу ошибок и использовать её для понимания сильных и слабых сторон классификационной модели.
  4. Освоите методы выявления/контроля переобучения (кросс‑валидация, регуляризация, отбор признаков), чтобы оценка качества была корректной и воспроизводимой.

• Тема 4. Деревья решений и настройка гиперпараметров6 ак.часов

  1. Познакомитесь с устройством деревьев решений и тем, как применять их в задачах классификации и регрессии на табличных данных.
  2. Узнаете про ансамблевые методы на основе деревьев, их преимущества по устойчивости и точности по сравнению с одиночным деревом.
  3. Освоите настройку гиперпараметров, чтобы улучшать качество модели и контролировать сложность.
  4. Освоите применение кросс‑валидации при подборе гиперпараметров и научитесь получать более надёжные оценки качества, снижая риск переобучения при переходе к более сильным моделям.

• Тема 5. Продвинутые ансамблевые методы3 ак.часа

  1. Познакомитесь с концепцией градиентного бустинга: как он устроен, почему считается одним из самых сильных подходов для табличных данных и в чём его преимущества.
  2. Узнаете различия между градиентным бустингом и Random Forest ("случайный лес") и научитесь выбирать подход под задачу.
  3. Освоите базовую настройку моделей CatBoost / XGBoost / LightGBM: ключевые параметры и их влияние на точность и стабильность результата.
  4. Освоите методы контроля переобучения для градиентных бустингов и принципы корректной валидации, чтобы получать надёжные метрики в реальных кейсах.

• Тема 6. Обучение без учителя: кластеризация и снижение размерности3 ак.часа

  1. Познакомитесь с постановкой задач обучения без учителя и поймёте, как искать структуру в данных, когда нет целевой переменной и «правильных ответов».
  2. Освоите основные методы кластеризации: как они работают, чем отличаются и в каких случаях каждый подход уместен.
  3. Узнаете, как выбирать число кластеров и оценивать качество разбиения, а также как проверять адекватность и интерпретируемость полученных сегментов.
  4. Освоите методы снижения размерности, как инструменты разведочного анализа и визуализации, чтобы выявлять закономерности в данных.
  5. Практикум.

• Тема 7. Основы нейронных сетей и их применение в анализе данных9 ак.часов

  1. Познакомитесь с библиотекой PyTorch и её базовыми возможностями для построения и обучения нейронных сетей.
  2. Узнаете ключевые элементы нейросети: слои, веса, функции активации и то, как из них собирается модель для задач анализа данных.
  3. Освоите способы выявления переобучения в нейронных сетях по динамике метрик и поведению на обучающей и валидационной выборках.
  4. Освоите методы контроля переобучения и познакомитесь с тем, где нейросети дают преимущества по сравнению с классическими алгоритмами, включая вводные идеи глубокого обучения и обучения с подкреплением.

• Тема 8. Трансферное обучение и тонкая настройка3 ак.часа

  1. Познакомитесь с понятием предобученных моделей и трансферного обучения и узнаете, как они помогают быстрее получать качественные модели при меньших затратах данных и вычислительных ресурсов.
  2. Узнаете основные сценарии применения предобученных моделей: классификация изображений, обработка естественного языка и решение задач на табличных данных.
  3. Освоите принципы выбора подходящей предобученной архитектуры под задачу: размер и сложность модели, требования к данным, а также ограничения по времени обучения и доступным вычислительным ресурсам.
  4. Освоите методы тонкой настройки и критерии оценки пригодности модели: как дообучать модель на своих данных, проверять качество и адаптировать решение под практические кейсы.

• Защита итогового проекта4 ак.часа