Специалист по Data Science

Программа обучения

• Python для автоматизации и анализа данных 18 занятий

  • Введение в язык Python. Знакомство со средой программирования. Базовые операции. Интерпретация ошибок.
  • Строки и списки в Python.
  • Понятие управляющих конструкций. Условные операторы.
  • Циклы for и while.
  • Устройство функций в Python. Поиск ошибок в коде и отладка.
  • Итераторы, генераторы, генераторы списков. Рекурсия.
  • Работа с файлами. Продвинутая работа со словарями.
  • Библиотеки для хранения и работы с данными в табличном формате: pandas.
  • Сбор данных: web-scraping с BeautifulSoup.
  • Сбор данных: Selenium, работа с сервисами через API.
  • Объектно-ориентированное программирование. Классы.
  • Введение в numpy.
  • Введение в pandas.
  • Работы с пропущенными данными.
  • Визуализация для презентации данных: matplotlib. Основные виды графиков. Основные ошибки при создании визуализаций.
  • Создание интерактивных визуализаций: plotly.
  • Разведывательный анализ данных. Особенности исследования текста.

• SQL 5 занятий

  • Введение в  SQL. Основные блоки запросов. Типы данных.
  • Агрегационные функции и подзапросы.
  • Join'ы и их применение.
  • Оконные функции.
  • SQL в связке с Python.

• Математика для анализа данных 19 занятий

  Дискретная математика:

  • Множества и логика.
  • Комбинаторика и вероятность.
  • Неориентированные графы.
  • Ориентированные графы и алгоритмы на графах.

  Математический анализ:

  • Функции одной переменной, пределы, производные.
  • Касательные, критические точки, поиск минимумов и максимумов.
  • Интегралы, введение в вычисление интегралов.
  • Функции нескольких переменных, градиент, производная по направлению, линии уровня, касательная плоскости, критические точки, поиск минимумов и максимумов.
  • Оптимизационные задачи, лагранжиан и его геометрический смысл, нахождение минимума или максимума с заданными ограничениями.

  Линейная алгебра:

  • Системы линейных уравнений, матрицы, обратимость и невырожденность.
  • Определитель, обратная матрица.
  • Векторные пространства и подпространства, размерности, ранги матриц.
  • Линейные отображения и их матричное описание. Собственные значения и векторы, связь со спектром.
  • Билинейные и квадратичные формы. Скалярные произведения, углы и расстояния. Ортогонализация и QR-разложение. Линейные многообразия и линейные классификаторы, отступы.
  • Операторы в евклидовых пространствах. Сингулярное разложение (SVD).

  Теория вероятностей:

  • Пространство элементарных исходов. События. Вероятность и её свойства. Условная вероятность. Формула полной вероятности. Формула Байеса.
  • Дискретные случайные величины и их распределения. Независимость случайных величин. Распределение функции от дискретной случайной величины. Математическое ожидание и дисперсия.
  • Случайные величины, имеющие плотности. Математическое ожидание случайной величины, имеющей плотность. Равномерное, экспоненциальное, нормальное распределения.
  • Функция распределения. Распределение функции от случайной величины, имеющей плотность. Многомерные случайные величины. Ковариация и корреляция.
  • Неравенства концентрации (неравенства Маркова и Чебышёва). Распределение суммы случайных величин. Закон больших чисел. Центральная предельная теорема.

• Алгоритмы и структуры данных 10 занятий

  • Асимптотический анализ.
  • Базовые структуры данных.
  • Сортировки.
  • Бинарные деревья поиска.
  • Хеш-таблицы.
  • Алгоритмы на графах.
  • Алгоритмы на строках.
  • Динамическое программирование.

• Прикладная статистика для машинного обучения9 занятий

  Теория оценивания. Оценивание параметров распределения. Метод моментов и метод максимального правдоподобия. Сравнение оценок.

  • Теория оценивания. Оценивание характеристик распределения. Метод Монте-Карло.
  • Доверительное оценивание. Построение доверительных интервалов. Доверительные интервалы в нормальной модели. Бутстрэп.
  • Проверка гипотез. Введение в проверку гипотез. Критерии согласия.
  • Проверка гипотез. Критерии однородности и A/B тестирование I.
  • Проверка гипотез. Критерии однородности и A/B тестирование II.
  • Линейные модели со статистической точки зрения I. Исследование зависимости признаков. Ковариация и корреляция.
  • Линейные модели со статистической точки зрения II. Метод наименьших квадратов (МНК). Статистические свойства оценок МНК.
  • Временные ряды. Модель SARIMA и ее подгонка.

• Машинное обучение14 занятий

  • Введение и основные задачи.
  • Линейная регрессия.
  • Градиентные методы обучения.
  • Линейная классификация и метрики качества классификации.
  • Логистическая регрессия и SVM.
  • Многоклассовая классификация, работа с категориальными признаками и текстами.
  • Решающие деревья.
  • Бэггинг и случайные леса.
  • Градиентный бустинг.
  • Градиентный бустинг: имплементации.
  • Отбор признаков и понижение размерности.
  • Кластеризация.
  • Поиск аномалий.
  • Рекомендательные системы.
  • Ранжирование.

• Промышленное машинное обучение на Spark 8 занятий

  • Введение: как работают и где находятся большие данные.
  • Среда Spark. Spark RDD / Spark SQL.
  • Advanced SQL.
  • Spark ML / Spark TimeSeries.
  • Advanced ML и проверка результатов качества моделей.
  • Spark GraphX /Spark Streaming.
  • Экосистема Spark (MLFlow, AirFlow,H2O AutoML).
  • Spark в архитектуре проекта / Spark CI/CD.

• Глубинное обучение10 занятий

  • Введение в глубокое обучение. От линейной регрессии к нейронной сети. Смотрим на базовые возможности tensorflow/pytorch, собираем первую нейросеть.
  • Обучение нейронных сетей. Алгоритм обратного распространения ошибки.
  • Свёрточные нейронные сети. Классификация изображений.
  • Оптимизация. Эвристики для обучения нейронных сетей. Нормализация по батчам, инициализация и др.
  • Архитектуры свёрточных сетей. Что видят свёрточные сети. Transfer learning.
  • Обзор задач компьютерного зрения. Детекция, сегментация, перенос стиля, распознавание лиц.
  • Автокодировщики и генеративные модели (Generative Adversarial Networks).
  • Глубокое обучение для NLP. Векторные представления текстов: word2vec, fasttext.
  • Рекуррентные нейронные сети, работа с последовательностями. ELMO-эммбеддинги.
  • Sequence2sequence, архитектуры с механизмом внимания. Трансформеры. BERT.

• Прикладные задачи анализа данных 10 занятий

  • Введение в цифровую обработку сигналов и классификация звуков.
  • Автоматическое распознавание речи.
  • Преобразование текста в речь.
  • Введение в обработку текстов и классификация текстов.
  • Языковое моделирование.
  • Машинный перевод.
  • Распознавание лиц и метрическое обучение.
  • Семантическая сегментация изображений.
  • Детекция объектов на изображениях.
  • Глубинное обучение в производстве: обслуживание и ускорение.

• Финальный проект