Теория и практика онлайн-экспериментов

2025/2026

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс обязательный

Когда читается:

2-й курс, 1 модуль

Преподаватель

Паточенко Евгений Анатольевич

Программа дисциплины

Аннотация

В рамках данного курса студенты узнают о том, что такое онлайн-эксперименты, зачем их проводить, как их проводить, а также детально пройдут теорию, которая стоит за онлайн-экспериментами. На курсе мы постараемся обсудить интуицию, которая стоит за всеми статистическими методами, используемыми в А/Б тестах и других задачах, где мы пытаемся сравнить две сущности.

Цель освоения дисциплины

• Знать и понимать статистические основы стоящие за онлайн-экспериментами
• Знать и понимать что такое онлайн-эксперименты
• Знать, понимать как ускорить эксперимент и уметь их ускорять

Планируемые результаты обучения

• Иметь представление метрике процесса, метрики проекта, метрики продукта
• Уметь выразить бизнес-цели через метрики продукта.
• Студент ориентируется в существующих моделях монетизации приложений и умеет рассчитывать основные метрики продукта
• Понимать метрики продукта и как работать с аналитическими инструментами
• Умеет выполнять статистические тесты анализа временных рядов
• - Обсудим, как выбирать метрики
• Проектирует дизайн экспериментов для образовательного продукта, выбирает варианты экспериментов, определяет контрольные переменные

Содержание учебной дисциплины

• Лекция. Введение в эксперименты, дизайн экспериментов и связь с гипотезами
• Семинар. Введение в эксперименты, дизайн экспериментов и связь с гипотезами
• Лекция. Метрики продукта, роста и эксперимента. Что почему и как?
• Семинар. Метрики продукта, роста и эксперимента. Что почему и как?
• Лекция. Подбор групп, статистические тесты, что такое хорошая сплит система.
• Семинар. Подбор групп, статистические тесты, что такое хорошая сплит система.
• Лекция. Прокси метрики и алгоритм их подбора, разные подходы к дизайну сплит систем.
• Семинар. Прокси метрики и алгоритм их подбора, разные подходы к дизайну сплит систем.
• Лекция. Расчет размера выборки для t-test. Подход к расчету через симуляцию.
• Семинар. Расчет размера выборки для t-test. Подход к расчету через симуляцию.
• Лекция. Ratio-метрики и проблема зависимых данных в t-test. Оценка дисперсии и связь с дельта-методом.
• Семинар. Ratio-метрики и проблема зависимых данных в t-test. Оценка дисперсии и связь с дельта-методом.
• Лекция. Линеаризация. Оценка экспериментов с квантилями.
• Финальный проект дисциплины

Элементы контроля

• Практические задания к разделам (урокам) 1-14.
  7 практических задач: 2 урок - 1 задание, 4 урок - 1 задание, 6 урок - 1 задание, 8 урок - 1 задание, 10 урок - 1 задание, 12 урок - 1 задание, 14 урок - 1 задание.
• Итоговое задание модуля.
  15 урок - 1 комплексная практическая задача.

Промежуточная аттестация

• 2025/2026 3rd module
  Итоговая оценка соответствует сумме баллов за выполненные задания на LMS karpov.courses, приведенные к 10-балльной шкале (см. таблицу). Для каждого задания на LMS-платформе karpov.courses определён дедлайн в 14 календарных дней, после наступления которого студенту начисляется 70% от итогового балла за задание.

Список литературы

Рекомендуемая основная литература

• SQL. Полное руководство, Грофф, Дж., 2018

Рекомендуемая дополнительная литература

• Построение запросов и программирование на SQL : учеб. пособие для вузов, Маркин, А. В., 2008

Авторы

• Ахмедова Гюнай Интигам кызы