Теория и практика онлайн-экспериментов

Бакалавриат 2022/2023

Статус: Курс по выбору (Прикладная математика и информатика)

Направление: 01.03.02. Прикладная математика и информатика

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Когда читается: 4-й курс, 3 модуль

Формат изучения: без онлайн-курса

Охват аудитории: для всех кампусов НИУ ВШЭ

Преподаватели: Багиян Нерсес Карленович, Попов Даниил Викторович

Язык: русский

Кредиты: 4

Контактные часы: 44

Полная версия программы учебной дисциплины

Аннотация

В рамках данного курса студенты узнают о том, что такое онлайн-эксперименты, зачем их проводить, как их проводить, а также детально пройдут теорию, которая стоит за онлайн-экспериментами. На курсе мы постараемся обсудить интуицию, которая стоит за всеми статистическими методами, используемыми в А/Б тестах и других задачах, где мы пытаемся сравнить две сущности.

Цель освоения дисциплины

Знать и понимать статистические основы стоящие за онлайн-экспериментами
Знать и понимать что такое онлайн-эксперименты
Знать, понимать как ускорить эксперимент и уметь их ускорять

Планируемые результаты обучения

Уметь проводить онлайн эксперименты
Уметь проводить эксперимент в нестандартной постановке

Содержание учебной дисциплины

Введение: Что такое А/Б тестирование? Зачем оно нужно? История возникновения
Основы статистики: точечное оценивание, ОМП, экспоненциальное семейство распределений, ЦПТ и ЗБЧ, доверительные интервалы, plug-in оценивание.
Основы статистики и статистические критерии. Статистическая гипотеза, уровень значимости и мощность теста, критическая область. Тест Стьюдента, тест Манна-Уитни. Критерий отношения правдоподобия. Бутстреп.
Метрики в А/B-тестировании. Целевая метрика. Иерархия метрик. Свойства метрик. Вспомогательные и контрольные метрики. Разделение на группы
MDE, sample size Минимальный детектируемый эффект. Необходимый размер групп для проведения эксперимента. Повышения чувствительности тестов.
Стратификация Популяционное среднее, стратифицированное среднее. Стратифицированное семплирование. Пост стратификация.
CUPED Controlled-experiment Using Pre-Experiment Data
Ratio метрики. Дельта метод. Линеаризация.
Множественная проверка гипотез. Поправка Бонферрони, метод Холма, метод Бенджамини-Хохберга. Параллельный запуск экспериментов.
Последовательное тестирование Peeking problem. Критерий Вальда
Что делать когда аб тесты провести нельзя? Switchback тестирование и метод синтетического контроля

Элементы контроля

Экзамен
Экзамен проводится в письменной форме в Zoom. Камера должна быть включена, экран должен быть записан. Во время написания пользоваться любыми материалами запрещено.
Домашнее задание
Состоит из 6 задач по темам 2-3 лекции, то есть по построению оценок параметров, доверительных интервалов и проведению статистических тестов.
Контрольная работа
КР проводится в письменной форме в Zoom. Камера должна быть включена, экран должен быть записан. Во время написания пользоваться любыми материалами запрещено.

Промежуточная аттестация

2022/2023 учебный год 3 модуль
0.4 * Контрольная работа + 0.2 * Экзамен + 0.4 * Домашнее задание

Программа дисциплины