Бакалавриат
2021/2022
Теория и практика онлайн-экспериментов
Статус:
Курс по выбору (Прикладная математика и информатика)
Направление:
01.03.02. Прикладная математика и информатика
Где читается:
Факультет компьютерных наук
Когда читается:
4-й курс, 3 модуль
Формат изучения:
без онлайн-курса
Охват аудитории:
для всех кампусов НИУ ВШЭ
Язык:
русский
Кредиты:
4
Контактные часы:
44
Программа дисциплины
Аннотация
В рамках данного курса студенты узнают о том, что такое онлайн-эксперименты, зачем их проводить, как их проводить, а также детально пройдут теорию, которая стоит за онлайн-экспериментами. На курсе мы постараемся обсудить интуицию, которая стоит за всеми статистическими методами, используемыми в А/Б тестах и других задачах, где мы пытаемся сравнить две сущности.
Цель освоения дисциплины
- Знать и понимать статистические основы стоящие за онлайн-экспериментами
- Знать и понимать что такое онлайн-эксперименты
- Знать, понимать как ускорить эксперимент и уметь их ускорять
Планируемые результаты обучения
- Уметь проводить онлайн эксперименты
- Уметь проводить эксперимент в нестандартной постановке
Содержание учебной дисциплины
- Введение: Что такое А/Б тестирование? Зачем оно нужно? История возникновения
- Основы статистики: точечное оценивание, ОМП, экспоненциальное семейство распределений, ЦПТ и ЗБЧ, доверительные интервалы, plug-in оценивание.
- Основы статистики и статистические критерии. Статистическая гипотеза, уровень значимости и мощность теста, критическая область. Тест Стьюдента, тест Манна-Уитни. Критерий отношения правдоподобия. Бутстреп.
- Метрики в А/B-тестировании. Целевая метрика. Иерархия метрик. Свойства метрик. Вспомогательные и контрольные метрики. Разделение на группы
- MDE, sample size Минимальный детектируемый эффект. Необходимый размер групп для проведения эксперимента. Повышения чувствительности тестов.
- Стратификация Популяционное среднее, стратифицированное среднее. Стратифицированное семплирование. Пост стратификация.
- CUPED Controlled-experiment Using Pre-Experiment Data
- Ratio метрики. Дельта метод. Линеаризация.
- Множественная проверка гипотез. Поправка Бонферрони, метод Холма, метод Бенджамини-Хохберга. Параллельный запуск экспериментов.
- Последовательное тестирование Peeking problem. Критерий Вальда
- Что делать когда аб тесты провести нельзя? Switchback тестирование и метод синтетического контроля
Элементы контроля
- Домашнее заданиеСостоит из 6 задач по темам 2-3 лекции, то есть по построению оценок параметров, доверительных интервалов и проведению статистических тестов.
- Контрольная работаКР проводится в письменной форме в Zoom. Камера должна быть включена, экран должен быть записан. Во время написания пользоваться любыми материалами запрещено.
- ЭкзаменЭкзамен проводится в письменной форме в Zoom. Камера должна быть включена, экран должен быть записан. Во время написания пользоваться любыми материалами запрещено.
Промежуточная аттестация
- 2021/2022 учебный год 3 модуль0.2 * Экзамен + 0.4 * Домашнее задание + 0.4 * Контрольная работа
Список литературы
Рекомендуемая основная литература
- Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2008). Controlled experiments on the web: survey and practical guide. Data Mining and Knowledge Discovery ; Volume 18, Issue 1, Page 140-181 ; ISSN 1384-5810 1573-756X. https://doi.org/10.1007/s10618-008-0114-1
Рекомендуемая дополнительная литература
- Burk, S. (2006). A Better Statistical Method for A/B Testing in Marketing Campaigns. Marketing Bulletin, 17, 1.