2026/2027

Онлайн-эксперименты: методы и технологии

Статус: Маго-лего

Кто читает: Департамент больших данных и информационного поиска

Где читается: Факультет компьютерных наук

Охват аудитории: для своего кампуса

Язык: русский

Кредиты: 3

Контактные часы: 28

Программа дисциплины

Аннотация

Онлайн-эксперименты: методы и технологии представляет собой специализированную дисциплину, направленную на освоение современных подходов к проведению и анализу цифровых экспериментов в маркетинге. Студенты познакомятся с методологией классических A/B-тестов и квази-экспериментальных дизайнов (DID, PSM, RDD, SCM, IV), научатся проектировать исследования, управлять выборкой и минимизировать систематические ошибки. Основное внимание уделяется практической работе с аналитическими инструментами на базе Python и SQL, трекингу метрик, интерпретации результатов и формированию управленческих рекомендаций на основе полученных данных.

Цель освоения дисциплины

• В результате освоения дисциплины слушатели смогут понимать методологические принципы онлайн-экспериментов и квази-экспериментальных методов в маркетинге, проектировать корректный дизайн исследований, обосновывать выбор оптимальных методик и интерпретировать полученные результаты для принятия обоснованных бизнес-решений.

Планируемые результаты обучения

• Различать классические A/B-тесты и квази-экспериментальные методики в маркетинговых исследованиях
• Описывать преимущества и ограничения каждого подхода к оценке воздействия
• Применять методы Difference-in-Difference, Propensity Score Matching, Regression Discontinuity Design, Synthetic Control Method и инструментальных переменных для анализа эффективности маркетинговых инициатив
• Использовать аналитические инструменты на базе Python и SQL для подготовки и обработки данных экспериментов
• Формулировать и представлять интерпретацию результатов исследования для обоснования управленческих решений

Содержание учебной дисциплины

• Роль экспериментальных исследований в принятии управленческих решений
• Теоретические основы и применение показателей эффективности
• Экономические и организационные аспекты проведения A/B-тестов
• Статистические методы классического A/B-тестирования
• Влияние сетевых эффектов на результаты экспериментов
• Техники снижения дисперсии: стратификация и CUPED
• Квази‑экспериментальные методы: DID, SCM, PSM, IPW, IV, RDD и «многорукие бандиты»

Элементы контроля

• Домашнее задание 2
  Применение метода Difference-in-Difference к заданному набору данных с метриками до и после маркетинговой акции.
• Экзамен
  Защита итогового группового домашнего задания (ДЗ 1-2 в едином документе/презентации) с выводами по данным. В ходе финальной защиты группы представляют дизайн проведённого исследования, демонстрируют результаты анализа и обосновывают интерпретацию данных для поддержки управленческих решений. Продолжительность защиты - до 15 минут на группу.
• Домашнее задание 1
  Разработать и провести классический A/B-тест на демо-наборе данных.
• Проект
  Работа выполняется индивидуально и представляет собой проектное задание. Цель: спроектировать устойчивую систему оценки эффекта, которая работает даже при сетевых эффектах, смещённых выборках и нехватке трафика. Студент должен показать владение и классическими, и квази‑экспериментальными методами, а также умение выбирать метод под ограничения бизнеса.

Промежуточная аттестация

• 2026/2027 1st module
  0.25 * Домашнее задание 1 + 0.25 * Домашнее задание 2 + 0.3 * Экзамен + 0.2 * Проект

Список литературы

Рекомендуемая основная литература

• Field experiments : design, analysis, and interpretation, Gerber, A. S., 2012
• Kohavi, R., & Thomke, S. (2017). The Surprising Power of Online Experiments: Getting the Most out of A/B and Other Controlled Tests. Harvard Business Review, 95(5), 74–82.
• Mostly harmless econometrics : an empiricist's companion, Angrist, J. D., 2009
• Shepherd, B. E., Jarrett, R., & Fu, L. (2016). Causal Inference for Statistics, Social, and Biomedical Sciences: An Introduction. Biometrics, 72(4), 1387–1388. https://doi.org/10.1111/biom.12615

Рекомендуемая дополнительная литература

• Imai, K., King, G., & Stuart, E. (2008). Misunderstandings between Experimentalists and Observationalists about Causal Inference. https://doi.org/10.1111/j.1467-985X.2007.00527.x
• Shadish, W. R. . (DE-588)131609661, (DE-576)167219103. (2002). Experimental and quasi-experimental designs for generalized causal inference / William R. Shadish; Thomas D. Cook; Donald T. Campbell. Boston [u.a.]: Houghton Mifflin. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edswao&AN=edswao.095715274

Авторы

• Ахмедова Гюнай Интигам кызы
• Паршина Анастасия Алексеевна