Метод предсказания будущего значения онлайн метрик в А/В тестировании и его расширения

А/В тестирование - наиболее распространенный способ оценивания качества изменений в работе web-сервисов, основной идеей которого является разбиение пользователей на группы, которые наблюдают различные версии сервиса, и дальнейшее сравнение онлайн метрик этих групп для определения лучшей версии. Зачастую важной проблемой при проведении А/В экспериментов для получения статистически значимых результатов является потребность в проведении длительных экспериментов, которые могут существенно навредить сервису. Основной задачей данной работы является подробное изучение одного из методов увеличения чувствительности (задачи получения статистически более значимых результатов) в А/В тестировании, который основан на предсказании будущего значения онлайн метрик. В данном подходе для каждого пользователя значение метрики предсказывается за больший временной промежуток, чем на самом деле пользователь проводит в эксперименте. Цель работы заключается в изучении эффективности этого метода в повышении чувствительности, а также ее взаимосвязи с качеством предсказания. В работе также предлагаются и исследуются модификации метода: предсказание с помощью квантильной регрессии и изменение целевой переменной для предсказания. Наконец, важной частью данного исследования является анализ применения метода на практике: его использование на реальных данных, а также изучение признаков, влияющих на качество предсказания. В результате проведения экспериментов на синтетических данных показана монотонная зависимость между качеством предсказания и чувствительностью метрики, приведены результаты о значимом увеличении чувствительности метода для различных моделей поведения пользователя. Также, на наборе из 112 реальных А/В экспериментов, оценивающих качество изменений в сервисах компании Яндекс, проводится сравнительный анализ с классическим подходом А/В тестирования, в рамках которого показана способность изучаемого метода увеличивать чувствительность на отдельных экспериментах.