Бизнес ищет не сложносочиненных программистов в свитерах с оленями

Серия вебинаров «Профессия экономиста: от студента до эксперта», которые проводит онлайн-магистратура «Экономический анализ» представляет вебинар на тему «Применение эконометрики для принятия эффективных решений в бизнесе современных компаний». Спикеры: выпускница факультета экономических наук, Екатерина Трутнева, руководитель отдела драйверов роста департамента маркетинга и коммуникации Сбера и  Елена Артёмова, директор отдела эконометрического моделирования и прогнозирования, dentsu. Модератор - академический руководитель программы Экономический анализ д.э.н. Елена Вакуленко

Цель сегодняшнего вебинара -- показать студентам и абитуриентам, выпускникам, как эконометрику можно использовать в бизнесе. Многие боятся этого сложного предмета и считают, что не нужно вкладываться в него, его потом негде применять. Так вот, всем, кто сейчас страдает, изучая азы этой науки или продвигаясь в ней дальше - сегодня вы узнаете, какой это на самом деле замечательный инструментарий, что с помощью него можно делать. Наши сегодняшние спикеры поделятся своими знаниями в этой области.

Екатерина Трутнева: Стоит сказать пару слов о себе, почему я имею право утверждать, что статистика, эконометрика и прочие прекрасные науки, который вы сейчас изучаете или вот-вот изучите, крайне полезны бизнесу.

Тут деликатно написано, что мой опыт в коммуникациях и стратегическом планировании более 15 лет. Это сделано, наверное, из какого-то гуманного желания несколько скрыть мой возраст. На самом деле первый раз в жизни с эконометрикой и со статистикой исключительно для бизнес-задач я столкнулась, наверное, в 2001 году, как раз когда я первый раз стала работать в рекламном агентстве. Мы столкнулись с проблемой, что нам нужно было понять, как же маркетинговые инструменты, рекламные инструменты влияют на продажи. С тех пор мне это очень сильно понравилось, и я погрузилась в эту тему. По сути, последние много лет только этим я и занимаюсь: сначала в агентствах, потом в консалтинговых компаниях, а потом так случилось, что я оказалась в Сбере. 

Собственно, чем занимается подразделение Сбера, которое я представляю. Тут рассказывать о самом Сбере, наверное, несколько странно: мы все прекрасно знаем, что это за банк. 180 лет он существует и оказывает прекрасные услуги своим частным клиентам и юридическим лицам. Непосредственно отдел, который я представляю, занимается моделированием драйверов роста. Тут написано драйверов роста Сбера, это звучит очень внушительно, но на самом деле мы называемся «Отдел моделирование драйверов роста» и точка. Наша задача состоит в том, чтобы анализировать различные бизнес-показатели и делать выводы о том, какие именно рычаги на эти бизнес-показатели повлияли. В нашем отделе есть три основных направления деятельности, каждое из них очень тесно связано и с математикой, и со статистикой, и с работой с большими данными, и с не очень большими данными. 

Первый блок, наверное, самый родной для меня, поскольку я сама этим очень много занималась.

Именно об этом будет наш основной рассказ сейчас — это определение эффективности и разработка моделей Marketing Mix. Что это за модель, мы сейчас подробно расскажем, но основная задача этого направления деятельности отдела моделирования драйверов роста состоит в определении эффекта рекламной активности, потому что, действительно, очень часто возникает вопрос: «А, собственно, сколько принесла реклама банку, сколько принесла реклама какой-то другой компании, например, из этой системы, были ли инвестиции сделаны в эту рекламу эффективно?». Это основная задача подразделения в рамках нашего отдела. Моделирование спроса — очень интересное направление на стыке макроэкономического анализа и передовых статистических методов машинного обучения, потому что основная задача этого подразделения состоит в том, чтобы определять, какие факторы могут повлиять на ставку, какими должны быть цены на продукты Сбербанка, чтобы эти цены были выгодны банку, чтобы они были выгодны клиентам. В общем это тоже модели, которые, в том числе описывают как, например, формируется цены конкурентов и как, например, цены Сбербанка взаимосвязаны с ценами конкурентов. В общем очень интересное и важное направление.

И моя недавняя новая любовь — это веб-аналитика. На самом деле это целый мир, очень интересный, очень специфический. Конечно, честно скажу, я не была до недавних времен в эту тему сильно погружена, но теперь должна признать, что это очень интересно. Это так интересно потому, что это работа с индивидуальными данными, то есть данными о каждой cookie, о каждом человеке. Это сквозная аналитика, это так называемая unit-экономика. Я не знаю, сталкивались ли вы с этим понятием в жизни, но это очень интересный процесс, когда вы берете весь объем рекламного трафика, который контактировал с вашими кампаниями, совмещаете их внутри с банковской статистикой и смотрите на конкретного человека, которого привела эта реклама или, по крайней мере, которого мы думаем, что привела реклама. Тут тоже есть масса подводных камней, например, насколько этот человек много денег принес. Сюда же входят всякие вещи, связанные с построением очень красивых дашбордов, поддержанием инфраструктуры для создания сложных моделей атрибуции алгоритмического ремаркетинга и так далее. 

Далее мы подробнее сфокусируемся на отдельных аспектах этой деятельности.  

Елена Артёмова: Я работаю в dentsu — это огромный рекламный холдинг, международная компания.

Я руковожу отделом эконометрического моделирования и прогнозирования. Я пришла в рекламный бизнес в 2000 году, очень давно, и сначала работала в отделе планирования рекламы, потому что отдела эконометрики не было, и фактически на моих глазах, как говорится, вот этими вот руками мы создавали отделы аналитики, отделы эконометрики в рекламных группах. Сейчас это норма, это фактически гигиена бизнеса. 

По отношению ко всему рекламному миру рынку наш отдел относительно молод, но уже те сервисы, которые мы оказываем бизнесу, действительно являются гигиеническими, то есть многие компании без эконометрики в принципе не живут, не планируют свою рекламную деятельность, не могут точно рассчитать, какие деньги куда нужно потратить. Рекламные бюджеты достаточно большие, и очень хочется добиваться достаточно серьезной точности в момент, когда мы их планируем. Вот такие задачки приходят к нам в отдел, и я сегодня рада буду про это все рассказать вместе с Катей. Мы принесли живые, настоящие кейсы, которыми мы обязательно поделимся. 

Несколько слов о том, что представляет собой dentsu: мы достаточно взрослая компания, основанная в прошлом веке, у нас штаб-квартира японская.

Мы достаточно уникальны, потому что в основном те рекламные холдинги, которые работают в России, имеют штаб-квартиры в Европе, это более традиционные холдинги. У нас все весело: очень много офисов, мы представлены в 145 странах в мире, конечно же, есть в России, я вот в России, и в мире у нас больше, чем 56 тысяч сотрудников. В России, конечно, немногим меньше — нас всего полторы тысячи. Это на самом деле достаточно много: мы очень крупные, мы группа компаний, вот эти представленные на вашем экране в кружочке логотипы — это все компании, которые входят в наш холдинг. Это частично сервисные компании, которые непосредственно обслуживают клиентов, и частично компании, который продуцируют непосредственно какой-то продукт, то есть, например, Amnet занимаются закупками в программатике — это относится к digital компаниям. Posterscope — это компания, которая обслуживает наружную рекламу и отвечает за закупки. И очень много других компаний. Мы традиционно номер один в digital, то есть у нас достаточно динамичная компания, хорошо развивающаяся, с высокими оборотами, и по закупкам мы где-то на первом или на втором месте, в зависимости от рейтинга — мы очень большие.

Что в общем мы делаем для наших клиентов: в первую очередь, мы отвечаем за рекламные стратегии, то есть мы пишем стратегии, непосредственно стратегический продукт — это и медийные стратегии, и коммуникационные, то есть здесь есть место креативной деятельности.

Конечно же, когда мы какой-то креатив придумали, какие-то идеи хотим продвинуть, то естественно для этого нужны деньги. И вот когда деньги попадают в руки очумелых рекламщиков, очень хочется не просто их тратить, а тратить с умом. Поэтому при планировании у нас есть такая функция, как постоянная оптимизация компании. Мы оптимизируем, основываясь на чем-то, соответственно на данных. Когда это происходит, есть шаг, когда мы делаем оценку эффективности, и как раз в этой функции заложена работа моего департамента.

Конечно же, как холдинг мы занимаемся закупкой рекламного времени, рекламного инвентаря во всех медиа каналах. Мы, конечно же, не просто покупаем рекламные ролики на телевидение, но и разрабатываем какие-то специальные проекты, и даже создаем контент. Мы фактически единственная рекламная группа, у которых есть контентные решения, то есть мы покупаем права и привозим программный продукт, который транслируется на телевидение и в digital сюда, в Россию, то есть это покупка лицензии, адаптация. 

Индустрия очень креативная, и, хотя мы сегодня рассказываем только про цифры, как посчитать, как оценить эффективность, но в рекламном агентстве достаточно широкий спектр задач, которые можно решать. Поэтому мы в агентстве ждем абсолютно разных людей: и которые больше склонны креативу, и которые больше склонны именно к деятельности с математикой и со статистикой, о чем как раз сегодня наш вебинар. 

Последний блок, которым мы в агентстве занимаемся, это в том числе веб-аналитика, digital инструменты, это E-Com, то есть мы помогаем брендам продаваться онлайн. И, конечно же, работаем с разными данными, потому что без того, чтобы пощупать, как все на деле, невозможно выяснить, какую рекомендацию мы можем давать клиентам для того, чтобы их будущая деятельность была как можно более эффективна. Вот, собственно, в нашей с Екатериной работе очень широко применяются методы из классической статистики, о чем мы как раз хотим рассказать сегодня. 

Екатерина Трутнева: Итак, собственно, что за метод такой. Как я уже сказала, несмотря на то что и Лена, и я занимаемся не только этим подходом, надо сказать, что он один из самых легендарных. Существует он, наверное, уже более 100 лет, потому что когда я читала историю этого вопроса, то я читала о том, что первые модели в этом жанре были построены еще чуть ли не во времена Великой депрессии. Были они сделаны в рекламном агентстве. Конечно, рекламное агентство — это очень инновационная история, я бы так сказала. Со временем этот метод получил название Marketing Mix Modeling. 

Собственно, в чем тут фишка. На самом деле все очень просто — это подход, который помогает с помощью эконометрических методов определять влияние элементов маркетинга на продажи, то есть все прямо совсем просто. Когда мы говорим о Marketing Mix Modeling, мы постоянно думаем о 4P.

Почему мы думаем о четырех P? Казалось бы, вполне известная и всем знакомая концепция, я уверена, что вам, наверное, ее в школе рассказывали, так что никого ей не удивишь. Чем 4P важны для нас? Тем, что, по сути, 4P определяют тот самый список факторов, который может влиять на продажи. Естественно, он задает только фреймворк, но конкретные факторы, конкретные показатели, которые можно оцифровать, которые действительно могут оказать влияния — это уже отдельная, дополнительная работа, с которой нужно детально разбираться. По сути, 4P — это некоторая подсказка для нас, когда мы собираем данные для того, чтобы получить хорошую Marketing Mix Model, а уже дальше с этими данными мы работаем с помощью эконометрики.

Итак, собственно, напомню для тех, кто, может быть, уже так давно об этом знал, что подзабыл, что у нас в принципе входит в эти 4P.

Понятно, что входит продукт как таковой, но с точки зрения именно модели и анализа: как мы можем оцифровать продукт? Мы можем оцифровать очень просто: по тому, какие характеристики у этого продукта были и как они менялись с течением времени. 

Мне следовало самого начала сказать одну очень важную вещь: когда мы говорим о Marketing Mix Model, мы, в первую очередь, говорим о time-series анализе. Этот time-series анализ так важен потому, что, к сожалению, не все рекламные контакты персонифицируемы, то есть мы знаем, что мы показали рекламу, но мы не знаем, кто ее видел. У нас нет возможности знать про каждого человека: видел он рекламный ролик или нет, контактировал с рекламным объявлением интернете или не контактировал, достучался до него SMM-специалист или не достучался. Мы вынуждены работать с агрегированными данными. Единственная информация, которая нам доступна обо всех каналах коммуникации, единственный вид анализа, который уравнивает все каналы коммуникации между собой — это именно time-series модели. И только анализируя динамику продаж или, может быть, не продаж, а какой-то другой величины, которая должна откликаться на рекламу или может откликаться на рекламу, только при таком анализе мы можем сказать, что сработал один канал или другой, кто сработал сильнее или слабее. В этом смысле все эти данные, которые мы собираем, тоже становятся временным рядом. Если мы говорим о продукте, то мы понимаем, что как-то со временем меняются характеристики продукта, мы понимаем, что не последнюю роль в этом играет то место, где этот продукт распространяется. Если мы говорим о каком-то мыле — это может быть количество магазинов. Если мы говорим о Сбербанке — это количество отделений.

Сейчас, в нашу новую эпоху, когда очень много вещей и много услуг продается через интернет, то digital канал — это тоже своего рода place, и появление digital канала среди возможностей, где можно что-то продать, сильно меняет эту картину. Такие вещи обязательно должны быть учтены в модели, которые делает Marketing Mix. 

С ценой тут все более-менее понятно, а промоушен — это уже та самая реклама, собственно, все виды рекламы. Тут важно понимать следующее — если вы сталкиваетесь с этим подходом, то потребуется какие-то знания в отношении того, как измеряется реклама, как она устроена, потому что первое, что приходит в голову — это рекламный бюджет. Рекламный бюджет — это очень необъективная штука, потому что, например, телевизионный рейтинг, который сегодня продается и покупается, он может сегодня стоить 100 рублей, завтра 200, послезавтра 300. Я сейчас говорю про рубли достаточно условно, конечно же, он стоит гораздо дороже. Но цена — это не объективно, объективно то, сколько раз человек контактировал с рекламой, а это тоже определяется определенными методами. Это тема отдельного большого вебинара, наверное, даже не одного.

Главное, что мы должны сейчас с вами понять —  это то, что Marketing Mix такая система, где вы, с одной стороны, работаете с данными, понимаете, что это за данные, понимаете откуда вам их взять, как вам их обработать, как вам превратить их во временной ряд, который позволит нам визуализировать динамику. Здесь же стоит сказать важную вещь, что, конечно же, все эти факторы они важны и для конкурентов, потому что конкурентная активность может приводить к тому, что ваш бренд продает меньше. Это очевидный факт, который с помощью этого подхода можно увидеть и измерить.

Конечно же, самым удобным и понятным, простым способом является эконометрическая модель. У эконометрической модели есть одно очень прекрасное и волшебное свойство — она может позволить понять про процессы, которые происходили в прошлом, как их можно оцифровать и использовать эти знания для того, чтобы что-то изменить в будущем.

Этот очень важный момент активно используются всеми нами. И чтобы как-то дополнительного валидировать тот факт, что не только мы с Леной любим эконометрику в рекламе, что есть очень много других компаний, великих и больших. Я вот тут видела вопрос о том, насколько это подходит для маленьких и для более мелких компаний — тоже подходит, если в компании есть культура сбора и обработки данных, то Marketing Mix Modeling прекрасно зайдет.

Тем не менее, здесь мы, конечно, показываем большие компании, и мы с Леной ручаемся, что каждая из этих компаний работала с Marketing Mix моделями, и для большинства из них модели делали наши команды. 

Я уже упомянула модели временных рядов, и вот здесь мы видим с вами некоторую формулу.

Пожалуйста, смотрите на нее, как на piece of art, то есть она немножко не про математику, она скорее про то, чтобы передать вам идею того, как устроена некая средняя абстрактная Marketing Mix модель. А устроена она следующим образом: это у нас временной ряд и, например, yt — это какой-то ключевой показатель, например продажи, заявки на дебетовую карту, количество самозанятых, зарегистрированных…

Елена Артёмова: Количество людей, пришедших в магазин.

Екатерина Трутнева: Да, количество людей, пришедших в магазин. В общем все то, что бизнес хотел бы увеличить с помощью рекламы, или, по крайней мере, он питает надежду, что это будет увеличено с помощью рекламы. Это наш ключевой показатель. 

Сезонная составляющая, естественно, необходимая вещь, потому что понятно, что реклама мороженого летом будет работать лучше, чем реклама мороженого зимой. Конечно же, сезон и такие вещи сильно влияют: если на майские праздники все уезжают, можете бесконечно рассчитывать, что купят ваш продукт. Скорее всего, это случается в меньшей степени, потому что люди будут далеко от магазина.

Конечно, есть какая-то константа, потому что мы все прекрасно понимаем, что до момента, когда мы начали анализировать этот процесс, с брендом что-то было, был какой-то накопленный запас прочности, были какие-то усилия прошлых маркетинговых кампаний, которые сформировали эту базу, базовый уровень. 

Дальше уже начинаются макроэкономические показатели, ценовые показатели, рекламная активность конкурентов, например. Я говорю про рекламную активность конкурентов, потому что так уж случилось, что на нашем рынке это та информация, которую проще всего найти про конкурентов. 

Есть вот такой вот очень хитрый блок, который называется ad — это, конечно же, реклама, это advertisment. Здесь мы говорим о том, что Marketing Mix Modeling не так проста, как кажется. Он говорит нам, что реклама может обладать двумя очень полезными свойствами: во-первых, она может иметь распределенный эффект во времени, то есть если вы сегодня увидели телевизионный ролик, вы не должны обязательно сегодня отреагировать. Вы получили информацию благодаря рекламе, а когда эта информация реализуется в покупку или в какое-то интересующие рекламодателя действие, зависит от большого объема факторов.

Забегая вперед, скажу еще одну вещь, что в Marketing Mix моделях заложен еще один инструментарий, который называется функцией отклика. Мы не можем бесконечно увеличивать инвестиции в рекламу, думая, что каждый последующий потраченный рубль будет нам давать пропорционально высокий эффект.

Итак, собственно, как мы видим, все тут очевидно, но и тем не менее есть нюансы. Так в чем этот нюанс состоит. 

Елена Артёмова: Здесь я хотела немножко добавить от себя, что такие уравнения позволяют нам посмотреть на декомпозированные данные, на декомпозированную функцию, как бы раскрыть из чего она состоит, раскрыть динамику процесса.

Как раз именно классическая эконометрика и классический регрессионный анализ позволяют такие истории сделать, то есть декомпозировать, разрезать и показать непосредственно бизнесу: из чего их продажи, из чего трафик, приведенных в магазин, из чего количество заявок на какой-то продукт сложено. 

Соответственно, это уравнение, которое вызывает кровавые слезы, оно на самом деле очень полезно, и, если кому-то в этом году предстоит его учить, я прошу на него обратить внимание, на простые регрессионные модели, потому что они действительно очень полезны и позволяют показать бизнесу, например, из чего состоят заявки на какой-то продукт. Как в данном случае на слайде у нас есть большая розовая колбаса сверху — это не медийная составляющая продукта, а голубая колбаса справа — это медийная поддержка. Розовая колбаса состоит из базовой вариации, неминуемой в модели к некоторому базовому уровню наших заявок на сайте. Там же у нас информация о том, сколько мы стоим, то есть по какой цене продукта дается сезонная компонента, и какие могут быть макротренды, макропоказатели.

Голубая колбаса — это как раз медийная поддержка. Здесь есть хорошая новость для сотрудников рекламного агентства, состоящая в том, что все-таки реклама работает. И одновременно плохая новость в том, что реклама, к сожалению, не отвечает за 100% продаж или за 100% приведенного трафика на сайт. Поэтому наша задача как рекламщиков — посмотреть все-таки на что реклама влияет. Если есть возможность, как в этом кейсе, то декомпозировать рекламу на различные виды рекламы, потому что это как в 15-летнем рекламном ролике было: «Не все йогурты одинаково полезны». Также у нас не все медиа могут быть одинаково полезны. Нам хотелось бы, естественно, из этого медийного пирога выжать как можно больше эффективности, с точки зрения привлечения людей в магазин и на сайты, или с точки зрения отдачи от инвестиций. Мы можем декомпозировать все достаточно гранулярно, то есть увидеть отдельно как баннерная реклама влияет, как контекстная, как влияет онлайн видео и сравнить это с телевидением. Здесь как раз можно устроить битву «Телевидение против Интернета», потому что сначала побеждало телевидение, а сейчас очень много продуктов, которые растут в интернете. Это стало возможным потому, что вы сами видите, насколько интернет захватил жизнь, особенно молодого поколения. 

Екатерина Трутнева: Итак, продолжим дальше нашу историю, связанную с эконометрикой. Почему же именно она, чем же она так хороша? Основное ее достоинство — это проверенный инструмент, который очень давно используется. В большом количестве компании есть специалисты способные применить это знание, но, как мы скоро узнаем, количество этих специалистов явно недостаточно, и сейчас есть огромный спрос на специалистов, которые обладают такими знаниями в различных компаниях. 

Тем не менее если мы говорим о мировой практике, где профессия эконометриста гораздо более распространена, чем у нас. Эконометрика интегрирована в бизнес-процессы, и уже все знают, что это за зверь, все знают, как с этим работать, и никого она уже так сильно не пугает. Она преподается во всех ведущих университетах и бизнес-школах, и у людей есть представление, как это устроено, нет каких-то страхов и барьеров перед этим методом. Это не только в бизнесе, но и для решения каких-то государственных задач один из самых используемых инструментов. 

Еще очень важное свойство эконометрического анализа в том, что он позволяет выявить причинно-следственную связь.

Дело в том, что именно причинно-следственная связь крайне важна для бизнеса, потому что всегда очень легко увидеть корреляции, увидеть процессы, которые меняются одновременно, но понять, чем именно ты можешь управлять в интересующем тебя показателе — это крайне важный и тяжелый вопрос. 

В дополнение к этому эконометрика дает инструментарий, который позволяет протестировать, насколько полученная тобой зависимость является не плодом фантазии, а действительно надежной величиной, которой можно верить. 

Она легко дополняет какие-то классические вещи связаны с финансовым анализом, потому что, если мы говорим об определении эффективности рекламы, тот человек, который приходит с эконометрической оценкой, он всегда сталкивается с тем, что его оценку сравниваются оценкой «бухгалтерской» или «финансовой». То есть вы приходите к финансистам, бухгалтерам, и они вам говорят: «Посмотрите, ваши продажи не изменились, мы взяли точку до, взяли точку после, вычли одно из другого. И где же ваш эффект, который вы показываете?». И действительно Marketing Mix Modeling — подход, основанный на факторах, основанный на том, что есть обстоятельства, которые тянут продажи вниз, есть обстоятельства, которые тянут продажи вверх. Не всегда сравнив два рядом стоящих месяца и не увидев какого-то роста, мы можем констатировать, что реклама никак не подействовала, потому что на фоне рекламы были какие-то другие вещи. 

И очень важное обстоятельство — это то, что Marketing Mix Modeling и эконометрика позволяют строить прогнозы, то есть полученная формула, полученная модель позволяют прогнозировать, что будет если мы поменяем тот или иной фактор. Когда специалисты по планированию планируют новую рекламную активность или, например, изменение цены, они могут просто подставить желаемый сценарий в модель и получить результат и понять, насколько сценарий A лучше или хуже сценария B и так далее. Это очень важный инструмент для бизнеса

Елена Артёмова: Как я уже говорила, эконометрика применяется в первую очередь для того, чтобы посмотреть, из каких факторов собрана наша функция, то есть наш показатель, который мы пытаемся объяснить. У вас на экранах сейчас пример из эконометрической модели, которую мы делали для IT компании.

Здесь мы моделируем знание марки. Можно очень наглядно увидеть, что национальное телевидение драйвит знание марки на 9%, то есть в среднем вносит в знании марки 9% за какой-то моделируемый период. Мы его всегда знаем, поэтому у нас полное понимание того, за какой период наросли эти 9%, и как они соотносятся со всеми другими вкладами от медиаканалов, помимо национального телевидения. Как минимум, мы можем сравнить, например, национальное телевидение с региональным, то есть 9% против 2%. 

Мы можем посмотреть дальше на другие медиаканалы: вот баннеры у нас достаточно неплохо сработали — 5% вариации в наши знания марки внесли, онлайн видео немножечко послабее. Вот здесь как раз возникают задачки для рекламного агентства, и специалисты моего департамента ставят их внутри перед специалистами отдела планирования. Как сделать так, чтобы онлайн видео, например, вносило больше? Можно ли это сделать или 2% процента — это потолок, свыше которого недостижимо. Такие штуки, достаточно простые, мы умеем делать, но, конечно же, не только это и не только с применением того уравнения, которое Катя показывала. Есть и другие интересные моменты в применении Marketing Mix Modeling в бизнесе.

Екатерина Трутнева: Как раз об этой очень важной особенности рекламы, которую обязательно нужно учитывать при анализе и при построении уравнения.

На самом деле то, что добавляет пикантности к оценке и к тому, как с этими данными стоит работать — это тот самый отложенный эффект рекламного воздействия или распределенный во времени эффект рекламного воздействия. Нужно решить непростую задачу. Представьте себе, когда мы анализируем реальные показатели, у нас нет данных за 20 лет, потому что, очевидно, не существует какой-то одной линейки, которая была бы неизменной в течение 20 лет. Нет такой экономики, которая бы не менялась за 20 лет до такого состояния, чтобы мы могли реально взять данные за 20 лет и проанализировать. 

Более того, для анализа рекламы, как правило, используются данные с недельной периодичностью. Тут возникает очень большой вопрос: «А насколько бизнес готов к тому, чтобы поделиться с вами бизнес-статистикой с недельной периодичностью?». Сейчас кажется, что, конечно, готов, у всех все есть. Но это совсем не так, и поэтому те данные, с которыми мы работаем с Леной каждый день, это не big data, это скорее small data. От этого не становится скучнее, от этого скорее становится интереснее, потому что если у тебя нет каких-то залежей и огромных, роскошных данных, то тебе нужно лучше думать над базовой гипотезой, которую ты проверяешь, тебе нужно больше сил потратить на качество данных и на понимание того объекта, с которым ты работаешь. А также потратить какое-то время на разработку методологии, которая позволит тебе на недельных данных максимум за 2–3 года получить оценку отложенного распределенного во времени эффекта. Мы не будем сейчас подробно останавливаться на том, как это делается, но хочу сказать, что это не такая тривиальная задача, это гораздо сложнее, чем построить линейную регрессию. Но оттого интереснее, потому что это уже уход от традиционной эконометрики. Это уже переход к численным методам, к оптимизационным задачам.

Вот тут я отвечу на один вопрос, который уже возникал в чате, относительно того, в чем мы делаем модели. Я думаю, что в подавляющем большинстве случаев либо R, либо Python — это два наших любимых инструмента, с помощью которых все подобные модели делаются. Причем не только в Сбербанке, не только в dentsu, а во всем цивилизованном человечестве.

Следующий интересный момент — это те самые функции отклика, и что они собой символизируют. Вот представим, что по оси X у нас представлены среднемесячные или средненедельные затраты на рекламу, а по оси Y, например, количество заявок на кредитные карты. Когда мы оцениваем Marketing Mix модель, мы должны еще в нее заложить некий математический алгоритм, который позволит нам предусмотреть, что если мы, например, в среднем тратим на рекламу 35 миллионов рублей в месяц или в неделю, чтобы мы не ждали, что таким же образом у нас будет расти отдача, если мы вложим 150 миллионов рублей в неделю. Мир устроен сложнее, потому что есть убывающая отдача от масштаба, есть семейство кривых, обладающих этим свойством. Задача исследователя, строящего такие модели, состоит в том, чтобы определить гиперпараметры этих кривых корректно, устойчивым методом и получить решение, которое позволит потом пленеру, который не эконометрист, который не специалист по математике, взять эти кривые, положить их в некий оптимизатор и посмотреть на такие кривые для разных каналов коммуникации, посмотреть на свои бюджетные ограничения и найти то самое оптимальное распределение. Поэтому я даже не знаю, что тут интереснее: конечно, и интересно строить такие модели, но и интересно потом с ними работать, и интересно потом смотреть, как те рекомендации, которые на основе этих моделей были сделаны, претворяются в жизнь, позволяют компании зарабатывать больше.

Елена Артёмова: Как эти функции применяются в бизнесе: вот об этом, собственно, этот слайд. Только подумайте, как Катя сказала — «семейства кривых», какая красота в самом предложении, в самом словосочетании. Я могу смело сказать, что в компании ребята, которые занимаются применением таких штук как MMM (Marketing Mix Modeling), одни из самых умных. Вас действительно будут считать, скажем так, какими-то волшебниками, способными из непонятно чего, из кучки данных рассказать очень красивые вещи для бизнеса.  

Что можно сделать из тех функций?

Мы их применяем напрямую, мы считаем кривые отдачи рекламных инвестиций — это слева на экране. Когда мы подбираем для медиаканалов такие кривые, которые отражают, как у нас наращивается наша функция, например, сколько дополнительных продаж мы можем получить от рекламы в каждом медиаканале в зависимости от бюджета, который мы будем в этот медиаканал вносить. Совершенно понятно, даже простому обывателю, что эта отдача от рекламных инвестиций не может быть линейна, иначе нам было бы абсолютно шоколадно. Мы бы удваивали бюджет, утраивали и упятеряли бы его, и сообразно ему, ровно в таком же объеме, получали бы продажи, но, к сожалению, мир устроен не так. Сначала люди на новый продукт реагирует хорошо и все всё покупают, но каждый месяц, каждый следующий год нам все сложнее и сложнее привлечь дополнительных людей или заставить тех, кто нас уже сейчас покупает потреблять, есть, использовать наш продукт чаще. Поэтому усилий тратится достаточно много, но продажи растут не так быстро, как нам, рекламщикам, хотелось бы. 

Эти законы мы изучаем в рамках той же самой модели, но это как раз то место, где наша линейная регрессия, казалось бы, простая линейная регрессия, превращается в нелинейную. Вот эти нелинейные законы мы как раз должны подобрать при моделировании, увидеть их и дальше пользоваться. Мы пользуемся нашими знаниями о том, как с инвестиций в рекламу наращивать продажи для того, чтобы оптимизировать медиамикс.

Задачка, с которой нам приходит клиент, выглядят следующим образом: «У меня есть 100 миллионов, пожалуйста, агентство, расскажи мне, как я их должен потратить» или  «Я каким-то наивным образом до сих пор сам распределял, или мне пленеры распределяли в агентстве, а теперь я хочу при помощи методов математики посчитать, как наиболее точным образом этот бюджет распределить». Дальше мы уже решаем, какая у нас будет функция, которую мы будем оптимизировать. Например, мы хотим на эти 100 миллионов как можно больше продаж совершить, то есть вытащить из рынка. Соответственно, максимизируем функцию продаж при условии ограничений, описываемых кривыми с левого графика, и при условии их ограничения ценой, потому что каждый медиаканал стоит по-разному. Понятно, что в зависимости от текущих цен, наш оптимизатор будет перебрасывать деньги из общего бюджета на тот канал, который, с одной стороны, наиболее дешевый, а с другой стороны, приносит больше продаж, как в случае с левым графиком — телевидение. Решается задачка нелинейного программирования. 

Это история, которая уже не про эконометрику, а про численные методы, но этим как раз и интересно то, что мы не просто специалисты-эконометристы, которые знают time-series анализ и больше ничего. Здесь должен быть какой-то кругозор, поэтому, пожалуйста, не только эконометрику учите, хорошо? Мы ожидаем, что ребята, которые будут приходить в наши команды работать, все-таки будут разбираться и в разных других методах.

Математика в том объеме, как ее преподают в старших классах школы и в институте очень важна, она очень интересная, и за этим действительно будущее.

Если даже 20 лет назад в той же рекламе не было прямого применения эконометрики, то сейчас все очень сильно поменялось, и кажется что, ближайшие 10 лет спрос будет гораздо больше, чем сейчас. Мы уже видим этот спрос, он полыхает огнем, как ваши огонечки в приложении вебинара как реакция на нашу речь. Мы это чувствуем каждый день в бизнесе, поэтому простора для работы, для совершенствования, для креатива при помощи математики тоже достаточно много. 

Хотели бы еще вам показать несколько кейсов  и рассказать, каких же специалистов мы ждем к себе. Кейсы, конечно, разные, мы посмотрели немного про вклады, про то, как применяется функция отклика. Конечно же, несколько слов скажу про то, как выглядит работа эконометриста в отделе Сбера или вот у нас dentsu, но то, что рассказывают в мемах — это частично правда, даже та картинка, которая на черном фоне: «Как я вижу свою работу», потому что на самом деле мы тоже поверхности строем и в разных методах применяем. Такие результаты, особенно если красиво нарисовать и в Markdown, покрутить, вызывают восторг и у клиентов, и у внутренних заказчиков. Мы на самом деле очень стараемся подходить креативно, пишем код, все формулы, которые мы показывали, будут очень важны и будут наращены большим количеством других формул. 

Иногда мы пользуемся готовыми решениями на R,  на Python, но мы пишем и свои функции, потому что пытаемся адаптировать эконометрику именно под решение наших задач. Поэтому простор для программистского творчества тоже есть, но это творчество больше степени аналитическое и в меньшей степени это прямая разработка.

Итак, несколько кейсов.

Здесь мы хотели показать кейс про усиление влияния контекстной рекламы, которое происходит во время кампании на телевидение.  Что здесь нужно увидеть за этими цифрами, я их прокомментирую. Смотрите, национальное телевидение, фиолетовый барчик, вносит в вариацию нашей функции 4%, здесь придется поверить. Контекстная реклама — это красный, здесь 1,7%. При помощи эконометрической модели мы выявили, что у нас есть перекрестное влияние контекстной рекламы на телевидение. Как это проявляется: когда идет телевизионная кампания, растет контекстная реклама. Это совершенно нормально: люди начинают что-то гуглить, если они заинтересовались рекламой по телевизору. Это говорит про то, что не телевизором единым мы живем, люди ищут нас и в разных других медиаканалах и не в медиаканалах. Мы выявили при помощи модели, что еще 2% (это цифра под розовым полем) вариации нашей функции приносит совместное влияние телевидения с контекстной рекламой. Это прямое указание на то, как мы должны планировать нашу рекламу, то есть мы должны понимать, что люди нас будут больше запрашивать, поэтому большие бюджеты на рекламу в контекстном поиске мы должны заложить. Если там не заложить бюджет, то твоя реклама не покажется тем людям, которые ищут твой бренд. С другой стороны, конечно же, такой детальный подход к оценке различных факторов дает нам надежду на то, что наши модели будут еще и хорошо прогнозировать — это очень важно, то есть мы уловили еще 2% вариации. 

Следующий кейс — это кейс про оценку взаимного влияния рекламы в портфеле одного бренда.

У нас в одном бренде есть несколько продуктов, и при этом мы понимаем, что разные продукты могут абсолютно по-разному влиять друг на друга. Например, зеленые столбики — это отклонение от нуля. Соответственно, на первый продукт у нас положительно влияют рекламные кампании продуктов 2, 3, 4 и 5, но HALO-эффект тут же наоборот может быть и отрицательным, то есть у нас продукт 4 страдает от всех продуктов. Это опять же прямое указание что, когда мы рисуем медиаплан, то нам не нужно ставить рекламу продукта 4  в параллели с другими продуктами, потому что иначе бренд просто будем сам у себя из одного кармана в другой перекладывать деньги. Тут на самом деле не только вопрос в параллельном использование, но еще и вопрос разведения аудитории. Мы должны как-то спланировать рекламу таким образом, чтобы 4 продукт был с точки зрения охватов аудитории изолирован от рекламы других продуктов. В интернете и уже частично на телевидении такие штуки делать можно, за это отвечают уже другие технологии. Соответственно, в агентстве работают разные специалисты, чтобы такие вещи тоже выполнять. 

Следующий кейс на ваших экранах — это кейс, когда нам нужно было спрогнозировать знания марки для страховой компании.

Здесь мы делали панельную регрессию, куда мы заталкивали всех страхователей. Мы видим здесь разные тренды, как у них росло знание марки — это левый график. Дальше уже для бренда, для которого мы делали этот анализ, мы раскладывали знание марки именно этого бренда. Мы выявляли факторы, как влияла реклама в разных медиаканалах — этого справа нижний график. Соответственно, мы могли при помощи этой модели прогнозировать, могли клиенту рассказать о скорости роста его знания марки, потому что очень часто клиентов такие вещи волнуют, клиентов в маркетинге. Знания марки — это один из интереснейших для маркетолога показателей, потому что не будут знать — не будут покупать. Сначала у нас растет знание, потом у нас растет покупка, использование. Соответственно, очень часто делаются модели на знание марки. Здесь эконометрика помогает вычленять эффект от медийной поддержки.

 И еще один достаточно интересный кейс на ваших экранах — это кейс про баланс промо-инвестиций и рекламных вложений.

Мы посчитали такие штуки для разных медиаканалов. У вас на экране баланс промо-инвестиций и рекламных вложений на телевидение. Здесь у нас поверхность, то есть этот график представляет собой поверхность. Здесь такая же парадигма как, может быть, вы видели географические карты, когда то, что ниже мы рисуем темным светом, так как это впадина, а то, что выше мы рисуем светлым цветом. Мы смоделировали прибыль компании, то есть прибыль компании у нас максимальна в этих светлых участках, где стоят зелененые крестики. Мы понимаем, что сейчас мы как раз при среднем текущем бюджете компании и средней текущей скидке — это красный крестик, то есть мы находимся во впадине, что не очень хорошо. Очень хочется посоветовать клиенту менять этот баланс оптимальной скидки и оптимального бюджета для того, чтобы двигаться в сторону гор. Соответственно, у нас здесь две горы, и мы можем выбрать разные сценарии зависимости от того, что удобнее делать бизнесу. У нас может быть сценарий на увеличение скидки и на снижение медийного бюджета — это нижний крестик. У нас может быть, наоборот, сценарий, когда мы скидку людям не даем, но сильнее рекламируем, увеличиваем медиа бюджет для того, чтобы при помощи рекламы продать наш продукт людям, но при этом на скидки мы ничего не теряем. Такие очень интересные для бизнеса имитационные штуки можно делать при помощи эконометрики, при помощи моделей, о которых мы сегодня говорили. 

Я уже немного касалась темы, что мы при помощи MMM (Marketing Mix Modeling) обязательно считаем медийные миксы, то есть считаем, как распределить медийные деньги.

Здесь график, который показывает эти миксы в зависимости от бюджета, то есть у нас по абсциссе разные варианты бюджета: от 10 миллионов до 100 миллионов рублей. Вот здесь видно, как с 40 миллионов рублей модель начинает подкидывать нам национальное телевидение, то есть до момента пока у нас денег было не очень много, телевидение было очень дорогим, и при помощи него мы не могли выйти на максимальный объем  привлеченных продаж. Соответственно, когда мы переходим уже в большие инвестиции, там телевидение раскрывается, дает всю свою мощь и со своим огромным потенциалом начинает работать хорошо. Модель очень хитрая, модель понимает, как все это работает. При помощи моделей мы делаем эти расчеты очень эффективными, очень точными. Такими расчеты сделать руками, глазами эксперта, мы не можем.

Еще один достаточно интересный кейс, как мы его называем — определение «потолка» инвестиций.

Когда клиент приходит и говорит: «У меня есть 100 рублей, но я не знаю хочу я потратить 90 или хочу я потратить 110, потому что глобально мне могут бюджет и добавить, но я не понимаю, стоит ли мне это делать, будет ли это эффективно» или наоборот клиент говорит: «Мне очень хотят срезать бюджет, но мне надо понять, когда я срежу медиа бюджет, сколько целевого показателя я потеряю». Вот здесь как раз на экране мы определяли потолок инвестиций для KPI трафика, который представлял из себя трафик в магазина, то есть это люди, которые дошли ножками в торговый центр. Соответственно, нам клиент приносит 100 рублей, и мы с шагом в 5% налево и направо, видите здесь минус 5, минус 10 и то же самое плюс 5, плюс 10, плюс 20. Шагами в 5% нарезаем бюджет и делаем имитации при помощи модели, то есть мы прогнозируем, как было бы если бы мы потратили условно 90 рублей или 85 рублей, либо 105 рублей, 110 рублей, то есть мы засчитаем целевой показатель по каждому шагу. Дальше уже принимаем решение. Модель показала, что плюс 10% инвестиций приносят 10% трафика, а 15% инвестиций уже 14% трафика — вот на лицо замедление, и мы видим закон убывающей предельной отдачи невооруженным взглядом. Плюс 20% инвестиций дают уже 16% трафика. Мы должны понять, насколько мы готовы к такому замедлению коэффициента полезного действия. Стоит поразмыслить, из вот этих плюс 20% инвестиций, готовы ли мы из них только 16% полезной функции вытащить. 

Или, наоборот, в случае если у нас идет падение бюджета — вместо 100 рублей нам дали 80, хорошо бы понять, сколько мы потеряем. В примере это порядка 9%. Может быть, надо было бы 8% потерять и 15 % бюджета сэкономить — это всегда приятно. 

Маркетинг такими вопросами озадачивается осенью, когда планируется бюджет на следующий год. Это интересные переломные моменты в рекламных агентствах обычно, когда мы все-все считаем, и эконометрические модели такие штуки позволяют делать. Дальше мы, конечно же, принимаем решение коллегиально или экспертно, но на основе data. 

Собственно, хочется сказать про то, кого же мы ищем. Даже решили немножечко пошутить, что многие решая разные уравнения, даже полегче, чем мы сегодня обсуждаем, думали: «Господи, может это никогда мне не пригодится в жизни, зачем меня математичка мучает? Зачем мне этот матанализ ужасный, зачем это все?».

Ребята, если кто-то когда-то задавался этим вопросом, здесь без ложной скромности стоит сказать, что вот он тот день, когда вы, наверное, чуть больше поймете о том, где это применяется, зачем это все нужно. Конечно же, не все уравнения, не все формулы, которые вы сейчас учите, вам пригодятся, но мозг они развивают хорошо. Они помогут вам в дальнейшем понимать какие-то другие формулы.

На самом деле, мне кажется, что вы видите как мы увлечены, нам все это интересно, хотя занимаемся этим давно и долго. В профессии очень много пассионарных людей, которые любят математические методы, любят их за гибкость, за возможность применить в разных местах. Я помню, как на первом-втором курсе у нас был зубодробительный курс матанализа, к нам приходила наш профессор, которая была влюблена в свой предмет, она складывала руки на груди и говорила: «Ребята, математический анализ — это такая красивая наука!». Мне кажется, этот день настал, когда мне тоже надо говорить: «Ребят, эконометрика — это действительно интересная и прикольная наука». 

Учитесь, пожалуйста, хорошо, перед вами сейчас этот год, который надо провести ударно, потому что те люди, которых мы ищем, тоже живые.

Это не сложносочиненные программисты, в образе Вассермана или Перельмана как здесь. Это, скорее всего, такие же люди, каких вы видите, если сейчас в оффлайне есть какие-то занятия, те же самые ребята, которые сидят с вами за одной партой. Современные аналитики — это не программисты 20-летней давности, в свитерах с оленями. Это ребята, которые хорошо прокачаны и с точки зрения hard skills, и с точки зрения soft skills. У нас обязательно знание статистики, знание программирования на скриптовых языках. Мы будем делать какую-то техническую работу, то есть мы предполагаем, что будет оптимизация, моделирование, знание всяких разных методов. В то же время, люди, которые работают в больших компаниях, которые производят услуги, продукты, и в рекламных агентствах — эти люди уж точно должны быть очень коммуникабельны. Они должны понимать многое, должны понимать как эти страшные формулы переложить на язык бизнеса, сделать страшную формулу более человечной, потому что люди, с которыми вы будете встречаться в жизни и по работе, они не все математику так хорошо будут знать. Им нужно рассказать и зажечь какой-то интерес к этой области.

Поэтому очень важно, чтобы мы понимали, что хочет клиент, чтобы у нас был интерес, горели глаза, чтобы мы хотели решить проблему и с точки зрения математики и статистики, и с точки зрения того, о чем эта задача, чтобы мы готовы были потом рассказать про это даже как-то красиво. Вот зачем нам изложения, зачем нам сочинения — это пригодится даже математику.