Инкрементальный эффект что это
Инкрементальный эффект что это
Мы будем говорить на одном языке, если вы прочитаете введение из статьи про Юнит-Экономику. Если в двух словах, то все маркетинговые коммуникации можно разделить на перфоманс и бренд-коммуникации. Перфоманс механики — это рекламные кампании, направленные непосредственно на повышение продаж. Обычно такие коммуникации содержат оффер (скидка, специальные условия, предложение купить конкретный товар). Бренд-коммуникации помогают формировать узнаваемость и имидж бренда, повышают конверсию перфоманс маркетинга и приводят к продажам через прямые заходы. Однако точно оценить вклад таких коммуникаций в продажи трудно. Оптимальная пропорция бюджета зависит от размера компании и длительности цикла выбора и покупки.
Глоссарий:
Атрибуция — это процесс мэтчинга прибыли от клиента с затратами на рекламные источники, которые привели к привлечению этого клиента. Один и тот же клиент мог взаимодействовать с разными рекламными каналами. За каждое такое взаимодействие заплатил рекламодатель. Модель атрибуции поможет распределить прибыль от этого клиента по всем каналам с которыми он взаимодействовал.
При модели атрибуции «по последнему клику» вся прибыль от клиента относится к тому каналу, который был последним перед покупкой. В «линейной модели» прибыль от клиента равномерно распределится по всем каналам. Существует множество других моделей.
В этой статье все методы оценки инкрементального разделены на три группы: количественный анализ продаж; user-base методы и социологический подход (опросы).
Но в реальной жизни флуктуация кривой выручки / продаж гораздо сильней. Её определяют внешние факторы. В первую очередь сезонность. Можно попробовать учесть сезонную компоненту, чтобы уточнить эффект от рекламы путем сравнения ожидаемой и фактической кривых продаж.
Если существует зависимость между рекламным бюджетом и уровнем продаж, то линейная модель её заметит и вернёт коэффициент. Этот коэффициент будет отражать цену привлечения клиента через охватную кампанию. Интерпретировать такие модели нужно с осторожностью. Во-первых нужно убедиться, что p-value при этом коэффициенте ниже 0.05. Это будет означать что реклама стат. значимо влияет на продажи.
Во-вторых нужно рассчитать R² который покажет, какую долю вариации выручки\продаж можно объяснить факторами, которые вы включили в модель. Если показатель будет низким (точных границ нет, но скажем менее 0.3), значит существуют другие неучтенные факторы, которые в значительной мере объясняют продажи.
В основе подхода классическая механика АБ-теста: просто сравнить между собой группу на которую оказывали воздействие с контрольной группой, где воздействия не было. Так делает Авито и Юлмарт, которые могут позволить себе купить рекламу на телеке в регионах 1,3,5 и не покупать в 2,4,6, а потом сравнить бизнес-метрики между этими группами регионов.
Для ребят по-скромнее тоже есть опции: можно таргетировать ютуб-кампанию только на женщин и сравнить кривые продаж по полу в период рекламной кампании. Если у вас большая клиентская база и вы запускаете кампании по удержанию/возврату, то в аудиторию ремаркетинга можно выделить 80% базы, а 20% клиентов не показывать рекламу, а потом сравнить между собой сегменты на который воздействовала реклама и органический возврат.
Инкрементальный анализ
Опубликовано 10.06.2020 · Обновлено 10.06.2021
Что такое Инкрементальный анализ?
Инкрементальный анализ – это метод принятия решений, используемый в бизнесе для определения истинной разницы в стоимости между альтернативами. Также называемый подходом соответствующих затрат, маржинальным анализом или дифференциальным анализом, инкрементальный анализ не учитывает ни невозвратных, ни прошлых затрат. Инкрементальный анализ полезен для бизнес-стратегии, включая принятие решения о самостоятельном производстве или аутсорсинге функции.
Объяснение инкрементального анализа
Инкрементальный анализ – это подход к решению проблем, который применяет учетную информацию к принятию решений. Пошаговый анализ может выявить потенциальные результаты одной альтернативы по сравнению с другой.
Соответствующие и нерелевантные затраты
Модели анализа включают только релевантные затраты, и эти затраты обычно делятся на переменные и постоянные. Пошаговый анализ учитывает альтернативные издержки – упущенную возможность при выборе одной альтернативы по сравнению с другой – чтобы убедиться, что компания выбирает наиболее благоприятный вариант.
Нерелевантные невозвратные затраты – это уже понесенные расходы. Поскольку невозвратные затраты останутся независимо от какого-либо решения, эти затраты не включаются в дополнительный анализ. Соответствующие затраты также называются дополнительными затратами, поскольку они возникают только тогда, когда релевантная деятельность была увеличена или начата.
Типы решений инкрементального анализа
Пошаговый анализ помогает компаниям решить, следует ли принимать специальный заказ. Этот специальный заказ обычно ниже, чем его обычная цена продажи. Пошаговый анализ также помогает распределить ограниченные ресурсы по нескольким линейкам продуктов, чтобы обеспечить максимальное использование ограниченного актива.
Решения о производстве или покупке товаров, списании проекта или восстановлении активов требуют проведения инкрементного анализа альтернативных затрат. Поэтапный анализ также позволяет понять, следует ли продолжать производство или продажу товара на определенном этапе производственного процесса.
Краткая справка
Компании используют инкрементный анализ, чтобы решить, принимать ли дополнительные заказы, производить или покупать продукты, продавать или обрабатывать продукты дальше, исключать продукт или услугу и решать, как распределять ресурсы.
Пример инкрементального анализа
В качестве примера инкрементального анализа предположим, что компания продает товар за 300 долларов. Компания платит 125 долларов за рабочую силу, 50 долларов за материалы и 25 долларов за переменные накладные расходы по продаже.
Ключевые моменты
Сумма всех переменных затрат и постоянных затрат на товар составляет 250 долларов. Однако выделенные фиксированные накладные расходы в размере 50 долларов являются невозвратными и уже потрачены. Компания имеет избыточные мощности и должна учитывать только соответствующие затраты. Следовательно, стоимость изготовления специального заказа составляет 200 долларов США за единицу (125 долларов США + 50 долларов США + 25 долларов США), а прибыль на единицу продукции составляет 25 долларов США (225–200 долларов США).
Хотя компания по-прежнему может получать прибыль от этого специального заказа, компания должна учитывать последствия выхода на полную мощность. Если избыточных мощностей нет, дополнительные расходы, которые следует учитывать, включают в себя инвестиции в новые основные средства, сверхурочные затраты на рабочую силу и альтернативные издержки упущенных продаж.
Краткая справка
Пошаговый анализ сосредотачивается только на различиях между двумя способами действий. Эти разные аспекты, а не сходства, составляют основу сравнения.
Как не купить свою органику — гайд по инкрементальности в маркетинге
Привет, читатель! Меня зовут Артём Сайгин, я веду проект Growth Lab, в котором рассказываю о digital-маркетинге и росте IT-продуктов.
Каждый день компании теряют значимую часть бюджета на пользователей, которых получили бы и так, бесплатно. Представьте, что вы могли бы знать, какая часть маркетингового бюджета расходуется впустую, и сэкономить его. В этой статье мы научимся это делать.
Дисклеймер: в статье я намеренно упростил большинство факторов влияющих на ход экспериментов и расчёт инкрементальности: оптимизацию каналов, сезонность, конкуренцию и т.д. (факторов может быть очень много). Всё для того, чтобы сконцентрировать внимание только на фундаментальных понятиях и расчётах инкрементальнсоти. По той же причине в материале нет углубления в детали, такие как настройка в конкретных источниках или каналах, полагая, что читатель поймет куда копать, т.к. базовые формулы будут даны.
Инкрементальность показывает, сколько в действительности новых пользователей (продаж, дохода) вы получили, показатель измеряется в процентах; чем процент инкременетальности выше, тем «чище» результат вы получите.
Для большего понимания давайте представим себя на месте Product Owner.
У нас есть продукт (приложение или веб-сайт — не важно), и этот продукт имеет постоянный поток продаж из органики. Далее мы решаемся увеличить число продаж и подключить платные каналы.
Отдел маркетинга предложил запустить в первую очередь контекстную рекламу, как по брендовым, так и по транзакционным запросам — так и сделали.
Спустя 6 месяцев после запуска платного канала пришло время подвести итоги. Маркетологи показывают позитивный отчет: продажи растут, CAC (Customer Acquisition Cost) в пределах плана, придраться не к чему — хорошая работа.
Но так ли всё хорошо, как кажется на первый взгляд?
Давайте посмотрим на отчёт детальнее. Взглянув на продажи со всех каналов, понимаем, что общие продажи драматически не растут.
Продажи не растут, а расходы заметно увеличились, т.к с каждым месяцем все больше бюджета выделялось на маркетинг.
После объединения графиков платного канала и органики картина начинает проясняться:
Мы закупаем собственную органику, т.е пользователи и так бы пришли к нам, даже если бы мы за них не заплатили. И тут нужно выяснить, а какая часть из привлечённых нами с помощью рекламы пользователей не пришла бы по органике. Это и есть основное понятие инкрементальности (Incrementality).
На графике ниже мы видим, как в действительности распределялись продажи.
Incrementality — показывает, сколько реально новых продаж мы смогли получить из платного канала.
Cannibalization — продажи, которые мы перекупили у нашей органики.
Такая ситуация, как в примере, происходит часто, и в большинстве случаев на неё закрывают глаза во вред органике.
Чтобы избежать рост каннибализации для каждого нового канала, нужно проводить инкрементальное тестирование — фундаментальный способ исследования, показывающий реальную рентабельность инвестиций в вашу рекламу. С помощью этих данных, вы сможете понять, что будет, если не запускать рекламную кампанию.
Закрепим. Чем «чище» трафик, тем он инкрементальнее, т.е лучше.
И это нужно понимать и считать при запуске нового канала, источника.
Думаю, с понятием инкрементальности разобрались, теперь перейдём к более сложной части — расчёту.
Инкрементальность (Incrementality) рассчитывается по формуле:
Incremental— в нашем случае число инкрементальных продаж.
Paid — число продаж из платного канала.
Эта формула подойдёт для расчёта инкрементальности любого нужного вам показателя: трафик, лиды, продажи и т.д. В нашем случае рассчитаем инкрементальность продаж.
Вернёмся к примеру, мы запустили контекстную рекламу и теперь хотим узнать, какой процент инкрементальности имеют продажи из этого канала. До запуска рекламы у нас было
2600 продаж из органики, это число и будем считать за «постоянную величину» на протяжении 6 месяцев эксперимента.
На практике нужно учитывать больше параметров: сезонность, работа над SEO и т.д. — факторов много, в этом примере я сильно упростил, чтобы максимально донести суть, не углубляясь в детали.
Прежде чем рассчитать процент инкрементальности, нужно найти переменную Incremental — т.е число инкрементальных продаж.
Формула расчета Incremental выглядит так:
Чтобы найти инкрементальные продажи, из платных продаж отнимем продажи, которые были «каннибализированны» из органики, назовем эту переменную — cannibalization.
Cannibalization = число, на которое уменьшился ваш постоянный поток продаж из органики.
В нашем примере cannibalization выглядит так:
Получив значение Cannibalization, легко рассчитать Incremental — продажи с платного канала (переменная Paid) минус cannibalization.
Получив все нужные нам переменные, можем перейти к финальной стадии расчёта, и вычислить % Incrementality (по формуле: Incremental / Paid):
Рассчитав Incrementality, можем сделать вывод, что с увеличением продаж из платного канала падает процент инкрементальности этих продаж.
В примере всё просто и понятно, но на деле много подводных камней. Инкрементальность может разниться в зависимости от канала и источника, сегмента аудитории, бюджетов и т.д.
Основная сложность расчёта — это найти Incremental (число инкрементальных продаж), так как получив это число, мы сможем рассчитать % инкрементальности. Давайте посмотрим на разные способы расчета Incremental.
1. Выявляем incremental через A/B-тест
Такой формат хорошо подходит для выявления инкрементальности платного трафика в соц.сетях, медийных и ремаркетинговых кампаниях.
В ремаркетинге особенно важно считать инкрементальность — чем более горячая аудитория (ремаркетинг на продление продукта, брошенная корзина и т.д.), тем менее она инкрементальна. По моему опыту, редко когда инкрементальность ремаркетинговых кампаний достигала > 35%.
Как выглядит эксперимент:
Создаются две идентичные аудитории А и B.
Обе группы одинаковы во всех отношениях, за исключением того, что группе A мы показывали рекламу, а группе B — нет.
Далее, измерив конверсии в обеих группах, мы сможем стат. значимо посчитать, как влияет и влияет ли вообще маркетинговая кампания на продажи.
2. Отключение канала
Простой, но при больших объёмах платного трафика рискованный способ расчёта инкрементальности. Методология заключается в том, что мы останавливаем все маркетинговые активности и находим базовое значение органики (константу органики, как в нашем примере). Потом один за другим включаем каналы и считаем их инкрементальность.
Этот вариант не подойдет, если у вас нестабильный трафик из органики или вовсе его нет.
Подойдите к этому варианту с максимальной осторожностью.
3. Корреляция каналов
Хороший, но не во всех ситуациях применимый способ. Берем органику и платный канал и смотрим, как они коррелируют, чем выше корреляция — тем выше вероятность каннибализации. Часто корреляцию можно увидеть в контекстной рекламе на бренд и мобильных (UAC) кампаниях.
С расчётом разобрались, идём дальше.
Разберём ещё один «подводный камень» инкрементальности — атрибуцию.
В этом блоке мы кратко посмотрим, как атрибуция может влиять на инкрементальность. Не будем рассматривать все модели атрибуции и углубляться в теорию, остановимся лишь на некоторых моментах, этого будет достаточно для понимания.
Прежде чем приступить к основной информации, напомню, что такое атрибуция.
Атрибуция – это присвоение ценности конверсии различным событиям, происходящим на пути к этой конверсии, например показам объявлений и кликам.
Модель атрибуции – это правило или набор правил, определяющих принцип распределения ценности. Бывает много моделей атрибуции, на иллюстрации ниже представлены основные из них.
Post-view — часто модель атрибуции по показам искусственно завышает показатели источника.
Представим, что мы закупаем трафик в источниках A и B.
Один пользователь увидел рекламу каждого из источников с одинаковой частотой (всего один раз за выбранный период) и, кликнув по объявлению B, — совершил покупку. При post-view аналитике источник A может засчитать себе продажу, т.к пользователь взаимодействовал с рекламой.
Посчитав инкрементальность с учетом атрибуции, мы бы поняли, что источник A неинкрементален (можно его отключить без потерь для компании).
First Touch — источник присваивает себе конверсию, хотя канал может не являться в действительности важным на пути к ключевому действию.
Тут есть аналогия с примером выше, только ценность распределятся не по показам, а по кликам, действие отдается первому источнику в цепочке до конверсии.
Окно атрибуции — в разных продуктах и типах бизнеса влияет по разному, в B2B/SMB окно атрибуции может учитывать больший период времени и при этом сильно не влиять на инкрементальность, но увеличение окна атрибуции в b2c продуктах может заметно влиять на инкрементальность.
Атрибуция и инкрементальность могут негативно взаимодействовать между собой, и в некоторых примерах мешают в прозрачной оценки ценности канала, но нужно учесть, что атрибуция и инкрементальность – независимые концепции, дополняющие друг друга в достижении эффективного результата.
Теперь поговорим о разных ситуациях, где подсчёт инкрементальности важен, но на первый взгляд таковым не кажется.
В этом блоке мы посмотрим на каналы из разных областей бизнеса, для того, чтобы зафиксировать пройденный материал.
1. Акции
Первое, с чего хочется начать — стимулирование продаж акционными кампаниями, т.к в них часто забывают просчитать инкрементальный доход.
Представим, что у нас интернет-магазин электроники.
Чтобы привлечь новых клиентов, мы подготовили скидку в 30% к Black Friday. Как и большинство кампаний, мы начали анонсировать акцию за определенной период до её старта (в нашем примере за 2 месяца). В день акции мы видим всплеск продаж и засчитываем всё в успех акции, но давайте посмотрим подробнее на график:
За месяц до акции и месяц после видим отчетливое падение, и акционный «всплеск» не смог компенсировать это. Тот же график, но более наглядно.
Из полученных данных можем сделать вывод — акция не повлияла на продажи. Проведя расчет инкременатальности, как в примерах выше, мы могли бы увидеть, что продажи неинкрементальны.
Постоянные пользователи, которые и так бы купили товар по полной цене, увидев анонс акции, решили подождать месяц и купить дешевле (на графике видим падение продаж за месяц до акции).
Акцией мы не привлекли новых клиентов, показатели остались те же, как если бы мы не запустили кампанию, но из-за скидки мы потеряли 30% revenue.
2. Контекстная реклама по брендовым запросам
Часто контекстная реклама по брендовым запросам в веб-продуктах имеет низкую инкрементальность (при условии, что у продукта хорошо проработана брендовая семантика в SEO), в среднем, % Incrementality
Чем ниже конкурентность в поисковой выдаче по брендовым запросам, тем ниже инкрементальность. Но учитывайте, что даже при низкой инкрементальности не стоит спешить с отключением рекламных кампаний на бренд, т.к. вы оставляете первый экран в поисковой выдаче конкурентам.
3. Ремаркетинговые кампании.
Я уже затрагивал ремаркетиновые кампании в статье, но выделю еще раз.
Чем более горячая аудитория в ремаркетинге (кампании на продление продукта, брошенная корзина и т.д.), тем менее она инкрементальна.
Приведу пример «горячей аудитории» для понимания.
Давайте представим, что у нас продукт по подписке с ежемесячной оплатой и низким Churn Rate
10%. Мы решили запустить ремаркетинговую кампанию на всех пользователей у которых истекает подписка — осталось 5 дней.
Пользователь видит рекламное объявление и кликнув по нему, продлевает подписку. В таком примере процент инкрементальности будет низким, т.к. имея Churn Rate 10% большая часть пользователей (90%) продлит подписку и без ремаркетинговой кампании, т.е. инкрементальность равняется — 10%.
К OEM каналу я отношу предустановку софта (как app, так и web) на девайсы производителей и дальнейшую работу по разным моделям CPI, CPA и т.д. В таких каналах чем узнаваемее бренд (продукт), тем ниже инкрементальность.
Представим, что мы занимаемся дистрибуцией мессенджера WeChat в Китае и договорились с Meizu о предустановке приложения на 1 млн. новых смартфонов. За каждую установку на заводе (CPI) мы будем платить N-сумму.
Не зная про инкрементальность, мы засчитаем все устройства, как абсолютно новую привлеченную нами аудиторию пользователей, но это не так. Знание о WeChat в Китае огромное, и с вероятностью в 70-80% (цифры выдуманные, их нужно считать для каждого конкретного случая) пользователей этих девайсов и так бы установили мессенджер из стора — бесплатно.
От процента инкрементальности будет зависеть дальнейшая стратегия в дистрибуции и назначение цены.
Получается, мы привлечем от сотрудничества с Meizu только 20-30% новой аудитории, при таком проценте инкрементальности мы не сможем (экономически невыгодно) платить производителю стоимость, как за 100% инкрементальных пользователей.
В этом блоке я привёл четыре примера каналов, где инкрементальность может быть низкой, в действительности их куда больше.
На этом всё. Надеюсь, статья была полезной, и полученные знания помогут вам сделать маркетинговую стратегию эффективнее. Больше подобных статей можно читать на моём Telegram-канале «Growth Lab» или на сайте.
Не забудьте поделиться с коллегами или просто с теми, кому может быть интересна статья.
Инкрементальность рекламы. Как оценить истинное влияние рекламных каналов на рост продукта
Захар Сташевский, CMO Letyshops, вместе с GoPractice продолжает серию материалов о том, как влиять на рост продуктов через эффективное управление рекламными каналами.
Из этого материала вы узнаете что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью.
Мы разберем подходы к проведению инкрементальных тестов в разных условиях и обсудим, как калибровать модели атрибуции и всю систему оценки эффективности рекламных каналов на основе полученных знаний.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.
Оглавление цикла
Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.
Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.
Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.
Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.
Далее повествование ведется от лица Захара.
В этом цикле материалов мы сосредоточились на проблемах оценки эффективности рекламных каналов.
В первом материале мы разобрали основные проблемы, с которыми сталкиваются команды в процессе управления каналами роста. Второй и третий материалы были нацелены на детальное изучение принципов работы моделей атрибуции — одного из главных инструментов оценки эффективности рекламных каналов.
Этот материал посвящен теме инкрементальности рекламных каналов: оценке истинного влияния рекламы на рост вашего продукта.
Понимание объективной эффективности каналов — фундамент для правильного расчета ROI (юнит-экономики) и формирования оптимального маркетинг-микса.
Инкрементальность и модели атрибуции
В предыдущих материалах мы уже обсудили, что модель атрибуции позволяет с определенной точностью получить оценку эффективности рекламных каналов, выполняя роль компаса в управлении маркетинг-миксом. При этом модель атрибуции должна эволюционировать при изменениях в ключевых элементах модели роста. В противном случае — она перестанет достаточно точно описывать реальность, что приведет к снижению качества принимаемых решений.
Для того, чтобы понять, насколько точно работает модель атрибуции и нуждается ли она в доработке, следует изучить инкрементальность рекламных каналов — определить истинное влияние рекламы на рост продукта.
Давайте рассмотрим простой кейс из области управления продуктом, который поможет понять, что такое инкрементальность.
Что такое инкрементальность на примере продуктовой фичи
Вы работаете над продуктом, который монетизируется с помощью фичи X. Недавно вы запустили новую фичу Y, которая тоже работает на монетизацию.
Фича Y начала приносить доход. Но как понять, приносит ли она реальную пользу бизнесу? Может быть, она просто перераспределяет деньги, которые вы и раньше получали благодаря функциональности X (ниже — сценарий 1)? Или же она дает инкрементальный доход поверх того, что вы зарабатывали бы без нее (ниже — сценарий 2)?
Изучите последнюю картинку, где:
Обратите внимание, что в обоих сценариях атрибутированная фиче Y выручка одинакова. Однако инкрементальная выручка от фичи Y различается.
На практике, чтобы ответить на вопрос об инкрементальности новой фичи Y, нужно провести A/B-тест. То есть разделить аудиторию на тестовую и контрольную группы, где тестовой группе дать версию продукта с новой фичей Y, а для контрольной группы — оставить продукт без изменений.
Сравнив показатели дохода на пользователя в каждой из групп эксперимента, мы сможем понять, как на самом деле фича повлияла на бизнес. Какая часть из денег, которые она приносит — это дополнительный инкрементальный доход, а какая — забранный доход от других механизмов монетизации.
Таким образом, изучение инкрементальности определенной фичи — это ответ на вопрос, какова ее истинная дополнительная ценность для бизнеса.
Инкрементальность в маркетинге — понимание реальной причинно-следственной связи между каналом и целевыми действиями в продукте
Мы разобрали пример проблемы инкрементальности продуктовой фичи. С рекламными каналами возникает точно такая же проблема.
Канал может привлекать новых пользователей и генерировать доход в соответствии с данными модели атрибуции.
Ключевой вопрос — являются ли эти пользователи и доход дополнительными, то есть инкрементальными? Если бы мы отключили этот канал, то насколько просели бы общие показатели бизнеса?
Важно понимать, что инкрементальные целевые действия могут отличаться от фактически атрибутированных целевых действий, так как по умолчанию модели атрибуции не умеют учитывать такого рода взаимосвязи с точностью в 100%. Равно как доход, атрибутированный фиче Y в примере выше, не в полной мере отражал инкрементальный доход от этой фичи, так и модели атрибуции трафика не могут абсолютно точно определить влияние канала на рост продукта.
Модели атрибуции и инкрементальность — в чем разница
Инкрементальность отражает истинную ценность канала для бизнеса — причинно-следственную связь между инвестициями в рекламный канал и целевыми действиями.
Единственный объективный способ оценить инкрементальность — это A/B-тест. Если вернуться к примеру с фичей Y, то у вас не было другого объективного способа определить ее инкрементальность, кроме проведения эксперимента.
Но проблема в том, что вы не можете делать инкрементальные A/B-тесты каждый раз, когда хотите оценить эффективность конкретного рекламного канала, кампании или креатива. Такие тесты требуют времени и денег, а решения по оптимизации маркетинговых активностей нужно принимать регулярно и быстро.
Именно поэтому мы пользуемся моделями атрибуции, которые позволяют быстро и с приемлемой точностью понять, как именно разные каналы влияют на целевые действия, то есть оценить инкрементальность канала с некоторой погрешностью.
Но сами по себе модели атрибуции не понимают причинно-следственных связей между каналами и целевыми действиями в продукте. Они служат ориентиром, причем эффективность их работы сильно зависит от ряда динамических факторов — конкуренции в канале, влияния каналов друг на друга, изменений на уровне бюджета, продукта или бизнес-цели.
Поэтому модели атрибуции нуждаются в постоянной калибровке (эти темы мы обсуждали в предыдущих материалах):
Как проверить настолько точна модель атрибуции?
Как применять на практике понимание связи модели атрибуции и инкрементальности
Шаг 1. Понять, есть ли проблемы с инкрементальностью каналов (расходятся ли атрибутированные и инкрементальные целевые действия)
Инкрементальные исследования каналов — это ресурсоемкая задача. Поэтому прежде чем проводить инкрементальные тесты, нужно определить каналы, где могут быть проблемы.
Мы будем говорить, что существует проблема инкрементальности канала, если есть большая разница (более 15–20%) между атрибутированными целевыми действиями и реальным количеством целевых действий в результате использования канала. В продуктовой аналогии в начале статьи это соответствует первому сценарию.
Наиболее остро проблема инкрементальности может быть выражена в следующих ситуациях:
Шаг 2. Оценить инкрементальность рекламных кампаний с помощью инкрементальных A/B-тестов
Если ваша ситуация соответствуем каким-либо из описанных выше критериев, то стоит перейти к инкрементальным тестам.
В начале материала мы рассмотрели пример инкрементального тестирования на примере A/B-теста продуктовой фичи. Давайте предположим, что с помощью эксперимента мы смогли оценить инкрементальный доход в результате запуска фичи Y (ниже — сценарий 2).
Для оценки инкрементальности рекламы нужно использовать точно такой же подход. Только в этом случае вы будете проводить A/B-тесты не на уровне продуктовой фичи, а на уровне маркетингового канала.
Но если в продукте провести эксперимент в большинстве случаев достаточно просто, то в случае маркетинговых каналов задача сильно усложняется. Вы не контролируете тестовую среду — взаимодействие пользователя с рекламой происходит за рамками продукта.
Некоторые рекламные сети решили эту проблему через добавление специальных инструментов для инкрементального тестирования рекламных кампаний. Но есть и такие рекламные каналы, где вам придется самостоятельно имитировать подобные тесты.
Встроенные инкрементальные тесты
Один из примеров встроенных инструментов инкрементального тестирования — это Conversion Lift от Facebook. В основе этого инструмента лежат принципы классического A/B-теста, но только в рамках рекламного канала.
Пользователи из целевого сегмента делятся на две группы. Одна из них будет видеть рекламную кампанию (тестовая группа), а другая — нет (контрольная группа). Разница в количестве целевых действий внутри продукта между пользователями каждой из групп будет отражать инкрементальность кампании (то есть реальное воздействие на целевые действия).
Запускать инкрементальные тесты можно как на уровне рекламного аккаунта, так и на уровне кампании. Найти функциональность инкрементального тестирования можно в разделе «Эксперименты» в рекламном кабинете Facebook.
Пример влияния инкрементального теста на настройку модели атрибуции
Такие тесты помогают понять инкрементальность рекламы на Facebook. Это также позволяет дополнить модель атрибуции новыми правилами, чтобы откалибровать атрибутированные целевые действия с инкрементальными целевыми действиями.
Например, если вы используете внутреннюю модель атрибуции Facebook с параметрами «Click с окном атрибуции в 7 дней» и «Post View с окном атрибуции в 1 день», то после проведения инкрементального теста можете обнаружить, что инкрементальные продажи отличаются от продаж на основе модели атрибуции. Эти знания послужат основой для калибровки модели.
Вы можете поменять правило «Click с окном атрибуции 7 дней» на «Click с окном атрибуции 3–5 дней» и отменить атрибуцию на основе правила Post View, а затем посмотреть, как это повлияло на разницу между атрибутированными целевыми действиями и инкрементальными целевыми действиями в рамках эксперимента.
Минусы инкрементальных тестов
Главный недостаток инкрементальных тестов в том, что для получения результатов нужно накопить достаточно большой объем данных. А это стоит денег.
Подобного рода функциональность инкрементальных тестов доступна не только в Facebook, но и в других рекламных сетях. Обычно это большие сети, например, Сriteo. Также инкрементальное тестирование может быть доступно в трекинговых платформах вроде AppsFlyer.
Важно упомянуть что подобного рода функциональность, скорее всего, перестанет работать в рамках iOS-устройств, так как новая логика работы IDFA, по сути, отбирает у Facebook возможность качественно сегментировать аудиторию на тестовую и контрольную группы, а затем отслеживать действия этих пользователей в вашем мобильном приложении.
Кастомные тесты на инкрементальность
Встроенные в рекламные сети инкрементальные тесты сильно упрощают работу маркетологам, но такие инструменты оценки эффективности рекламы есть далеко не везде. Это повышает сложность процесса определения реальной эффективности каналов.
В примере выше Facebook выполнял всю работу за вас: определял размер тестовых групп, время проведения эксперимента, статистическую значимость результатов. Но что самое важное — Facebook обеспечивал качество теста в рамках рекламного канала.
В рамках других рекламных каналов функциональности инкрементальных тестов может не быть. В такой ситуации вам нужно будет самостоятельно имитировать инкрементальный тест, а для этого нужно хорошо понимать основные принципы A/B-тестирования.
Скорее всего, у вас не получится провести идеальный эксперимент, так как вы не контролируете целиком сам рекламный канал, но вы все же можете попробовать максимально приблизиться к нужным условиям.
Основные принципы проведения инкрементальных A/B-тестов в рекламных каналах
Перед тем как перейти к обсуждению дизайна экспериментов в рекламных каналах, давайте вспомним основные аспекты проведения A/B-тестов.
При дизайне и проведении A/B-тестов важно соблюдать определенный набор рекомендаций (более детально про А/B-тесты можно прочитать несколько материалов здесь):
— Для этого в рамках предположения идентичности групп рассчитывают вероятность получить наблюдаемую в эксперименте или большую разницу между группами. Такое значение называют p-value.
— Если p-value меньше порогового значения (обычно 5%), то изначальное предположение об идентичности тестовой и контрольной группы отвергается. В этом случае можно с высокой степенью уверенности утверждать, что наблюдаемая разница между группами статистически значима (связана с тестируемым изменением, а не случайностью).
— Если p-value больше порогового значения, то тестируемые версии на основе собранных данных неразличимы. При этом в реальности между ними как может быть различие, которое мы просто не выявили, так его может и не быть. Мы не знаем.
Когда вы тестируете продуктовую фичу, у вас есть возможность изолировать контрольную группу. Такую же возможность дают встроенные инструменты инкрементального тестирования в рекламных сетях.
Но достигнуть чистоты эксперимента в рамках самостоятельного дизайна инкрементального теста достаточно сложно или даже невозможно. Тем не менее, проводить такие исследования все равно будет полезно.
Примеры кастомных инкрементальных тестов
Инкрементальные тесты, где есть возможность разделить аудиторию на тестовую и контрольную группу
Понимая основные принципы A/B-тестирования, вы можете спроектировать инкрементальные тесты, используя доступные инструменты рекламной сети.
Для этого вам нужно будет выделить тестовую и контрольную группу, запустить на них разные рекламные кампании. Ваша задача — в рамках ограниченных возможностей задизайнить эксперимент так, чтобы было очевидно какие продажи инкрементальные, а какие — нет.
Как это выглядит на примере рекламы в Facebook
Через функциональность A/B-testing (обратите внимание, что это другой инструмент — не Conversion Lift, которые мы обсуждали ранее):
При использовании этого метода не стоит вмешиваться в ход эксперимента. Если тестирование будет проводиться с произвольным включением и отключением адсетов, либо внесением других изменений, это может привести к искажению результатов.
Может показаться, что функциональность A/B-тестов и Conversion Lift — это одно и то же, но это не так.
A/B-тесты нацелены на тестирование параметров кампаний или адсетов (гео, возраст, текст и так далее) в случае, когда вы хотите быстро понять, какой параметр работает лучше. При этом и тестовая, и контрольная группа видит рекламу, а результаты оцениваются через стандартную модель атрибуции.
Conversion Lift работает на основе классических A/B-тестов, где части аудитории показывается реклама, а части — нет. Этот подход позволяет измерять причинно-следственную связь, первый — нет (подробнее о различиях этих инструментов читайте здесь).
Через Audiences — использование кастомных аудиторий на основании просмотра видео:
— Audiences – video_valid
— Audiences – video_non_valid
Для правильного проведения A/B-теста меняться должно только одно условие или объект тестирования, поэтому остальные настройки таргетинга должны быть одинаковыми во всех кампаниях или адсетах. Также для чистоты эксперимента у кампаний или групп должен быть равноценный бюджет и одинаковый срок действия.
Недостатком метода использования кастомных аудиторий может быть то, что вам будет сложно набрать нужный объем данных для выводов, так как оптимизатор рекламной сети будет отдавать преимущество адсету с целевым креативом. Для решения этой проблемы и равномерного распределения бюджета между двумя адсетами нужно отключить CBO (Campaign Budget Optimization) в настройках кампании, и тогда у целевого и нецелевого креативов будут равноценные бюджет и охват.
Визуально это выглядит так (1 — тестовая группа, 2 — контрольная группа):
Если в результате такого теста вы увидите конверсии в контрольной группе, где их быть не должно, то вы быстро поймете, что это как раз и есть индикатор неинкрементальных продаж, которые также будут и в тестовой группе.
С помощью такого дизайна мы максимально приблизились к методу работы Conversion Lift. Для формирования контрольной группы нам придется запустить рекламу, не связанную с нашим продуктом, что приведет к дополнительным расходам, которые уйдут на нецелевой креатив. Но именно так мы можем понять реальную инкрементальность рекламной кампании и на основе этой информации скорректировать модель атрибуции.
Важно помнить, что подобного рода эксперименты не дают точности в 100%, поэтому полученные результаты стоит проверить на практике через внесение изменений в ваши модели атрибуции и стратегию управления маркетинг-миксом. Если результаты близки к реальным, ваши действия должны приводить росту целевых метрик. В противном случае, нужно пересмотреть дизайн эксперимента и провести его повторно.
Подобный дизайн может использоваться и других рекламных сетях в интернете.
Региональные тесты и инкрементальность
Для рекламы в офлайне (ТВ, радио, наружная реклама) подойдет метод выделения тестовой и контрольной групп на основе регионов. Для интернета это решение тоже подходит.
Вам нужно подобрать два региона, максимально похожих по поведению целевой аудитории и целевой метрики. А затем в одном из них запустить рекламу, а в другом — нет. И сравнить результаты.
По сути, это тот же A/B-тест, но только со своей спецификой формирования тестовой и контрольной групп. Из плюсов этого подхода — вы платите только за результат, так как контрольной группе не показывается реклама.
Включение и выключение рекламы для оценки инкрементальности
Одним из видов инкрементального тестирования может быть включение и выключение рекламного канала. Такой подход хорошо работает с триггерной рекламой, где нет остаточного эффекта (хвоста целевых действий).
Одним из примеров такого подхода инкрементального тестирования является оценка эффективности покупки контекста на свой бренд.
Практически каждый продукт закупает контекстную рекламу на свой бренд. Обычно это делают из-за того, что по брендовым запросам любят крутиться конкуренты. Иногда же это делают веб-мастера (если у вас есть партнерская программа), перепродавая вам вашу же органику.
ROI таких кампаний при классическом расчете юнит-экономики очень хороший — по брендовым запросам приходит самый целевой трафик. Но если принимать решения на основе этих цифр, то велик шанс потерять деньги.
Вполне возможно, что вы просто платите за тех, кто пришел бы и так, перейдя по первой ссылке в органическом поиск. Или все же конкурент мог бы купить рекламу и перехватить их с помощью рекламного размещения?
Это можно проверить с помощью «шахматки». Принцип метода очень прост: в один день вы включаете рекламу на свой бренд, а в другой день — нет. И потом считаете разницу между целевыми действиями дней без рекламы и дней с рекламой. Более детально мы описали применение этого метода в этом материале.
Поэтапный запуск рекламных каналов с отслеживанием меняющейся эффективности
Бывают ситуации, когда сложно понять инкрементальность каждого рекламного канала. Эта проблема особенно актуальна, если у вас большой маркетинг-микс.
В таких условиях можно применить метод полного отключения всех рекламных каналов с целью получить baseline органических продаж. После получения baseline органики медленно и последовательно запускайте каждый рекламный канал и смотрите на дельту.
Визуально такой процесс должен выглядеть как слоеный пирог, где постепенно добавляются новые каналы.
В качестве альтернативы такому методу вы можете провести тест на прирост. Аномально масштабировать бюджеты на какой-то отдельный канал, чтобы понять его «потолок» и увидеть сопутствующие эффекты на другие каналы.
Из примера ниже можно увидеть, что мы аномально масштабировали расходы и, как следствие, результат канала “FB_ads”. В результате мы увидели его влияние на другие каналы. В итоге совокупная инкрементальность канала составила 85 000 вместо атрибутированных 50 000.
Недостаток такого подхода — его дороговизна. В ситуациях, когда другие каналы уже достаточно крупные, для того, чтобы увидеть эффект, нужно потратить достаточно много денег.
Это не все существующие способы инкрементального тестирования. У каждого канала или набора каналов и продукта есть своя специфика, поэтому комбинация подходов к оценке инкрементальности всегда будет разной. Но если вы поняли основную идею, то вы сможете подобрать оптимальный вариант под свою ситуацию.
Шаг 3. Убедитесь, что вся система оценки эффективности рекламных каналов работает правильно. Понимание инкрементальности одного канала не решает проблему
Практически каждая команда маркетинга работает с множеством рекламных каналов. Эти каналы обычно связаны между собой, так как аудитория в них пересекается.
Визуально пересечение каналов может выглядеть так:
С одной стороны, пересечение каналов — это даже хорошо. Вы повышаете количество касаний пользователя с вашим брендом, что увеличивает вероятность конверсии (создается синергия каналов).
С другой стороны, пересечение каналов сильно усложняет оценку их эффективности, особенно если у вас нет отлаженной единой модели атрибуции. Например, вы используете разные модели атрибуции, которые не связаны между собой (локальные модели и модели встроенные в рекламные каналы, либо сторонние трекеры вроде AppsFlyer).
Практический пример, где понимания инкрементальности одного канала недостаточно
Давайте рассмотрим пример, где у вас возникли сомнения по поводу инкрементальности рекламы на Facebook.
Вы провели инкрементальный тест и выяснили, что лишь часть из атрибутированных продаж инкрементальна. Визуально это выглядит так:
После проведения инкрементального теста вы скорректировали внутреннюю модель атрибуции Facebook и она стала работать точнее.
Но остался вопрос — а кому атрибутировать неинкрементальные продажи Facebook (желтая область на рисунке)? Может быть, какой-то из каналов мы недооценили? Может быть, одно целевое действие было атрибутировано нескольким каналам одновременно и увеличивает Overlap?
Отсутствие ответов на эти вопросы может порождать ошибки в управлении каналами роста. О последствиях — подробнее в этом материале.
Чтобы избежать такого сценария, нужно изучать инкрементальность каждого канала отдельно, а затем на основе полученных знаний оптимизировать все модели атрибуции, которые должны работать как единая система.
Важность отслеживания Overlap при изучении инкрементальности в рамках микса каналов
В ходе оптимизации моделей атрибуции на основе полученных данных об инкрементальности стоит уделить отдельное внимание динамике Overlap. Важно отслеживать, как меняется этот показатель по мере внесения различных изменений — как в модели атрибуции, так и на уровне работы с каналами роста.
Если overlap превышает 10–15%, у вас явная проблема с инкрементальностью. Нужно искать причины и пути уменьшения этого показателя.
Давайте рассмотрим простой пример.
Это говорит о том, что, скорее всего, ваши модели атрибуции в комбинации работают не совсем корректно: одни и те же конверсии атрибутируются разным каналам. Это приводит к тому, что эффективность каждого канала в отдельности выглядит лучше, чем есть на самом деле. Вы переплачиваете за рекламу.
Чтобы понять, где именно находится проблема, надо изучить инкрементальность каждого канала по отдельности. Затем внести корректировки в модели атрибуции и наблюдать в динамике за показателем Overlap и фактическим доходом (важно, чтобы он не упал).
Если вы правильно оптимизировали работу всей системы, Overlap начнет уменьшаться, а фактические продажи при этом существенно не изменятся.
В нашем примере инкрементальность купонного трафика и “G_ads” была ниже, чем показатели моделей атрибуции. После оптимизации Overlap вернулся в норму, а фактические продажи не сильно изменились.
Из примера видно, что нужно не только следить за качеством работы моделей атрибуции, проверять их через инкрементальное тестирование, корректировать логику их работы при необходимости.
Нужно также следить и за работой всей системы оценки эффективности рекламных каналов на верхнем уровне. При необходимости калибровать всю систему в зависимости от изменений ряда динамических параметров — каналов, внешних факторов, продукта, маркетинг-микса, бизнес-задач и так далее.
Шаг 4. Дополнить модель атрибуции на основе результатов тестов
Влияние изучения инкрементальности на модель атрибуции на примере Facebook
Давайте на примере разберем процесс оптимизации модели атрибуции на основе результатов инкрементальных тестов.
Вы запустили стартап, продающий кофе по подписке, и начали привлекать целевых пользователей через Facebook.
Команда приняла решение использовать внутреннюю модель атрибуции Facebook (Click с окном атрибуции в неделю, Post View с окном атрибуции в один день), так как система больше знает о своих клиентах.
Перед запуском рекламы команда приняла решение дополнительно запустить инкрементальный тест канала с помощью встроенного инструмента Facebook — Conversion Lift. По сути, это аналог A/B-теста на уровне рекламного канала.
Реклама стартовала, команде удалось «нащупать» рабочие кампании и начать привлекать клиентов с положительным ROI — на основе внутренней модели атрибуции Facebook.
На этом этапе для продукта работал лишь один канал привлечения. На основе внутренней модели атрибуции Facebook он окупался (то есть ROI > 0). И это даже без учета органики, которая появилась в момент старта кампании, и, скорее всего, являлась ее следствием.
Через некоторое время команда решила проверить результаты теста на инкрементальность:
Результат статистически значим.
Что это значит простыми словами? Facebook определил влияние своей рекламы на целевые действия в продукте и рассчитал инкрементальные продажи. Они равны разнице между результатами тестовой и контрольной группы (1000 – 200 = 800).
Команда пересчитала экономику и скорректировала свои дальнейшие действия. Модель атрибуции Facebook дополнилась пониманием инкрементальности этого канала. Теперь полученные результаты умножались на 0.8.
После того, как была оптимизирована модель атрибуции, были проведены дополнительные исследования (интервью с пользователями, анализ данных), чтобы понять, какому каналу атрибутировать целевые действия, которые приписывал себе Facebook в рамках базовой модели атрибуции. Оказалось что у проекта сильная виральность в результате сарафанного радио (люди рассказывают друг другу о сервисе).
На основе этой информации команда решила усилить этот эффект и запустила реферальную программу для пользователей.
Рекомендации по использованию инкрементального тестирования рекламных каналов
Мы детально разобрались в том, что такое инкрементальность — это истинная ценность рекламного канала для вашего бизнеса, которая выражается в понимании причинно-следственной связи между рекламой в канале и целевыми действиями в продукте.
Модель атрибуции тоже призвана оценивать эффективность канала или кампании, но она выступает в роли компаса, а не системы точных координат. Зато делает это быстро и дешево. Именно поэтому модель атрибуции надо регулярно подстраивать на основе результатов инкрементальных тестов.
Инкрементальность канала определяется через инкрементальные тесты, аналог A/B-тестов в мире продукта. Иногда инкрементальные тесты можно делать с помощью встроенных в рекламный канал инструментов, но иногда придется дизайнить их самостоятельно.
Инкрементальные тесты требуют много времени и стоят дорого. Поэтому проводить их стоит в каналах или в ситуациях, где проявляется проблема инкрементальности. Мы разобрали наиболее распространенные ситуации выше.
Понимание инкрементальности конкретного канала важно, но для эффективного управления маркетинг-миксом нужно понимать, как взаимосвязана инкрементальность разных каналов. Для этого нужно изучать инкрементальность каналов по отдельности, а на основе выработанного понимания устройства системы вносить изменения во все части моделей атрибуции.
Ниже приведены рекомендации по выбору способов инкрементального тестирования разных рекламных каналов.
| Каналы | Методы атрибуции |
| Поисковая реклама по бренду | Шахматка, поэтапный запуск рекламных каналов с отслеживанием меняющейся добавочной ценности |
| ТВ, радио, наружная реклама | Региональные тесты |
| Facebook Ads, Google Ads | Встроенные инструменты, кастомные тесты с нецелевой рекламой и посадочной |
| Реклама у блогеров (YouTube, TikTok, Instagram) | Региональные тесты, поэтапный запуск рекламных каналов с отслеживанием меняющейся добавочной ценности |
Вы прочитали материал, подготовленный GoPractice и Захаром Сташевским, CMO Letyshops.
Если вы хотите глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.
Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.
Еще больше ценных материалов и инсайтов — в телеграм-каналах GoPractice и GoPractice Insights. Добавляйтесь в чат Ask Kevin!, чтобы участвовать в обсуждениях с другими участниками нашего коммьюнити.
Оглавление цикла
Почему при расчете ROI и юнит-экономики нельзя игнорировать влияние используемых моделей атрибуции и инкрементальности рекламы.
Как подбирать модели атрибуции для оценки эффективности рекламных каналов исходя из специфики продукта, маркетинг-микса, бизнес-задачи и условий внешней среды; почему надо пересматривать и адаптировать модель атрибуции в случае изменений этих факторов.
Как атрибутировать рекламу, если в маркетинг-миксе есть каналы, где сложно или невозможно зафиксировать касание пользователя с рекламой: альтернативные способы и их внедрение.
Что такое инкрементальность в маркетинге, чем она отличается от модели атрибуции, какие индикаторы указывают на наличии проблем с инкрементальностью. Подходы к проведению инкрементальных тестов в разных условиях, калибровка модели атрибуции и всей системы оценки эффективности рекламных каналов.
Эссе и образовательные симуляторы про продакт-менеджмент, продуктовую аналитику, маркетинг и рост