В CRM-маркетинге естественно хочется охватить как можно больше подходящих клиентов. Если сегмент собран, предложение подготовлено, триггер настроен, кажется странным намеренно исключать из коммуникации часть аудитории. Но именно это иногда и нужно сделать, чтобы понять, работает ли маркетинг вообще.

Если после рассылки 12% клиентов совершили покупку, сама по себе эта цифра почти ничего не доказывает. Возможно, без сообщения купили бы те же 12%. Возможно, 9% совершили бы покупку в любом случае, а реальный вклад кампании составляет только оставшиеся 3 процентных пункта.

Контрольная группа нужна именно для этого: она показывает, что произошло бы с похожими клиентами без маркетингового воздействия.

Продажа после сообщения не всегда произошла из-за сообщения

Это одна из главных ловушек CRM-аналитики.

Клиент получил письмо, через несколько часов оформил заказ, и система записала покупку в результат кампании. Формально всё выглядит логично: коммуникация была, после неё появилась конверсия. Но причинно-следственная связь здесь не доказана.

Клиент мог уже планировать покупку. Мог регулярно заказывать в это время месяца. Мог зайти на сайт самостоятельно. Мог увидеть наружную рекламу, рекомендацию знакомого или объявление в другом канале. Чем выше естественная склонность аудитории к покупке, тем сильнее эта проблема.

Особенно легко переоценить кампании, направленные на активных постоянных клиентов. Они и без маркетингового сообщения покупают чаще остальных, поэтому практически любая рассылка по такому сегменту может показать красивую конверсию.

Контрольная группа помогает отделить покупки после коммуникации от покупок благодаря коммуникации.

Как работает контрольная группа

Допустим, компания выбрала 20 000 клиентов, которым подходит реактивационная кампания. Большая часть аудитории получает сообщение, а случайно выбранные 10% — нет. Эти 2 000 клиентов становятся контрольной группой. После окончания периода наблюдения компания сравнивает результаты.

Например:

  • среди получивших сообщение купили 8% клиентов;
  • в контрольной группе купили 5%.

Без контрольной группы можно было бы сказать, что кампания дала конверсию 8%. Но сравнение показывает, что примерно 5% аудитории совершили бы покупку и без неё.

Дополнительный эффект кампании — разница между этими группами.

В данном примере коммуникация увеличила вероятность покупки примерно на 3 процентных пункта. Именно эта разница гораздо ближе к реальному маркетинговому эффекту, чем все 8% заказов среди получателей.

Зачем маркетологу добровольно отказываться от части охвата

На первый взгляд контрольная группа выглядит как потерянная возможность. Если мы уверены, что предложение хорошее, почему не отправить его всем? Ведь часть клиентов из контрольной группы могла купить именно благодаря сообщению.

Да, могла. Поэтому эксперимент действительно имеет свою цену. Но без него компания может годами тратить гораздо больше денег на кампании, которые почти ничего не меняют.

Представим, что акция регулярно отправляется миллиону клиентов и показывает высокий объём продаж. Если контрольная группа выясняет, что подавляющая часть этих людей покупает с той же частотой и без акции, бизнес получает очень важную информацию. Возможно, скидка не стимулирует спрос, а просто уменьшает маржу по уже существующим заказам.

Небольшая потеря потенциального эффекта на контрольной группе в таком случае становится платой за знание, которое поможет принимать решения на гораздо большей аудитории.

Контрольная группа особенно важна там, где клиент и так мог совершить действие

Чем выше вероятность естественного поведения, тем сложнее оценивать маркетинг без сравнения. Это касается не только покупок.

Например, компания отправляет напоминание о продлении подписки. Значительная часть клиентов всё равно продлила бы её автоматически или самостоятельно.

Или маркетинг запускает сценарий повторной покупки для товара, который обычно заканчивается через месяц. Клиенты как раз подходят к привычному сроку заказа, поэтому высокая конверсия после сообщения ещё не говорит о силе сценария.

Та же проблема возникает с программой лояльности, персональными предложениями, реактивацией, скидками и рекомендациями. Если действие клиента и без маркетинга достаточно вероятно, контрольная группа становится особенно ценной.

Не вся контрольная группа должна быть постоянной

Есть несколько способов её использовать.

Для отдельной кампании можно случайно исключить небольшую часть подходящих клиентов только на время конкретного теста. В следующей кампании состав групп уже будет другим.

Можно создать постоянную контрольную группу для определённого типа сценариев. Например, часть аудитории в течение нескольких месяцев не получает конкретную реактивационную механику, чтобы компания могла оценить её долгосрочное влияние.

Есть и более широкий вариант — holdout-группа, которую временно исключают из определённого набора маркетинговых коммуникаций. Она помогает оценить не эффективность одного письма, а суммарный эффект CRM-маркетинга.

Выбор зависит от вопроса, на который бизнес хочет ответить. Если нужно понять, работает ли конкретный промокод, достаточно локального эксперимента. Если задача — выяснить, увеличивает ли вся программа персональных коммуникаций LTV, понадобится более длительное наблюдение.

Контрольная группа должна быть действительно похожей

Сам факт наличия двух групп ещё не делает эксперимент корректным.

Допустим, коммуникацию получили активные клиенты, а в контрольную группу случайно попало больше людей, которые давно ничего не покупали. Если результаты основной группы окажутся лучше, нельзя будет понять, связано ли это с кампанией или с изначальным различием аудиторий. Поэтому один из самых надёжных способов — случайное распределение подходящих клиентов между группами.

Сначала формируется единая аудитория, отвечающая одинаковым условиям, а уже затем часть людей случайным образом остаётся без коммуникации. Так вероятность систематической разницы между группами становится значительно ниже.

Для сложных экспериментов могут использоваться дополнительные методы балансировки, но сама идея остаётся простой: до начала кампании группы должны быть максимально сопоставимыми.

Размер контрольной группы тоже имеет значение

Если в контрольной группе десять человек, сравнивать результаты почти бессмысленно. Один дополнительный заказ может радикально изменить процент, поэтому вывод будет слишком зависеть от случайности. Но и автоматически оставлять без коммуникации половину базы обычно нет необходимости.

Оптимальный размер зависит от объёма аудитории, обычной конверсии и того, насколько небольшой эффект компания хочет обнаружить. Чем меньше ожидаемая разница между группами, тем больше данных понадобится, чтобы отличить реальный эффект от случайных колебаний.

Поэтому универсального правила вроде «контрольная группа всегда должна составлять 10%» не существует. Для одной кампании этого будет достаточно, для другой — нет.

Маленькая разница тоже может быть важной

Допустим, в основной группе конверсия составила 5,4%, а в контрольной — 5%. На первый взгляд разница всего 0,4 процентного пункта кажется незначительной. Но если кампания отправляется миллионам клиентов и практически ничего не стоит, такой эффект может быть экономически интересным.

Обратная ситуация тоже возможна.

Коммуникация увеличила конверсию с 5% до 6%, но каждому получателю предложили дорогую скидку. Дополнительная прибыль от новых заказов может оказаться ниже стоимости промо.

Поэтому контрольная группа отвечает только на первый вопрос: изменилось ли поведение клиентов благодаря воздействию?

Следующий вопрос — выгодно ли бизнесу это изменение?

Считать нужно не только конверсию

Представим две кампании. Первая увеличила долю покупателей с 10% до 12%. Вторая — с 10% до 11%.

По конверсии первая выглядит лучше. Но в первой использовали скидку 20%, а во второй просто отправили полезное напоминание. После учёта маржи может оказаться, что второй сценарий принёс бизнесу больше дополнительной прибыли.

Поэтому сравнивать основную и контрольную группы можно по разным метрикам:

  • доле покупателей;
  • количеству заказов;
  • выручке на клиента;
  • марже;
  • среднему чеку;
  • повторным покупкам;
  • частоте заказов;
  • LTV;
  • отпискам;
  • активности в канале.

Метрика должна соответствовать цели сценария. Если задача — реактивация, важен возврат клиента. Если компания пытается увеличить ценность базы, имеет смысл смотреть дальше первой покупки.

Контроль помогает увидеть отрицательный эффект

Мы обычно запускаем кампанию в расчёте на улучшение результата. Но иногда маркетинговое воздействие делает ситуацию хуже.

Например, постоянному клиенту отправили скидку, хотя он был готов купить по полной цене. Он совершил заказ, поэтому кампания получила конверсию, но прибыль уменьшилась.

Или из-за слишком частых сообщений часть аудитории начала отписываться. Без контрольной группы это легко списать на обычный фон.

Иногда коммуникация напоминает человеку о подписке, которую он давно не использует, и вместо продления стимулирует его отменить услугу. Такие эффекты не всегда очевидны, если смотреть только на действия после рассылки.

Сравнение с аудиторией без воздействия позволяет обнаружить не только дополнительную пользу, но и дополнительный вред.

Контрольная группа полезна для оценки скидок

Здесь она особенно важна.

Если клиент воспользовался промокодом, возникает сильное ощущение, что именно скидка создала продажу. Но часть покупателей просто воспользовалась выгодой, которая оказалась доступна перед и так запланированным заказом.

Мы уже разбирали эту проблему в контексте инкрементальных продаж: вопрос не в том, сколько заказов прошло с промокодом, а в том, сколько из них не состоялось бы без скидки. Контрольная группа позволяет приблизиться к ответу.

Если клиенты со скидкой покупают 18%, а похожие клиенты без неё — 16%, маркетинговый эффект намного скромнее, чем кажется по отчёту использования промокодов.

После этого можно оценить, окупает ли прирост в 2 процентных пункта скидку, которую получили все покупатели основной группы.

С помощью контроля можно проверять необходимость самой коммуникации

Иногда маркетологи тестируют тему письма A против темы B, кнопку одного цвета против другой или два варианта баннера. Но остаётся без ответа более фундаментальный вопрос: нужно ли было вообще отправлять это сообщение?

Варианты A и B могут показывать почти одинаковый результат, и команда будет долго искать победителя между ними. При этом контрольная группа без сообщения могла бы показать, что обе версии практически не меняют поведение клиентов.

Поэтому полезно разделять два вида экспериментов.

  • Первый отвечает на вопрос: какой вариант коммуникации лучше?
  • Второй — даёт ли коммуникация дополнительный эффект по сравнению с её отсутствием?

Для оценки реального вклада маркетинга второй вопрос часто важнее первого.

В триггерных сценариях контроль тоже возможен

Может показаться, что контрольные группы подходят только для массовых кампаний. Но их можно использовать и в автоматических сценариях.

Допустим, клиент не покупал 60 дней и попадает в реактивационную цепочку. Платформа может случайным образом направлять небольшую долю таких клиентов в контроль: они соответствуют тем же условиям, но сообщение не получают. Со временем накапливаются две сопоставимые группы, и маркетинг видит реальный эффект автоматизации.

То же самое можно делать с брошенной корзиной, рекомендациями, сценариями второй покупки или напоминаниями о пополнении запаса. Главное — чтобы отсутствие коммуникации не создавало для клиента реального риска. Сервисные и критически важные сообщения, конечно, не стоит отключать ради маркетингового эксперимента.

Нельзя смешивать эксперимент с другими воздействиями

Представим, что основная группа получила email со скидкой, а контрольная — нет. Но одновременно первая группа попала ещё и в рекламный ретаргетинг по той же акции. Если она покажет лучшие результаты, будет трудно понять, что именно сработало: email, реклама или комбинация каналов.

Чем сложнее маркетинговая система, тем внимательнее нужно следить за пересекающимися воздействиями. Именно здесь становится полезен единый профиль клиента и координация сценариев. Если данные о коммуникациях находятся в разных системах, эксперимент легко оказывается «загрязнён» воздействиями, о которых аналитик просто не знает.

Хороший тест требует понимать, что происходило с обеими группами не только внутри одной рассылки, но и вокруг неё.

Эффект стоит смотреть не только сразу после кампании

Некоторые коммуникации меняют поведение на более длинном горизонте:

  • Скидка может увеличить покупку сегодня, но снизить вероятность заказа по полной цене через месяц.
  • Реактивационная кампания может вернуть клиента, после чего он снова станет постоянным.
  • Интенсивная серия сообщений способна дать быстрый всплеск заказов, но одновременно увеличить количество отписок.

Если смотреть только на несколько дней после рассылки, часть этих эффектов останется незаметной. Поэтому окно наблюдения стоит выбирать с учётом покупательского цикла и задачи кампании. Иногда достаточно недели. Иногда имеет смысл сравнивать группы несколько месяцев.

Не каждый сценарий нужно тестировать бесконечно

Контрольная группа — инструмент получения знания, а не обязательный ритуал для каждой отправки. Если компания уже много раз проверила один и тот же устойчивый сценарий и его эффект хорошо подтверждён, постоянное удержание большой контрольной группы может перестать быть полезным.

Но условия меняются.

Поведение клиентов, рынок, ассортимент, каналы и сами коммуникации со временем становятся другими. Поэтому даже работающие механики полезно периодически перепроверять.

Особенно это касается сценариев, которые стоят бизнесу дорого: больших скидок, бонусов, платных каналов или сложных моделей персонализации. Чем выше цена воздействия, тем важнее понимать его инкрементальную ценность.

Что измерять в эксперименте, лучше решить заранее

Если сначала провести кампанию, а потом искать в данных красивый результат, вероятность случайных выводов возрастает.

До старта лучше зафиксировать:

  • какую гипотезу проверяем;
  • кто входит в эксперимент;
  • какая группа получает воздействие;
  • что происходит с контрольной группой;
  • какая метрика считается основной;
  • сколько длится период наблюдения;
  • какой результат будет означать, что гипотеза сработала.

Это дисциплинирует эксперимент и не позволяет менять критерии успеха уже после получения данных.

Иногда лучший результат — понять, что кампанию можно отменить

Кажется странным радоваться эксперименту, который показал отсутствие эффекта. Но для бизнеса это может быть очень полезным результатом.

Если маркетинг выясняет, что определённая рассылка почти не меняет поведение клиентов, её можно отключить. Компания сокращает количество сообщений, экономит ресурсы, уменьшает маркетинговое давление и освобождает место для действительно полезных коммуникаций.

Ещё лучше, если выясняется, что сценарий нужен только части аудитории. Тогда вместо массовой кампании можно оставить её для сегментов, где инкрементальный эффект действительно существует. Контрольная группа в этом случае помогает не просто оценивать маркетинг, а постепенно убирать из него лишнее.

Не отправить сообщение иногда полезнее, чем отправить

CRM-маркетинг привык измерять действия: сколько писем отправили, сколько клиентов кликнули, сколько заказов появилось после кампании. Но эти цифры не отвечают на главный вопрос — что из этого произошло именно благодаря маркетингу.

Контрольная группа создаёт точку сравнения. Она позволяет увидеть естественное поведение аудитории и отделить его от эффекта коммуникации.

Да, ради этого части клиентов приходится намеренно ничего не отправлять. На коротком горизонте кажется, что компания теряет потенциальные продажи. Зато на длинном она получает гораздо более ценную вещь — понимание того, какие коммуникации действительно меняют поведение клиентов, а какие просто оказываются рядом с покупкой.

Именно поэтому иногда один из самых полезных маркетинговых сценариев — тот, в котором ничего не происходит.