Когда говорят об A/B-тестах в email-маркетинге, первым обычно вспоминают тему письма. Одной половине аудитории отправляют вариант «Скидка 20% до воскресенья», другой — «Только три дня: специальное предложение», а затем сравнивают открытия.

Такой тест действительно может быть полезен, но возможности экспериментов в CRM-маркетинге гораздо шире. Менять можно не только формулировку сообщения, но и само предложение, аудиторию, момент контакта, канал, количество сообщений и даже проверять, нужно ли вообще обращаться к клиенту в этой ситуации.

Именно такие эксперименты чаще отвечают на вопросы, способные заметно изменить маркетинговую стратегию. Не «какой заголовок лучше?», а «что действительно меняет поведение клиента?»

Сначала нужно понять, что именно мы тестируем

Хороший A/B-тест начинается не с двух вариантов письма, а с гипотезы.

Например: «Клиенты чаще совершают повторную покупку, если напомнить им о товаре через 25 дней после предыдущего заказа, а не через 30». Или: «Для этой аудитории бонус 500 рублей работает лучше скидки 10%».

Тогда эксперимент проверяет конкретное предположение, а результат помогает принять решение.

Если же команда просто делает два разных баннера и смотрит, какой собрал больше кликов, полученные данные тоже могут быть интересны. Но далеко не всегда они дают знание, которое можно использовать за пределами одной кампании. Чем точнее сформулирован вопрос до теста, тем проще понять, что делать после него.

Тестировать можно само предложение

Иногда гораздо важнее изменить не оформление коммуникации, а её содержание.

Одной группе можно предложить скидку, другой — бонусы на следующую покупку. Можно сравнить бесплатную доставку с процентной скидкой, подарок с промокодом или дополнительную услугу с денежной выгодой.

Например, интернет-магазин хочет вернуть клиентов, которые не покупали три месяца. Вариант A предлагает скидку 15%, вариант B — бесплатную доставку.

Если второй вариант даёт сопоставимый результат, но обходится бизнесу дешевле, эксперимент помогает не просто повысить конверсию, а изменить экономику реактивационной кампании. Поэтому смотреть стоит не только на количество покупок. В зависимости от механики могут быть важны маржа, средний чек, стоимость стимула и дальнейшее поведение клиентов.

Размер скидки тоже стоит проверять

Маркетинг нередко исходит из предположения, что более крупная скидка должна сильнее мотивировать клиента. Но зависимость не всегда линейная.

Скидка 15% может дать почти такую же конверсию, как 20%. Тогда дополнительные пять процентных пунктов компания фактически раздаёт тем, кому и меньшего стимула было достаточно, чтобы убедить в покупке.

В другом сегменте разница между 5% и 10%, наоборот, может оказаться существенной.

Эксперимент позволяет искать не максимальную скидку, которая приносит продажи, а минимальный стимул, достаточный для изменения поведения. Для бизнеса эта разница может быть гораздо важнее нескольких дополнительных открытий письма.

Время отправки — это не только утро или вечер

Тест времени часто сводят к вопросу, в какой час отправлять рассылку. Для CRM-маркетинга интереснее другой уровень: в какой момент клиентского пути нужно обращаться к человеку.

Например, когда напоминать о повторной покупке: через 20, 30 или 40 дней? Через сколько минут после брошенной корзины отправлять сообщение? Когда считать клиента засыпающим и запускать реактивацию?

Здесь выбор момента напрямую связан с поведением клиента. Слишком раннее напоминание может оказаться бесполезным: потребность ещё не возникла. Слишком позднее — прийти после того, как покупатель уже выбрал конкурента. Поэтому данные о покупательском цикле можно не только анализировать, но и проверять экспериментально.

Частоту сообщений тоже можно тестировать

Если один сценарий предусматривает три сообщения, это ещё не значит, что все три действительно нужны. Одной группе можно отправить всю цепочку, другой — только первое и третье сообщение. Третьей — одно напоминание. После этого имеет смысл сравнить не только конверсию, но и отписки, жалобы, количество контактов и итоговую прибыль.

Вполне может оказаться, что три письма дают немного больше заказов, но одновременно заметно увеличивают отписки. Или второе сообщение почти ничего не добавляет к результату первого. Так A/B-тест помогает оптимизировать не только эффективность коммуникации, но и маркетинговое давление.

Один и тот же сценарий можно проверить в разных каналах

Email, push, SMS и мессенджеры отличаются стоимостью, скоростью и привычками аудитории. Поэтому выбор канала тоже может быть предметом эксперимента.

Например, одна часть клиентов получает напоминание о бонусах по email, другая — push. Если результат одинаковый, но один канал обходится дешевле или вызывает меньше раздражения, это уже основание изменить сценарий.

Можно проверять и комбинации каналов: только email против email + push, push против SMS, последовательную цепочку против одного контакта. При этом важно не превращать эксперимент в ситуацию, где группа B просто получает больше воздействий. Иначе мы узнаем, помогает ли дополнительное сообщение, но не обязательно поймём, какой канал работает лучше.

Аудиторию тоже можно тестировать

Иногда проблема находится не в сообщении, а в том, кому его отправляют.

Допустим, компания запускает реактивацию через 90 дней после последней покупки. Но у разных клиентов нормальный цикл возвращения отличается. Можно сравнить сценарий для тех, кто не покупал 60 дней, и тех, кто отсутствует 90 дней. Или проверить предложение отдельно на клиентах с разной историей покупок, ценностью или интересом к категории.

Правда, здесь нужно быть аккуратнее с термином A/B-тест. Если группы изначально отличаются по поведению, прямое сравнение их конверсии ещё не показывает, что одна механика лучше другой. Корректнее экспериментировать внутри сопоставимых сегментов: например, случайно разделить клиентов с одинаковым сроком отсутствия на несколько групп и дать им разные предложения.

Можно тестировать условия входа в сценарий

Это один из особенно интересных вариантов для CRM-маркетинга.

Предположим, реактивационный сценарий запускается, когда клиент не покупал 90 дней. Но почему именно 90? Можно проверить разные правила входа. Например, для части сопоставимой аудитории реагировать раньше, для другой — позже, а затем смотреть, какой подход даёт больше дополнительных возвратов при сопоставимых затратах.

То же самое относится к другим условиям: количеству просмотренных товаров, стоимости корзины, числу предыдущих покупок, уровню накопленных бонусов. Так тестируется уже не письмо, а сама логика автоматизации.

Персонализацию тоже нужно проверять, а не считать полезной по умолчанию

Кажется очевидным, что персонализированное сообщение должно работать лучше универсального. Но любая персонализация требует данных, настройки и поддержки, поэтому её ценность лучше подтверждать.

Например, одной группе можно показывать товары из любимой категории, другой — общие бестселлеры. Или сравнить предложение на основе последней покупки с рекомендациями на основе более длинной истории.

Если сложная модель персонализации улучшает результат на доли процента, возникает вопрос, оправдывает ли эффект стоимость её поддержки.

Иногда простое правило работает почти так же хорошо, как сложный алгоритм. Эксперимент помогает заметить эту разницу до того, как бизнес вложит слишком много ресурсов в технологию.

Можно тестировать не только «что отправить», но и «отправлять ли вообще»

Это важное продолжение темы контрольных групп.

В классическом A/B-тесте вариант A конкурирует с вариантом B: два предложения, два текста или два момента отправки. Но оба варианта предполагают, что коммуникация клиенту нужна. Иногда полезнее добавить вариант C — ничего не отправлять.

Предположим, письмо A приводит к покупке 11% клиентов, письмо B — 12%. Кажется, B победило.

Но если среди клиентов, которым ничего не отправили, покупку совершили 10,8%, картина меняется. Первое письмо практически не повлияло на поведение, а эффект второго существенно меньше, чем можно было подумать по одной только конверсии. Без контрольной группы мы выбираем лучшую коммуникацию. С ней можем понять, нужна ли коммуникация вообще.

Метрика должна соответствовать гипотезе

Одна из распространённых ошибок — выбирать победителя по показателю, который проще всего получить.

Для темы письма естественно посмотреть open rate. Но если задача кампании — продажа, рост открытий сам по себе ещё не означает улучшения бизнес-результата.

Вариант A может открываться чаще благодаря интригующей теме, но хуже приводить к покупке. Вариант B — получать меньше открытий, зато приводить более заинтересованных клиентов. Поэтому метрика зависит от теста.

Для разных экспериментов это могут быть конверсия в покупку, дополнительная прибыль, повторный заказ, средний доход на клиента, использование бонусов, отписка или другая величина. Важно определить основную метрику заранее, а не выбирать после эксперимента ту, по которой один из вариантов случайно оказался красивее.

Чем больше показателей смотрим, тем легче случайно найти победу

Представим, что два варианта почти не отличаются. Один немного лучше по открытиям, другой — по кликам, первый — по среднему чеку, второй — по конверсии, а ещё где-то нашлась разница среди пользователей мобильного приложения.

Если достаточно долго смотреть на данные под разными углами, почти всегда найдётся что-нибудь интересное. Но это ещё не означает реального эффекта.

Поэтому перед тестом полезно определить главную метрику и несколько дополнительных показателей, которые помогают интерпретировать результат. Тогда эксперимент не превращается в поиск случайной цифры, подтверждающей желаемый вывод.

Один тест — одна главная гипотеза

Если в варианте A изменить тему, баннер, размер скидки, кнопку и время отправки, а вариант B оставить прежним, результат практически невозможно интерпретировать.

Допустим, A победил. Что именно сработало? Новая тема? Более крупная скидка? Удачное время? Другой дизайн?

Такой эксперимент показывает, что один комплект решений оказался лучше другого, но почти не даёт знания для следующих кампаний. Если задача именно обучаться на тестах, лучше менять один существенный фактор или строить эксперимент так, чтобы влияние отдельных переменных можно было разделить. Иначе тест помогает выбрать конкретный вариант, но не помогает понять клиентов.

Маленькая аудитория может сделать тест бессмысленным

Два варианта редко показывают абсолютно одинаковый результат. Даже без реального различия один получит немного больше кликов или заказов просто из-за случайности. Чем меньше аудитория и чем реже целевое действие, тем сильнее эти колебания.

Если по варианту A купили 7 человек, а по B — 9, объявлять второй подход победителем обычно рано. Разница может исчезнуть при следующей сотне клиентов.

Размер выборки зависит от обычной конверсии, ожидаемой разницы и требуемой надёжности результата. Поэтому универсального количества вроде «достаточно тысячи получателей» не существует.

Если аудитория небольшая, иногда лучше провести более длинный тест или проверять крупные изменения, способные дать заметный эффект, вместо попытки выбирать между очень похожими вариантами.

Не стоит останавливать тест при первом красивом результате

Утром вариант A лидирует на 20%, и возникает желание немедленно завершить эксперимент. К вечеру разница сокращается, а через несколько дней впереди уже B. Такие колебания особенно вероятны на ранних этапах, когда данных ещё мало.

Поэтому условия завершения лучше определить заранее: длительность, необходимый объём наблюдений или статистические критерии. Это снижает вероятность остановить эксперимент именно в тот момент, когда случайность показывает удобный результат.

Важно учитывать и покупательский цикл. Если люди часто открывают письмо сегодня, а покупают через несколько дней, тест нельзя завершать по продажам через два часа после отправки.

Победитель одного сегмента не обязательно победит для всех

Общий результат может скрывать важные различия.

Например, вариант A лучше работает на новых клиентах, а B — на постоянных. Или email выигрывает среди одной возрастной группы, тогда как push эффективнее среди активных пользователей приложения.

Это не означает, что после каждого теста нужно разрезать данные на десятки микросегментов в поисках случайных закономерностей. Но если различия между группами были частью гипотезы или имеют понятное объяснение, их полезно учитывать.

В перспективе A/B-тесты могут привести не к одному универсальному победителю, а к разным правилам для разных типов клиентов.

Не каждый тест нужно превращать в постоянное правило

Клиенты меняются, рынок меняется, сама коммуникация постепенно теряет новизну. Победа в одном эксперименте не означает, что вариант останется лучшим навсегда.

Например, определённый формат предложения мог хорошо работать перед Новым годом и перестать работать весной. Канал мог быть эффективным, пока аудитория не стала получать слишком много уведомлений. Поэтому особенно важные решения полезно периодически перепроверять.

A/B-тест — это не способ раз и навсегда найти «правильную кнопку». Это инструмент, который помогает уменьшать неопределённость в конкретной ситуации.

Самые полезные тесты часто проверяют не креатив, а стратегию

Темы писем, кнопки и изображения действительно имеют значение. Но потенциальный эффект таких изменений часто ограничен.

Гораздо сильнее результат могут изменить вопросы другого уровня:

  • Когда обращаться к клиенту?
  • Нужна ли ему скидка?
  • Какой стимул предложить?
  • Нужно одно сообщение или три?
  • Какой канал использовать?
  • Кого вообще включать в сценарий?
  • Стоит ли отправлять сообщение, если клиент и без него с высокой вероятностью совершит покупку?

Именно здесь A/B-тест превращается из инструмента оптимизации письма в инструмент развития CRM-маркетинга.

Хороший эксперимент оставляет после себя не только победителя

После слабого теста команда узнаёт: «зелёная кнопка дала на 2% больше кликов». После хорошего — получает более общее знание о поведении аудитории.

Например: постоянным клиентам бесплатная доставка почти так же привлекательна, как скидка 10%. Реактивация через 60 дней эффективнее, чем через 90. Второе напоминание почти не добавляет продаж, но увеличивает отписки. Push лучше работает для срочных предложений, а email — для длинных подборок.

Эти выводы можно использовать не только в одной кампании. Они постепенно меняют правила сегментации, сценарии и саму коммуникационную стратегию.

Поэтому ценность A/B-тестирования в CRM-маркетинге не в том, чтобы бесконечно создавать по две версии каждого письма. Она в том, чтобы системно проверять маркетинговые предположения вместо того, чтобы принимать их за факты.

И чем важнее решение для экономики и клиентского опыта, тем полезнее проверить его экспериментом до того, как превратить в постоянное правило.