Три ошибки при A/B-тестах

A/B-тестами не удивишь: они уже почти наше маркетерско-екоммерсовское все. Как работает тестирование вы, наверняка, и сами знаете, поэтому расскажу о трех ошибках при проведении A/B-тестов, которые встречались мне чаще всего.

Вот эти ошибки:

  1. Делать недостаточно тестов. Забывать мультивариативные и A/A-тесты.
  2. Тестировать вообще все. Эту ошибку еще называют «паралич тестирования».
  3. Решать тестами задачи, которые они не решают.

Недостаточно тестов

A/A-тестирование. Недостаточно сделать второй вариант страницы и начать сравнивать. A/B-тесты показывают статистически верный результат, если на обе страницы приходит аудитория одинакового качества. Поэтому, перед тестированием, полезно проверить аудиторию с помощью A/A-теста.

Создайте копию имеющейся у вас страницы, разделите аудиторию пополам и показывайте каждой половине свой дубликат. Разница между показателями конверсии на обеих страницах должна быть в пределах статистической погрешности. Если разница существенная, проводить A/B-тест нет смысла.

На конверсию влияют два фактора: качество аудитории и качество страницы. Так как страницы в обоих случаях одинаковые, значит аудитория распределилась между страницами неравномерно.

Есть два решения. Во-первых, подождите еще пару дней — накопите больше данных. Если показатели сравняются, значит, столько же времени нужно проводить и A/B-тестирование. Во-вторых, измените аудиторию. Например, попробуйте запустить рекламную кампанию специально для тестов.

Мультивариативные тесты. Представьте, вы сделали новый дизайн лендинга. Проверили аудиторию A/A-тестом и наконец-то сравнили старый дизайн (вариант A) и новый (вариант B). Допустим, новый показал конверсию на 15% выше. Отличный результат! Однако, шампанское пока лучше отложить. Настоящее тестирование только начинается.

Подумайте, что еще способно повлиять на конверсию? Например, для целевой страницы стоит поработать над заголовком, попробовать другое главное изображение, перекомпоновать блок с целевым действием. В процессе мультивариативного тестирования делается несколько вариантов одной страницы, чтобы проверить — можно ли добиться лучших результатов.

Допустим, вы решили протестировать две новые фотографии продукта и другой текст на целевой кнопке. Итого в тест пойдет 6 страниц — оригинал (B) и пять комбинаций (B1—B5). Делите трафик на равные части и ждите пару дней. Я говорю о паре дней чтоб дать хоть какой-то ориентир новичкам. На самом деле, вопрос «Сколько ждать чтоб уж наверняка?» достоин подробного ответа, поэтому мы разберем его в следующем посте.

Дождитесь заметной разницы показателей страниц. Потом, вопреки логике, игнорируйте варианты с высокой конверсией — ищите слабое звено. Если лузер нашелся, с криком «This is Sparta!» исключите его из теста. Распределите его аудиторию по оставшимся и снова подождите пока проявится другой слабак.

Если, сколько бы вы не ждали, показатели не стремятся к существенной разнице, то… отсутствие результата — тоже результат. Значит, ваша аудитория не реагирует на изменение заголовка и изображения. Оставьте тот вариант, который радует ваш глаз и завершите тест. Или найдите другие объекты для исследования.

Если же всегда находилась жертва и через несколько итераций выжил только один, пришло время объявить финальный бой за звание абсолютного чемпиона. Допустим, царь горы — B5. Стряхните пыль с оригинала B и запустите контрольный тест: B и B5. Сохранился ли результат?

Однажды, я две недели тестировал 128 вариантов посадочной страницы. И, когда сравнил победителя с оригиналом, тот оказался на голову лучше. Это значит, что я где-то допустил ошибку и разница в конверсиях была связана с внешними факторами, а не с дизайном. К сожалению, мне пришлось начинать сначала.

Тестирование всего

Все знают историю, как несколько лет назад Мариса Майер, (в то время продакт-менеджер Google, сейчас — генеральный директор Yahoo), решила найти идеальный цвет для ссылок. Она протестировала 40 оттенков синего цвета. По слухам, это увеличило клики по ссылкам на несколько десятых долей процента. С учетом масштаба, это увеличило выручку на несколько десятков миллионов долларов. Для Google десятые доли процента — существенное улучшение, но большинство других компаний не почувствует разницу.

Излишние тесты — крайность. Однажды распробовав A/B-тесты, компании начинают тестировать все. Вообще все. Даже самые дебильные инициативы, которые раньше отстреливались здравым смыслом, начинают без промедления попадать в разработку.

 — Давайте добавим на главную страницу фотографию котика?
 — Кхм. Мы же самосвалы продаем…
 — Люди любят котиков! Не верите, давайте проведем A/B-тест!

Если для увлекшегося маркетолога тестирование — это развлечение, то для компании — трата времени и ресурсов отдела разработки. Окупит ли незначительное изменение конверсии эти вложения?

Вспомните, конверсия различается даже при A/A-тесте. А раз так, то при сравнении оттенков ссылок или размера шрифта показатели тоже будут слегка различаться. Если вы не Google, я рекомендую вам рассматривать такие колебания как статистическую погрешность, а не как доказательство или опровержение своей правоты.

Тесты подходят не для каждой задачи

Меня всегда смущало, что A/B-тесты заточены на увеличение эффективности одного шага. То есть, предположим, вы нашли как сделать так, чтобы с первой ступеньки на вторую стало подниматься больше людей. А что, если до покупки еще целая лестница? Что, если ваша задача — не 100 продаж любыми средствами, а долгосрочная лояльность покупателей? A/B-тест не покажет какой дизайн сделал покупателя постоянным. Более того, иногда тестирование вводит в заблуждение.

Мой любимый пример. Даниил Шулейко из Delivery Club рассказывал как они тестировали два баннера. На одном был бургер с табличкой «Голоден?» (Delivery Club доставляет еду), на другом — привлекательная девушка с такой же табличкой. Несложно догадаться, что конверсия в клики по девушке в пух и прах разбила показатель банера с едой.

Возьмем эту историю за основу и предположим, что у нас есть два одинаковых лендинга с разными картинками.

С конверсией в клик здесь все понятно — девушка wins. Предположите, какой будет конверсия в покупку? Думают ли о еде кликающие на картинку девушки? Ответа не будет :)

* * *

Резюме.

  1. Чтобы быть уверенным в результатах, начинайте с A/A-тестов, чтобы проверить аудиторию. Победителя A/B-теста погоняйте мультивариативным тестированием. Проверяйте результат сравнением победителя с оригиналом.
  2. Тестируйте только то, что может привести к значительным изменениям. Остерегайтесь паралича тестирования. Обычного паралича — тоже.
  3. Проверяйте свою задачу. A/B-тесты хороши на «коротких дистанциях», для остального есть другие инструменты.

P. S. Кстати, 31 мая и 1 июня пройдет двухдневный интенсив «Маркетинг для интернет-предпринимателей». Чтобы узнать подробности, почитать отзывы и записаться, перейдите по банеру.