Как проводить А/В тестирование и зачем это вашему бизнесу

Когда маркетологи, как мы, создают целевые страницы, пишут тексты электронных писем или разрабатывают кнопки призыва к действию, может возникнуть соблазн использовать нашу интуицию, чтобы предсказать, что заставит людей нажать на кнопку и конвертировать.

Но принятие маркетинговых решений на основе «предчувствия» может нанести вред результатам. Вместо того чтобы полагаться на догадки или предположения при принятии таких решений, гораздо лучше провести A/B-тест — иногда его называют сплит-тестом.

A/B-тестирование может быть ценным, потому что разные аудитории ведут себя, ну, по-разному. То, что работает для одной компании, не обязательно сработает для другой. На самом деле, эксперты по оптимизации коэффициента конверсии (CRO) ненавидят термин «лучшие практики», потому что на самом деле это может быть не самая лучшая практика для вас.

Но A/B-тесты также могут быть сложными. Если вы не будете осторожны, вы можете сделать неверные предположения о том, что нравится людям и что заставляет их нажимать — решения, которые могут легко дезинформировать другие части вашей стратегии.

Продолжайте читать, чтобы узнать, как проводить A/B-тестирование до, во время и после сбора данных, чтобы вы могли принять наилучшие решения на основе полученных результатов.

Содержание
  1. Что такое A/B тестирование?
  2. Пример 1: Тест пользовательского опыта
  3. Пример 2: Тест дизайна
  4. А/Б тестирование в маркетинге
  5. Как проводить A/B-тестирование
  6. 1. Выберите одну переменную для тестирования
  7. 2. Определите свою цель
  8. 3. Создайте «контроль» и «соперника»
  9. 4. Разделите группы испытуемых поровну и случайным образом
  10. 5. Определите размер выборки (если применимо)
  11. 6. Решите, насколько значительными должны быть результаты
  12. 7. Убедитесь, что вы проводите только один тест одновременно в любой кампании
  13. Во время проведения А/Б-теста
  14. 8. Используйте инструмент для А/Б-тестирования
  15. 9. Тестируйте обе вариации одновременно
  16. 10. Дайте A/B-тесту достаточно времени, чтобы получить полезные данные
  17. 11. Запросите отзывы реальных пользователей
  18. После проведения А/Б-теста
  19. 12. Сосредоточьтесь на целевой метрике
  20. 13. Измерьте значимость результатов с помощью нашего калькулятора A/B-тестирования
  21. 14. Примите меры на основе полученных результатов
  22. 15. Планируйте следующее А/Б-тестирование
  23. Примеры A/B-тестирования
  24. 1. Поиск по сайту
  25. 2. Мобильные CTA

Что такое A/B тестирование?

A/B-тестирование, также известное как сплит-тестирование, — это маркетинговый эксперимент, в ходе которого вы разделяете свою аудиторию на несколько вариантов кампании и определяете, какой из них работает лучше. Другими словами, вы можете показать версию А маркетингового контента одной половине вашей аудитории, а версию Б — другой.

Чтобы провести A/B-тест, вам нужно создать две разные версии одного фрагмента контента, изменив одну переменную. Затем вы покажете эти две версии двум одинаковым по размеру аудиториям и проанализируете, какая из них оказалась лучше в течение определенного периода времени (достаточно длительного, чтобы сделать точные выводы о результатах).

A/B-тестирование помогает маркетологам наблюдать за тем, как одна версия маркетингового контента работает рядом с другой. Вот два типа A/B-тестов, которые вы можете провести в попытке увеличить коэффициент конверсии вашего сайта:

Пример 1: Тест пользовательского опыта

Возможно, вы хотите проверить, повысит ли коэффициент кликов определенная кнопка призыва к действию (CTA), перемещенная в верхнюю часть главной страницы, вместо того чтобы оставить ее в боковой панели.

Для A/B-тестирования этой теории вы создадите другую, альтернативную веб-страницу, которая будет использовать новое размещение CTA. Существующий дизайн с CTA в боковой панели — или «контрольный» — это версия А. Версия В с CTA в верхней части — это «претендент». Затем вы протестируете эти две версии, показав каждую из них заранее определенному проценту посетителей сайта. В идеале процент посетителей, увидевших любую из версий, должен быть одинаковым.

Пример 2: Тест дизайна

Возможно, вы хотите выяснить, может ли изменение цвета вашей кнопки призыва к действию (CTA) увеличить количество кликов.

Для A/B-тестирования этой теории вы разработаете альтернативную кнопку CTA с другим цветом кнопки, которая ведет на ту же целевую страницу, что и контрольная. Если вы обычно используете красную кнопку призыва к действию в своем маркетинговом контенте, а зеленый вариант получает больше кликов после проведения A/B-теста, это может послужить основанием для изменения цвета кнопок призыва к действию по умолчанию на зеленый впредь.

А/Б тестирование в маркетинге

А/Б-тестирование имеет множество преимуществ для маркетинговой команды, в зависимости от того, что именно вы решили протестировать. Но прежде всего, эти тесты ценны для бизнеса, поскольку они не требуют больших затрат, но приносят большую пользу.

Допустим, вы наняли создателя контента с зарплатой $50 000 в год. Этот автор публикует пять статей в неделю для блога компании, в общей сложности 260 статей в год. Если средняя статья в блоге компании приносит 10 лидов, то можно сказать, что создание 10 лидов обходится компании чуть более чем в $192 ($50 000 зарплаты ÷ 260 статей = $192 за статью). Это солидная сумма.

Теперь, если вы попросите этого создателя контента потратить два дня на разработку A/B-теста для одной статьи, вместо того чтобы написать две статьи за этот период времени, вы можете сжечь $192, потому что публикуете на одну статью меньше. Но если этот A/B-тест покажет, что вы можете увеличить коэффициент конверсии каждой статьи с 10 до 20 лидов, вы только что потратили 192 доллара, чтобы потенциально удвоить количество клиентов, которых ваш бизнес получает с вашего блога.

Если тест провалится, вы, конечно, потеряете $192 — но теперь вы можете сделать следующий A/B-тест еще более обоснованным. Если в результате второго теста удастся удвоить коэффициент конверсии вашего блога, вы в итоге потратили $284, чтобы потенциально удвоить доход вашей компании. Неважно, сколько раз ваш A/B-тест провалится, его конечный успех почти всегда перевесит затраты на его проведение.

Существует множество типов сплит-тестов, которые вы можете провести, чтобы эксперимент в итоге оправдал себя. Вот некоторые общие цели, которые преследуют маркетологи при проведении A/B-тестирования:

Увеличение посещаемости сайта: Тестирование различных заголовков статей в блоге или заголовков веб-страниц может изменить количество людей, которые перейдут на ваш сайт по гиперссылке. Это может привести к увеличению посещаемости сайта.

Повышение коэффициента конверсии: Тестирование различных расположений, цветов или даже якорного текста на ваших CTA может изменить количество людей, которые нажимают на эти CTA, чтобы попасть на целевую страницу. Это может увеличить количество людей, которые заполняют формы на вашем сайте, отправляют вам свою контактную информацию и «конвертируются» в лид.

Снижение показателя отказов: если посетители вашего сайта быстро уходят (или «отскакивают») после посещения вашего сайта, тестирование различных вступлений к записям в блоге, шрифтов или изображений на главной странице может снизить этот показатель и удержать больше посетителей.

Снижение количества брошенных корзин: Предприятия электронной коммерции сталкиваются с тем, что в среднем 70% клиентов покидают сайт с товарами в корзине. Это явление известно как «оставление корзины» и, конечно же, наносит ущерб любому интернет-магазину. Тестирование различных фотографий товаров, дизайна страниц оформления заказа и даже того, где отображается стоимость доставки, может снизить этот показатель оставленных покупок.

Теперь давайте пройдемся по контрольному списку для настройки, проведения и измерения результатов A/B-тестирования.

Как проводить A/B-тестирование

Перед началом А/Б-теста

Давайте рассмотрим шаги, которые необходимо предпринять перед началом A/B-теста.

1. Выберите одну переменную для тестирования

В процессе оптимизации веб-страниц и электронных писем вы можете обнаружить, что существует целый ряд переменных, которые вы хотите протестировать. Но чтобы оценить эффективность изменений, необходимо выделить одну «независимую переменную» и измерить ее эффективность. В противном случае вы не сможете быть уверены в том, какая переменная была ответственна за изменения в производительности.

Вы можете тестировать несколько переменных для одной веб-страницы или электронного письма — просто убедитесь, что вы тестируете их по одной.

Чтобы определить переменную, посмотрите на элементы ваших маркетинговых ресурсов и их возможные альтернативы по дизайну, формулировкам и расположению. Также можно протестировать тематические строки писем, имена отправителей и различные способы персонализации писем.

Помните, что даже простые изменения, например, изменение изображения в письме или слов на кнопке призыва к действию, могут привести к значительным улучшениям. Более того, такие изменения обычно легче измерить, чем большие.

Примечание: бывают случаи, когда имеет смысл тестировать несколько переменных, а не одну. Такой процесс называется многомерным тестированием. Если вы сомневаетесь, стоит ли вам проводить A/B-тест или многомерное тестирование, вот полезная статья от Optimizely, в которой сравниваются эти два процесса.

2. Определите свою цель

Хотя в ходе одного теста вы будете измерять несколько показателей, перед проведением теста выберите основной показатель, на который вы будете ориентироваться. Фактически, сделайте это еще до того, как установите вторую вариацию. Это ваша «зависимая переменная», которая изменяется в зависимости от того, как вы управляете независимой переменной.

Подумайте, где вы хотите видеть эту зависимую переменную в конце сплит-теста. Вы можете даже выдвинуть официальную гипотезу и проанализировать результаты, основываясь на этом прогнозе.

Если вы подождете до окончания тестирования, чтобы подумать о том, какие показатели важны для вас, каковы ваши цели и как предлагаемые вами изменения могут повлиять на поведение пользователей, то, возможно, вы не настроите тест наиболее эффективным образом.

3. Создайте «контроль» и «соперника»

Теперь у вас есть независимая переменная, зависимая переменная и желаемый результат. Используйте эту информацию, чтобы создать неизмененную версию того, что вы тестируете, в качестве контрольного сценария. Если вы тестируете веб-страницу, это будет неизмененная страница в том виде, в котором она уже существует. Если вы тестируете целевую страницу, это будет дизайн целевой страницы и копия, которую вы обычно используете.

Затем создайте претендента — измененный веб-сайт, целевую страницу или электронное письмо, которые вы будете тестировать в сравнении с контрольными. Например, если вам интересно, повлияет ли добавление отзыва на целевую страницу на конверсию, создайте контрольную страницу без отзывов. Затем создайте контрольную страницу с отзывом.

4. Разделите группы испытуемых поровну и случайным образом

Для тестов, где у вас больше контроля над аудиторией — например, в случае с электронной почтой — вам необходимо провести тестирование с двумя или более одинаковыми аудиториями, чтобы получить убедительные результаты.

5. Определите размер выборки (если применимо)

Способ определения размера выборки также зависит от инструмента A/B-тестирования, а также от типа проводимого A/B-теста.

Если вы проводите A/B-тестирование электронной почты, то, скорее всего, вы захотите отправить A/B-тест на подмножество вашего списка, достаточно большое для получения статистически значимых результатов. В конце концов, вы выберете победителя и отправите победившую вариацию остальной части списка. (Подробнее о расчете размера выборки см. в электронной книге «Наука раздельного тестирования» в конце этой статьи).

Если вы являетесь клиентом HubSpot Enterprise, вам будет легче определить размер группы выборки с помощью ползунка. Он позволит вам провести А/Б-тестирование 50/50 с любым размером выборки — хотя для всех других сплит-тестов требуется список не менее 1 000 получателей.

Если вы тестируете что-то, что не имеет конечной аудитории, например, веб-страницу, то продолжительность тестирования напрямую влияет на размер выборки. Вам нужно будет проводить тест достаточно долго, чтобы получить значительное количество просмотров. В противном случае будет трудно сказать, была ли статистически значимая разница между вариантами.

6. Решите, насколько значительными должны быть результаты

Выбрав целевую метрику, подумайте, насколько значимыми должны быть результаты, чтобы оправдать выбор одной вариации перед другой. Статистическая значимость — это очень важная часть процесса A/B-тестирования, которую часто неправильно понимают. Если вам нужно освежить эту тему, я рекомендую прочитать эту статью в блоге о статистической значимости с точки зрения маркетинга.

Чем выше процент вашего уровня доверия, тем более уверенными вы можете быть в своих результатах. В большинстве случаев вам нужен уровень доверия не менее 95%, а лучше даже 98%, особенно если постановка эксперимента отняла много времени. Однако иногда имеет смысл использовать более низкий уровень доверия, если вам не нужно, чтобы тест был таким строгим.

Мэтт Рео, старший инженер-программист компании HubSpot, любит думать о статистической значимости как о ставке. На какие коэффициенты вам удобно делать ставки? Сказать: «Я на 80% уверен, что это правильный дизайн, и готов поставить на это все» — это то же самое, что провести A/B-тест до 80% значимости, а затем объявить победителя.

Рео также говорит, что вам, скорее всего, понадобится более высокий порог доверия при тестировании чего-то, что лишь незначительно повышает коэффициент конверсии. Почему? Потому что случайная дисперсия, скорее всего, будет играть большую роль.

«Примером, когда мы можем чувствовать себя более уверенно, снижая порог доверия, является эксперимент, который, вероятно, повысит конверсию на 10% или более, например, изменение дизайна раздела с героями», — объясняет он.

«Отсюда следует вывод: чем радикальнее изменения, тем менее научно мы должны подходить к процессу. Чем конкретнее изменение (цвет кнопки, микрокопия и т.д.), тем более научными мы должны быть, потому что это изменение с меньшей вероятностью окажет большое и заметное влияние на коэффициент конверсии».

7. Убедитесь, что вы проводите только один тест одновременно в любой кампании

Тестирование нескольких вещей в рамках одной кампании — даже если это не на одном и том же активе — может усложнить результаты. Например, если вы проводите A/B-тестирование кампании электронной почты, которая направляет на целевую страницу, одновременно с A/B-тестированием этой целевой страницы, как вы сможете узнать, какое изменение вызвало увеличение числа лидов?

Во время проведения А/Б-теста

Давайте рассмотрим шаги, которые необходимо предпринять во время A/B-теста.

8. Используйте инструмент для А/Б-тестирования

Чтобы провести A/B-тест на своем сайте или в электронном письме, вам необходимо использовать инструмент A/B-тестирования. Если вы являетесь клиентом HubSpot Enterprise, в программном обеспечении HubSpot есть функции, позволяющие проводить A/B-тестирование электронных писем.

Если вы не являетесь клиентом HubSpot Enterprise, другие варианты включают Google Analytics, который позволяет проводить A/B-тестирование до 10 полных версий одной веб-страницы и сравнивать их эффективность на случайной выборке пользователей.

9. Тестируйте обе вариации одновременно

Время играет важную роль в результатах вашей маркетинговой кампании, будь то время суток, день недели или месяц года. Если бы вы запустили версию А в течение одного месяца, а версию Б — месяцем позже, как бы вы узнали, вызвано ли изменение эффективности другим дизайном или другим месяцем?

При проведении A/B-тестов необходимо запускать две вариации одновременно, иначе вы можете остаться в сомнениях относительно своих результатов.

Единственным исключением здесь является тестирование времени, например, определение оптимального времени для рассылки электронных писем. Это отличный вариант для тестирования, поскольку в зависимости от того, что предлагает ваш бизнес и кто ваши подписчики, оптимальное время для привлечения подписчиков может значительно отличаться в зависимости от отрасли и целевого рынка.

10. Дайте A/B-тесту достаточно времени, чтобы получить полезные данные

Опять же, вам нужно убедиться, что вы проводите тест достаточно долго, чтобы получить значительный объем выборки. В противном случае будет трудно сказать, была ли статистически значимая разница между двумя вариантами.

Сколько времени достаточно? В зависимости от вашей компании и того, как вы проводите A/B-тестирование, получение статистически значимых результатов может занять несколько часов… или дней… или недель. Значительную роль в получении статистически значимых результатов играет количество трафика, поэтому если ваш бизнес не имеет большого трафика на вашем сайте, вам потребуется гораздо больше времени для проведения A/B-тестирования.

11. Запросите отзывы реальных пользователей

A/B-тестирование имеет много общего с количественными данными… но это не обязательно поможет вам понять, почему люди совершают определенные действия, а не другие. Пока вы проводите A/B-тестирование, почему бы не собрать качественную обратную связь от реальных пользователей?

Один из лучших способов узнать мнение людей — это опрос или анкетирование. Вы можете добавить на свой сайт опрос о выходе, который спрашивает посетителей, почему они не нажали на определенный CTA, или опрос на страницах благодарности, который спрашивает посетителей, почему они нажали на кнопку или заполнили форму.

Например, вы можете обнаружить, что многие люди нажимали на призыв к действию, ведущий их к электронной книге, но как только они видели цену, они не переходили на другую страницу. Такая информация позволит вам понять, почему ваши пользователи ведут себя определенным образом.

После проведения А/Б-теста

Наконец, давайте рассмотрим шаги, которые необходимо предпринять после проведения A/B-теста.

12. Сосредоточьтесь на целевой метрике

И снова, несмотря на то, что вы будете измерять несколько показателей, при анализе сосредоточьтесь на главной целевой метрике.

Например, если вы тестировали две вариации электронного письма и выбрали в качестве основной метрики количество потенциальных клиентов, не зацикливайтесь на показателях открытости или количества кликов. Вы можете увидеть высокий показатель количества кликов и низкий показатель конверсии, и в этом случае вы можете выбрать вариант с более низким показателем количества кликов.

13. Измерьте значимость результатов с помощью нашего калькулятора A/B-тестирования

Теперь, когда вы определили, какой вариант работает лучше всего, пришло время определить, являются ли ваши результаты статистически значимыми. Другими словами, достаточно ли их для того, чтобы оправдать изменения?

Чтобы выяснить это, необходимо провести тест на статистическую значимость. Вы можете сделать это вручную… или просто ввести результаты вашего эксперимента в наш бесплатный калькулятор A/B-тестирования.

Для каждого варианта, который вы тестировали, вам будет предложено ввести общее количество попыток, например, отправленных писем или просмотренных показов. Затем введите количество достигнутых целей — обычно это клики, но могут быть и другие виды конверсий.

Калькулятор выдаст уровень доверия, который ваши данные дают для победившего варианта. Затем сравните это число с выбранным вами значением для определения статистической значимости.

14. Примите меры на основе полученных результатов

Если один вариант статистически лучше другого, то у вас есть победитель. Завершите тестирование, отключив проигравшую вариацию в инструменте A/B-тестирования.

Если ни один из вариантов статистически не лучше, вы только что узнали, что переменная, которую вы тестировали, не повлияла на результаты, и вам придется отметить тест как безрезультатный. В этом случае придерживайтесь первоначальной вариации или проведите еще один тест. Вы можете использовать данные о неудаче, чтобы разработать новую итерацию нового теста.

Хотя A/B-тесты помогают влиять на результаты в каждом конкретном случае, вы также можете использовать уроки, извлеченные из каждого теста, и применять их в будущих попытках.

Например, если вы проводили A/B-тесты в своем маркетинге электронной почты и неоднократно убеждались, что использование цифр в тематических строках писем повышает количество переходов, вам стоит рассмотреть возможность использования этой тактики в большем количестве ваших писем.

15. Планируйте следующее А/Б-тестирование

A/B-тест, который вы только что завершили, возможно, помог вам открыть новый способ сделать ваш маркетинговый контент более эффективным — но не останавливайтесь на этом. Всегда есть место для дальнейшей оптимизации.

Вы даже можете попробовать провести A/B-тест на другой функции той же веб-страницы или электронного письма, на которой вы только что провели тест. Например, если вы только что протестировали заголовок на целевой странице, почему бы не провести новый тест на основной текст? Или цветовой схеме? Или изображения? Всегда следите за возможностями повышения конверсии и увеличения числа потенциальных клиентов.

Примеры A/B-тестирования

Мы обсудили, как A/B-тесты используются в маркетинге и как их проводить, но как они выглядят на практике?

Как вы уже догадались, мы проводим множество A/B-тестов для повышения вовлеченности и конверсии на нашей платформе. Вот пять примеров A/B-тестов, которые вдохновят вас на собственные эксперименты.

1. Поиск по сайту

Строки поиска по сайту помогают пользователям быстро найти то, что им нужно на конкретном сайте. В ходе предыдущего анализа компания HubSpot обнаружила, что посетители, которые взаимодействовали с ее строкой поиска на сайте, с большей вероятностью конвертировали в статью в блоге. Поэтому мы провели A/B-тест в попытке повысить вовлеченность в работу с поисковой строкой.

В этом тесте функциональность поисковой строки была независимой переменной, а просмотры страницы благодарности за предложение контента — зависимой переменной. В эксперименте мы использовали одно контрольное условие и три условия с претендентами.

В контрольном условии (вариант А) поисковая строка оставалась неизменной.

2. Мобильные CTA

HubSpot использует несколько CTA для предложений контента в наших сообщениях в блогах, включая те, которые находятся в теле сообщений, а также в нижней части страницы. Мы тщательно тестируем эти CTA, чтобы оптимизировать их работу.

Для наших мобильных пользователей мы провели A/B-тест, чтобы узнать, какой тип CTA внизу страницы конвертирует лучше всего. В качестве независимой переменной мы изменили дизайн CTA-панели. В частности, мы использовали в тесте один контрольный и три претендента. В качестве зависимых переменных мы использовали просмотры страниц на странице благодарности CTA и клики по CTA.

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:

Adblock detector