A b тестирование помогает определить

A/б-тестирование для новичков: что это такое и как его настроить маркетологи абэ-тестируют, абэ-тестируют, да не выабэтестируются. внимание, эта статья не

A/Б-тестирование для новичков: что это такое и как его настроить

Маркетологи абэ-тестируют, абэ-тестируют, да не выабэтестируются.

Внимание, эта статья не для маркетологов — она для людей, которые делают классный продукт и с помощью лендинга хотят найти новых клиентов. Мы постарались максимально просто рассказать об А/Б тестировании, избежав нагромождения цифр и терминов.

A b тестирование помогает определить

Что такое А/Б тестирование

Это метод. Тест. С его помощью выясняется, как небольшие изменения в дизайне или подаче коммерческих предложений влияют на поведение людей на сайте.

Допустим, вы делаете лендинг, в котором отличаются некоторые элементы: например, цвет фона. Запускаете рекламу и разделяете входящий трафик на два потока: половина посетителей попадает на лендинг с синим фоном, а вторая половина на лендинг с красным фоном. Через некоторое время анализируете результаты и видите, что красный фон приносит больше заявок, чем синий. Оставляете его.

Маркетологи также называют этот метод сплит-тестирование, от английского слова split — раздельный.

Зачем нужно А/Б тестирование

А/Б тестирование проводят, когда хотят проверить предположение. Например:

  • Люди будут оставлять больше заявок на участие в мастер-классе, если я подробнее расскажу о себе.
  • Больше посетителей подпишется на рассылку, если я перенесу кнопку из середины лендинга на главный экран.
  • Люди дольше задержатся на сайте, если я изменю цвет фона на более нейтральный.
  • Количество покупок увеличится на 5%, если я изменю подачу коммерческого предложения.

Выбираете гипотезу, которую хотите проверить первой, тестируете ее и по результатам определяете — стоит ли вносить изменения на сайт.

А/Б тест на практике помогает определить, насколько ваша идея проверяется реальностью.

Целесообразно проводить эксперимент, если к вам на сайт заходит хотя бы 5000 человек в месяц. Если меньше — придется потратить много времени, чтобы накопить необходимую статистику.

Как часто проводят и сколько времени это занимает

Нет какого-то особенного графика для проведения А/Б тестов — вы запускаете эксперимент, когда появляется интересная гипотеза. Больше гипотез — больше тестов.

Время проведения зависит от идеи. Если вы внесли микро-изменение: поменяли цвет кнопки или загрузили новое изображение — может понадобиться два-три месяца, чтобы понять какой вариант лучше. Если изменения глобальные — уже через пару недель станет понятно, какой лендинг больше зашел.

Время проведения рассчитывают на специальном калькуляторе — он помогает определить период, за который наберется достаточное количество людей для статистики.

Калькулятор определяет, сколько людей должно поучаствовать в тесте, а дальше уже нехитрыми вычислениями можно прикинуть, сколько времени это займет.

Как провести АБ-тестирование

Самые распространенные элементы для тестирования: кнопка и заголовок. Все, что находится на первом экране, потому что верхние экраны читают больше, чем нижние.

А также:

  • Главная иллюстрация
  • Иллюстрации товаров
  • Текст — заголовки, коммерческое предложение
  • Цены
  • Дизайн сайта или отдельных страниц
  • Формы заявок

2. Посчитайте на калькуляторе, сколько людей должно участвовать в тесте

А/Б тестирование чаще всего проводят, чтобы повысить конверсию. Конверсия — это соотношение покупателей и общего числа посетителей. Если по-простому: на сайт зашло 100 человек, а заявки оставили 3 человека — значит конверсия из посетителей в потенциальных покупателей составила 3%.

Все хотят, чтобы покупателей было больше, поэтому стремятся писать более крутые заголовки, ставить красивые иллюстрации, удивлять людей интересными предложениями. Чем привлекательней сайт или лендинг — тем больше заявок вы получите. Больше заявок — больше конверсия.

Конверсия — это белый кролик в мире маркетинга, все бегут за ним, ударяются во все тяжкие и некоторым, вы только подумайте, удается взять его за… уши. Возможно, и вам повезет.

Главное, не бойтесь экспериментировать, но и не переходите черту — в А/Б тестировании важно оставаться трезвым: за месяц повысить конверсию в два раза дерзкий и мало выполнимый план. Лучше брать реальные цифры — например, за месяц запланировать повышение конверсии на 2-3%.

Представьте, к вам на сайт ежедневно заходит 200 человек, из них 20 оставляет заявку на участие в фитнес-марафоне. А вы хотите, чтобы заявки оставляли 24 человека — на 20% больше от имеющейся цифры.

Открываете калькулятор и в первой графе вводите конверсию, которая есть сейчас — 10% (это 20 человек из 200). А в графу ниже вбиваете 20% от настоящей конверсии (это 24 человека из 200).

A b тестирование помогает определить

Калькулятор считает, сколько людей должно пройти через тестирование — 3623 человека на каждый вариант, то есть всего 7246 человек, если проводить тест, разделяя выборку 50/50.

Вы берете цифру, которую посчитал калькулятор и делите на количество человек, которые заходят к вам на сайт в день: 200 человек в день — значит, проведение А/Б теста займет 36 дней.

Итог: Чтобы проверить гипотезу об увеличении количества заявок с 20 до 24 человек в месяц на сайте, где посещаемость в день 200 человек — вам нужно 36 дней на А/Б тест.

A b тестирование помогает определить

Есть еще нюанс: чем более глобальны изменения на лендинге, тем меньше людей нужно, чтобы понять, какой вариант лучше. Если вы полностью изменили дизайн, всего через пару дней станет ясно, какой из двух дизайнов больше нравится людям — не нужно проводить много опытов, чтобы понять разницу между слоном и муравьем. Но если вы сравниваете красных муравьев с черными муравьями — потребуется более тщательный эксперимент, чтобы выявить малозаметные различия.

3. Настройте А/Б тестирование на Flexbe.

Когда вы определились с гипотезой и узнали необходимое количество человек для теста, подготовьте лендинг для эксперимента. На Flexbe есть удобный функционал для проведения А/Б тестирования. Оно настраивается на уровне секций — на одной странице может работать несколько тестов в разных секциях.

 В настройках секции нажмите «…» и активируйте А/Б тестирование кликом.

A b тестирование помогает определить

В появившемся всплывающем окне выберите необходимую опцию.

A b тестирование помогает определить

Не забудьте внести изменения в вариант секции Б — А/Б тестирование при создании запускается автоматически, т.е. после сохранения изменений приходящий трафик будет делиться на группы А и Б.

Как анализировать результаты А/Б тестирования

Когда тест подошел к концу — время сравнить, какой вариант был более эффективен и выбрать лучший. Если вы кликните по иконке статистики А/Б тестирования, откроется всплывающее окно.

A b тестирование помогает определить

Тестирование можно поставить на паузу или завершить. Если поставите тестирование на паузу — вариант Б не будет показываться посетителям, иконка станет красного цвета.

A b тестирование помогает определить

При продолжении эксперимента новые пользователи продолжат деление на группы и будут попадать в статистику.

A b тестирование помогает определить

Для завершения тестирования просто нажмите иконку завершения тестирования. Остается выбрать наилучший вариант секции.

*Обновление статьи

Бизнес не стоит на месте – чтобы выжить, нужно развиваться. Если остановить этот процесс, проект начнет деградировать. Часто приходится что-то менять – расширять ассортимент, увеличивать рекламный охват аудитории, улучшать дизайн сайта, добавлять новый, повышать конверсию. Как узнать заранее, что принесут эти новшества?

Одни из инструментов, помогающий развитию веб-проектов – A/B-тестирование. С его помощью можно проверить свои гипотезы и экспериментально оценить предпочтения посетителей – чтобы принять решение о том, стоит ли что-то менять или лучше оставить как есть.

Рассказываем, как это работает.

Правильная организация A/B-тестирования помогает избежать неудачи

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing — раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию. Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование — это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Изменение цвета кнопки увеличило конверсию. Теперь можно искать способы улучшить страницу B

Что тестировать

Как отмечалось выше, сплит-тестирование — это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

  • Текст и внешний вид конверсионных кнопок, а также их расположение.
  • Заголовок и описание продукта.
  • Размеры, внешний вид и расположение конверсионных форм.
  • Макет и дизайн страницы.
  • Цену товара и другие элементы бизнес-предложения.
  • Изображения товаров и другие иллюстрации.
  • Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных инструментов. Один из наиболее востребованных – сервис Google «Оптимизация» (до августа 2019 назывался Content Experiments), который является теперь частью новой платформы для маркетологов Google Marketing Platform. С его помощью можно тестировать элементы страниц, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т. п. «Оптимизация» бесплатна для малого бизнеса и в этом ее большое преимущество по сравнению с конкурентами.

Также можно использовать для проведения сплит-тестирования следующие инструменты:

  • Optimizely — наиболее популярный в «буржунете» платный сервис A/B-тестирования. Стоимость его использования не публикуется – для уточнения нужно связаться с отделом продаж. К преимуществам относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
  • Visual Website Optimizer — платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость месячной подписки VWO составляет от 99 до 999 долларов.
  • Unbounce – сервис, предназначенный для создания и оптимизации лэндингов. В том числе он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 79 до 399 и более долларов в месяц. Является аналогом отечественного LPGenerator и тоже позволяет тестировать только лэндинги, сделанные в нем самом.

Как провести A/B-тестирование с помощью Google Optimize

Сервис «Оптимизация» Google Marketing Platform позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, можно проводить A/B/N-тестирование, которое отличается от стандартных A/B-экспериментов проверкой сразу несколько гипотез вместо двух.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Результаты можно наблюдать в личном кабинете или получить по e-mail.

Чтобы провести сплит-тестирование с помощью «Оптимизации» сделайте следующее:

  1. Войдите в аккаунт Google Marketing Platform, откройте сервис «Оптимизация» и создайте свой первый проект. Дайте ему название, укажите URL базовой страницы, копии которой будут тестироваться и выберите режим «Эксперимент A/Б».

Создайте проект оптимизации и выберите тип эксперимента

  1. Зайдите в созданный проект и продолжайте его настройку в соответствии с планом, предлагаемым в подсказке. Последовательно выполните все пункты от 1 до 5.

Перейдите к настройке проекта

  1. Сначала создайте экспериментальные варианты и добавьте правила таргетинга. Для работы установите в браузер Chrome расширение «Оптимизация» из официального магазина Google. Оно позволяет визуально отредактировать изменения на страницах.

Вариант 1 – серый фон заголовка h1

  1. Укажите, при переходе на какие URL пользователь будет видеть измененные варианты страницы. Можно задать несколько условий проверки. Главное, не забыть их сразу протестировать, чтобы не было ошибки.

Все в порядке – правило работает для этого адреса

  1. Настройте целевую аудиторию. Например, изменения на странице будут показаны только посетителям из Москвы.

Выберите посетителей, которым покажут изменения

  1. Выберите стандартные или создайте собственные цели эксперимента. Они должны быть связаны с Google Аnalitics.Например, нас может заинтересовать в виртуальном эксперименте, как зависит количество просмотренных статей блога от цвета фона заголовка h1 на главной. Исследуем, серый или фисташковый?

Цель исследования – общее количество просмотренных страниц, на которые перешли с главной.

  1. Все готово, осталось только создать код эксперимента и вставить его на страницу. Если непонятно как это сделать, можно выбрать опцию «Отправить код веб-мастеру» или сделайте это самостоятельно. Но для этого нужно немного разбираться в HTML.

Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. А значит, выбираем 3 %.

Ограничиваем трафик, который участвует в эксперименте

  1. Если все сделано правильно, в меню появится сообщение о том, что проект готов к запуску и будет разблокирована кнопка «Ок».

Готово, можно начинать эксперимент

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью A/Б-тестирования

Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон заголовка главной страницы, как в прошлом примере.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

  • Используйте конверсионную форму, которая остается перед глазами посетителя при прокрутке страницы. Например, эта форма может быть неподвижно «прикручена» к верхней части экрана, как навигационное меню Facebook.

Меню навигации остается неподвижным при прокрутке

  • Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
  • Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
  • Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
  • Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
  • Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

A/Б тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. После этого следует воспользоваться одним из сервисов для проведения экспериментов, например, «Оптимизацией» Google. Оценку результатов можно проводить как минимум через две недели после его запуска.

А/В-тестирование – это своего рода эксперимент, позволяющий проверить две гипотезы, точнее сравнить их и выбрать лучший вариант. Таким образом можно тестировать в Интернете все что угодно: сайт, отдельную его страницу, текст и даже фото товара. Есть специальные инструменты, с помощью которых легко и просто провести эксперимент.

Но перед его началом рекомендуем определиться для себя, зачем вам А/В-тестирование и сколько времени вы готовы на него потратить. Учтите, тесты за день не проводятся, некоторые занимают полгода, если товар дорогой. Решив основные вопросы, можно приступать к тестированию. Как все сделать правильно, а потом интерпретировать полученные результаты, мы подробно расписали ниже.

Что такое А/В-тестирование

Что такое А/В-тестирование

Простейшие АВ-тесты имеют в своей основе схему, состоящую из трех элементов:

  • аудитория;
  • исходная и экспериментальная страницы;
  • магия.

Допустим, у компании есть лендинг по производству и продаже дверей по индивидуальным заказам, трафик на который поступает благодаря контекстной рекламе. Маркетологи выяснили, что в данный момент актуальны кнопки необычной формы для сайтов – они способствуют увеличению конверсии и росту продаж в отличие от традиционных прямоугольных.

Однако прежде чем использовать этот прием, необходимо опытным путем выяснить, действительно ли он так эффективен, как говорят. То есть нужно изменить форму кнопки на сайте и посмотреть на реакцию аудитории. Если измененный лендинг даст хорошие результаты, можно будет использовать такую кнопку на постоянной основе.

Вести анализ можно, учитывая как всю аудиторию, так и какую-то ее часть. Второй вариант оптимален, так как как в случае получения отрицательного результата компания в меньшей степени пострадает финансово, то есть не потеряет большое количество заказов. Лучше всего тестировать новинки на 5 – 10 % аудитории.

В этом случае нужно создать вторую версию лендинга с кнопками другой формы и отправить туда 5 – 10 % трафика с контекстной рекламы. Люди смогут опробовать обновленный вариант сайта, а компания получит данные о его работе, не понеся убытки.

На последнем этапе осуществляется анализ поведения пользователей и в зависимости от результатов принимается решение о дальнейшем использовании нововведений.

Простой пример. До внедрения новой кнопки конверсия составляла 4 – 6 %, а на экспериментальной странице она увеличилась до 12 %, соответственно, можно сделать вывод об эффективности замены кнопки и использовать ее постоянно. Для этого рекламный трафик перенаправляют на новую страницу полностью.

Система аналитики выбирается в зависимости от ключевой метрики. В нашем примере с лендингом по дверям возможно использование Яндекс.Метрики (нужно сказать, что это достаточно универсальный инструмент, который может применяться в различных тестированиях).

Итак, A/B-тестирование (сплит-тестирование) представляет собой сравнительный анализ разных версий сайта, приложения и т. п., оценку изменения ключевых метрик с помощью группы пользователей и принятие итогового решения о внесении изменений.

Что можно тестировать с помощью А/В-тестов

Сплит-тестирование является прикладным методом воздействия на разные метрики сайта. Маркетологи выбирают объекты изучения в соответствие со своими целями и задачами.

Сплит-тестирование

Допустим, нужно понять, почему аудитория практически мгновенно покидает сайт, после того как оказывается на лендинге. Вероятно, это связано с проблемами в визуале страницы. Запустив A/B-тестирование, специалист может выяснить, какой вариант ее макета будет рабочим, определить оптимальное сочетание цветов, выбрать шрифты, привлекающие внимание картинки, правильное расположение блоков текста.

Если необходимо увеличить количество подписок, можно внести изменения в форму конверсии. Благодаря сплит-тестированию можно подобрать нужный цвет детали интерфейса, оптимальный вариант текста, правильное количество полей в форме подписки, а также ее расположение.

Чаще всего исследованию подвергаются следующие элементы веб-страниц:

  • текст, формат и расположение конверсионных кнопок;
  • заголовок и описание продукта;
  • размеры, внешний вид и расположение конверсионных форм;
  • макет и дизайн страницы;
  • цена товара и другие элементы бизнес-предложения;
  • изображения продукции и иные картинки;
  • количество текста на странице.

Зачем нужны А/В-тесты

Какие основные проблемы помогает решить сплит-тестирование:

  1. Реакция аудитории на изменения. Компания начинает понимать, как информация (визуальная, текстовая) воспринимается пользователями, какие ее варианты лучше влияют на потенциальных покупателей. А значит, появляется возможность использовать именно то, что нравится целевой аудитории и может подтолкнуть ее к покупке. Независимо от опыта специалиста он должен всегда подвергать сомнению свои методы и приемы работы и тестировать их различные варианты. Порой результаты экспериментов оказываются впечатляющими.
  2. Нередко предположения маркетолога не совпадают с реальностью. Поэтому важно основываться не только на собственном опыте и знаниях, но и на данных, полученных в ходе тестов.

  3. Данные тестов против мнения экспертов. Зачастую специалисты вносят коррективы в работу сайта, основываясь исключительно на собственных гипотезах. Однако насколько оправданны такие изменения можно судить только тогда, когда получены точные данные о поведении аудитории. Иначе компания, внедрившая новшества наугад, может лишиться части прибыли, понести убытки.

    Зачем нужны А/В-тесты

  4. Персонализация взаимодействия с клиентами. Специалисты компании понимают, как лучше коммуницировать с людьми, которые приходят на сайт из разных источников, пользуясь разными устройствами, преследуя свои личные цели.

С помощью сервисов веб-аналитики, таких как Google Analytics, Яндекс.Метрика и пр., можно объединить эти данные и систематизировать знания о пользователях. Для этого нужно собрать информацию о ресурсах, которые они посещали, узнать, что там делали. Благодаря этому аудитория может быть разделена на множество сегментов по целому ряду признаков. Кроме того, можно выяснить, как ведут себя пользователи, которые пришли на сайт органически и с платного трафика.

Однако не каждый способен использовать результаты анализа наилучшим образом. Например, на большинстве сайтов можно встретить одинаковый контент для пользователей всех сегментов, независимо от их целей, интересов, поведения и источников трафика. Для этого и нужно сплит-тестирование. Оно помогает персонализировать содержание сайта.

Кому нужны А/В-тесты

Кому нужны А/В-тесты

  • Продакт-менеджеры. Они используют тесты для анализа различных ценовых моделей, чтобы понять, какая из них приведет к росту доходов, или оптимизировать часть воронки продаж с целью увеличения конверсии.
  • Маркетологи. Эти специалисты занимаются тестированием изображений, призывов к действию (call-to-action) и многих других элементов маркетинговой кампании или рекламы с целью улучшения метрик.
  • Дизайнеры продуктов. Они исследуют визуальную составляющую элементов сайтов, приложений и т. п. (например, цвет кнопки оформления заказа). Кроме того, эти специалисты могут использовать результаты A/B-тестирования, чтобы понять, будет ли удобна новая функция пользователям.

Запускать процесс стоит только тогда, когда имеется приличный трафик, а значит, и статистические данные.

Допустим, компания сделала лендинг по продаже дверей и запустила контекстную рекламу, вложив в нее небольшую сумму. Посетителей на сайте пока немного. В этой ситуации метрики имеют низкую чувствительность, данных собирается мало, и тесты могут не показать реальную картину.

Если же тестирование все-таки запущено, имеет смысл проводить его несколько месяцев. Однако суть метода совсем в другом, а именно в быстром сборе данных, которые позволят принять решение по срочным изменениям и нововведениям.

Какие задачи бизнеса решают A/B-тесты

Если вовлеченность пользователей низкая, проведение A/B-тестирования поможет проанализировать работу на всех ее этапах, внести коррективы и в итоге улучшить показатели конверсии. Чем именно полезны тесты?

  • Решают проблемы пользователей.

Заходя на сайт, пользователи хотят видеть красивую картинку, удобный функционал, интуитивно понятный интерфейс, информативные тексты. Они упрощают поиск нужных товаров и экономят время. Если всего этого нет, посетители не будут мириться с неудобствами, так как в условиях изобилия предложений это никому неинтересно.

A/B-тестирование помогает определить проблемные места сайта, скорректировать их, устранить недочеты и сделать его привлекательным для потенциальных клиентов.

Решение проблем пользователя

  • Обеспечивают лучшую окупаемость инвестиций (ROI).

Тестирование дает возможность повысить эффективность использования активных каналов привлечения аудитории без привлечения дополнительных средств. Внесение даже малых изменений способствует улучшению показателей конверсии.

  • Уменьшают количество отказов.

Отказы пользователей снижают прибыль компании. Люди не задерживаются на сайтах по разным причинам: плохое юзабилити, скудный ассортимент, высокие цены и т. д. Протестировав разные элементы на странице, компания может понять, что именно не устраивает аудиторию, и исправить эти моменты.

  • Снижают риски при изменениях.

Внедрение новых элементов на сайт, внесение изменений в его работу должно производиться постепенно, так как стремительность может привести к непрогнозируемым негативным последствиям. Пользователи не всегда воспринимают новое в положительном ключе. A/B-тестирование сайта позволяет проверить реакцию аудитории и использовать только те нововведения, которые приносят нужные результаты.

Кроме того, такие методы исследования дают возможность сделать сайт более функциональным без существенных правок, например, за счет добавления ряда новых функций, изменения описания продуктов и отслеживания реакции пользователей на эти действия. Если она положительная, изменения можно утвердить.

  • Обеспечивают статистически значимые улучшения.

В процессе тестирования внимание уделяется данным статистики, анализ которых и сообщает специалистам об успехе или неудаче нововведений. Изучаются следующие метрики:

— длительность пребывания пользователя на странице;

— количество отказов;

— CTR – показатель числа кликов по отношению к общему числу показов объявления;

— число заполненных форм для заявок.

Тесты демонстрируют, что нужно делать, чтобы статистика стала положительной.

  • Помогают улучшить дизайн.

Плохо сделанный сайт может свести на нет все усилия рекламщиков и маркетологов по привлечению клиентов. Чтобы минимизировать отказы пользователей, нужно либо внести незначительные правки в дизайн страниц (усилить функционал, изменить цветовое решение и т. п.), или провести его масштабную реконструкцию. Тестирование даст возможность предсказать реакцию посетителей сайта на эти действия.

Улучшить дизайн сайта

Существует несколько основных категорий показателей, которые можно оптимизировать путем проведения A/B-тестирования:

  1. Конверсия.
  2. Улучшив сайт, можно повысить процент конверсии. На удобном и информативном ресурсе пользователи совершают больше целевых действий, запланированных компанией (подписка на обновления, регистрация, добавление товаров в корзину и т. д.). Конверсия в звонок отслеживается коллтрекингом.

  3. Финансовые показатели.
  4. Главная цель любой компании – получение дохода. Практически все действия по оптимизации работы в конечном итоге направлены на рост финансовых показателей. Красивый, удобный и информативный сайт поможет удержать трафик, обеспечит конверсию и рост продаж. Основными финансовыми показателями являются величина среднего чека, ежемесячный объём продаж, стоимость привлечения клиента (CAC).

    Полезно также устанавливать на страницу специфические дополнения, которые связаны с покупками. Это могут быть suggestive-алгоритмы, предлагающие пользователю товары, которые другие покупатели особенно часто кладут в свои корзины вместе с выбранным им.

  5. Поведенческие факторы.
  6. Это набор характеристик, отражающих то, как пользователь ведет себя на сайте: время пребывания на нем, глубина просмотра (количество посещенных страниц), процент постоянных посетителей, доля отказов (bounce rate), объем CTR сниппета в поисковой выдаче и т. п.

6 этапов проведения А/В-тестирования

Как проводить A/B-тестирование? Процесс включает шесть шагов. Рассмотрим его на примере тестирования страницы регистрации гипотетически существующего стартапа.

1) Определение цели

Цель А/В-тестирования

Важно, чтобы цели бизнеса и тестирования совпадали.

Пример. Компания только начала свою деятельность и нуждается в приросте посетителей, причем важно, чтобы это были активные пользователи (с ними связана метрика DAU). Многие думают, что этого можно добиться двумя способами: улучшением показателей удержания (процент возвращающихся для повторного использования продукта) или за счет роста количества новых зарегистрировавшихся людей.

Но анализируя воронку можно отметить, что более половины пользователей покидают сайт еще до завершения регистрации. Это указывает на то, что увеличить число регистраций можно путем изменения самой страницы регистрации. Такое действ ие должно привести к росту активных посетителей.

2) Определение метрики

Следующий шаг – выделение метрики, которая послужит ориентиром при определении успешности нововведений во время тестирования. Чаще всего специалисты используют в качестве нее коэффициент конверсии, хотя оценкой может выступать и кликабельность (CTR).

В случае с нашей компанией главным показателем будет доля зарегистрированных пользователей (registration rate), определяемая как количество новых регистрирующихся посетителей, поделенное на общее количество впервые зашедших на сайт.

3) Разработка гипотезы

Процесс A/B-тестирования включает создание предположения о том, что должно быть изменено, и что нужно проверить, чтобы выявить динамику. Необходимо определить желаемое в итоге компанией и какие могут быть обоснования у результатов работы.

Пример.

Анализируя страницу регистрации, которую нужно изменить, специалист видит на ней баннер и форму регистрации. Протестировать можно разные элементы, однако в первую очередь это должен быть рекламный модуль, так как он более заметен. Следует изменить изображение на нем и посмотреть, как это отразится на регистрации пользователей. Затем наступает черед тестирования полей формы, позиционирования, размера текста.

Общая гипотеза такова: «Замена модулей главной страницы регистрации, а именно основного изображения, приведет к увеличению количества новых пользователей, которые будут регистрироваться внутри продукта».

Затем следует выделить две гипотезы, которые помогут понять, является ли происходящее на странице результатом внесенных в ее работу изменений. То есть не случайна ли разница между ее версиями A (основной) и B (новой, которая тестируется).

  • Нулевая гипотеза предполагает, что результаты версий А и В не сильно отличаются, а все различия случайны. Эту гипотезу нужно опровергнуть.
  • Альтернативная гипотеза заключается в том, что А отличается от Б, и необходимо сделать вывод об её истинности.

Специалист должен решить, будет тест односторонним или двусторонним. Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест – по двум направлениям (как положительное, так и отрицательное).

4) Подготовка эксперимента

Зксперимент А/В-тестирования

Для корректного проведения теста и получения правильных результатов нужно совершить ряд действий:

  • Создать новую версию (B) с изменениями, которые требуется протестировать.
  • Определить контрольную и экспериментальную группы: какие категории пользователей будут тестироваться – все и на всех платформах или только жители одной страны? Нужно подразделить людей на две группы (1 и 2) в зависимости от их типа, используемой платформы, локации и т. п. Далее необходимо определить количество человек в каждой из них в процентном соотношении к общему числу участвующих в выборке, но в чаще контрольная и экспериментальная группы делаются одинаковыми.
  • Следует удостовериться, что посетители сайта будут видеть версии A и B в случайном порядке. То есть шансы попасть на ту или иную версию будут равны у всех пользователей.
  • Определить уровень статистической значимости (α). Это показатель риска, который будет принят при ошибках первого рода (отклонение нулевой гипотезы, если она верна). Обычно α = 0.05. То есть в 5 % случаев будет обнаружена разница между A и B, которая в реальности является не значимым и необъективным явлением. Чем ниже выбранный уровень значимости, тем ниже риск обнаружения случайной разницы.
  • Определить минимальный размер выборки. Это делается с помощью калькулятора для каждой версии. Он зависит от множества параметров и предпочтений компании. Большой размер выборки важен для получения результатов, которые будут иметь статистическую значимость (неслучайных).
  • Определить период тестирования. Для этого нужно разделить общий размер рассматриваемых случаев, необходимый для тестирования каждой версии, на ежедневный трафик компании. В результате получится количество дней, которое потребуется для проведения теста. В основном это одна или две недели.

Пример. На сайте компании меняется главная страница с регистрацией посетителей. Это будет вариант В. Специалист компании решает, что в тестировании примут участие только новые пользователи, которые заходят на страницу регистрации. При этом необходимо обеспечить случайную выборку, то есть каждый посетитель будет иметь одинаково неопределенные шансы зайти на вариант сайта А или В.

Также нужно ограничить время. Если страницу регистрации каждый день посещает примерно 10 000 новых пользователей, каждую ее версию увидит по 5 000 человек. В этом случае минимальный размер выборки составляет около 100 000 просмотров каждой версии. 100 000 / 5000 = 20 дней — так определяется время A/B-тестирования.

5) Проведение эксперимента

Результаты А/В-тестирования

В ходе эксперимента нужно:

  • Обсудить его детали и параметры с исполнителями.
  • Выполнить запрос на тестовой закрытой площадке, если она имеется, чтобы проверить данные. Если площадка отсутствует, нужно проверить данные, полученные в первый день эксперимента.
  • Обязательно необходимо отследить, нормально ли идет тестирование после его запуска.
  • Важно не смотреть данные по эксперименту до его окончания, это может испортить статистическую значимость.

6) Анализ результатов

Необходимо получить данные и рассчитать значения выбранной метрики для версий A и B, а также разницу между этими значениями. Если разница не обнаружилась, можно сделать выборку по платформам, типам источников, локации и т. п. Благодаря этому можно увидеть, что новая версия более эффективна в определенных сегментах.

Затем проверяется статистическая значимость, цель которой – понять, была ли разница в результатах между A и B обусловлена изменениями или она стала результатом случайного стечения обстоятельств, естественно происходящих изменений. Для этого тестовые статистические данные (и полученное p-значение) сравниваются с избранным при подготовке эксперимента уровнем значимости.

Если p-значение меньше уровня значимости, нулевая гипотеза может быть опровергнута. Если же p-значение больше или равно уровню значимости, опровергнуть ее не получится.

Результаты A/B-тестирования могут быть такими:

  • Изначальная версия А имеет лучшие показатели либо между А и В нет существенной разницы. Это говорит о том, что нововведения оказались неэффективны. Однако для начала стоит исключить причины, которые могли привести к некорректному тестированию, исказившему результаты. Можно провести глубокий анализ данных, чтобы понять, почему новая версия не оправдала себя. Кстати, это поможет собрать информацию для более продуктивных тестов в будущем.
  • Экспериментальная версия B показывает значимо отличимые результаты. Соответственно, A/B-тестирование подтвердило гипотезу о большей эффективности версии B по сравнению с версией A. После публикации полученных показателей можно расширить аудиторию и провести масштабный эксперимент, чтобы получить новые данные.

Инструменты для настройки тестов

Инструменты для настройки тестов

Проведение эксперимента требует создания тестового варианта страницы, разделения пользователей на группы, подсчета целевых метрик для каждой из них. Если компания располагает ресурсами, можно делать все это вручную. Однако лучше пользоваться специальными сервисами, облегчающими A/B-тестирование.

Инструменты для его проведения и результаты их сравнения по нескольким параметрам представлены в таблице.

Google Optimize

Changeagain

VWO

Optimizely

Convert

ABtasty

Интеграция с Google Analytics

Х

Визуальный редактор

Цели Google Analytics

Х

Х

Х

Х

Таргетинг

Большое количество критериев для таргетинга

Таргетинг по устройствам, странам

Более 15 критериев

Более 15 критериев

Более 35 критериев

7 критериев

Наличие бесплатной или демоверсии

Бесплатная версия, до пяти тестов одновременно

Бесплатная версия для одного эксперимента на один сайт. Демоверсия 30 дней

Демоверсия 30 дней, но трафик ограничен: 1000 посетителей

Бесплатная версия для одного сайта и одного мобильного приложения. Функционал ограничен

Демоверсия 15 дней

Демоверсия 30 дней

Чаще всего для проведения экспериментов используют Google Optimize, поэтому рассмотрим особенности A/B-тестирования с помощью этого сервиса подробнее.

Плюсы и минусы А/В-тестирования в Google Optimize

Google Optimize

Optimize — это онлайн-сервис A/B-тестирования, подключающийся к сайту и позволяющий экспериментировать с новыми формами контента. Причем он умеет использовать данные, собранные в Google Analytics, чтобы предлагать пользователю наиболее подходящий ему вариант страницы – эффективный и результативный.

Плюсы Optimize:

  • Большой объем данных. Настраивая тестирование, можно использовать цели и сегменты из Google Analytics. Соответственно, работа будет вестись с привычными и удобными метриками из GA.
  • Широкие возможности для персонализации. Проведя успешный сплит-тест, можно настроить показ различного контента, используя аудитории GA и переменные, которые внедрены, например, в dataLayer в GTM. Персонализация – это один из ключей к эффективности сайта, увеличению его производительности в рамках каждого сегмента.
  • Интеграция с другими продуктами Google для более глубокого таргетинга и анализа (Google Ads, Data Studio,Tag Manager и т. д.).
  • Удобный и интуитивно понятный интерфейс. Имеется визуальный редактор, позволяющий осуществлять настройку и запуск новых тестирований без привлечения разработчиков, что значительно экономит время и средства.
  • Слабо отражается на скорости загрузки страницы.
  • Отсутствует необходимость ручного сведения данных и подготовки отчетов, сервис делает это самостоятельно.

Недостатки Optimize:

  • На данный момент он не позволяет тестировать мобильные приложения.
  • Нет расписания запуска сплит-тестирования, невозможно заранее запрограммировать его запуск. Допустим, компании требуется провести несколько десятков тестов, однако нет возможности сделать это одновременно. Или бесплатная версия ограничивает количество одновременных тестов. Или же нет желания проводить тестирование всех этих вариантов для одних и тех же пользователей. Тогда программа может быть не слишком удобна. Придется заходить в интерфейс каждый раз в момент запуска эксперимента. Но существуют сервисы, предоставляющие эти возможности.

Как провести A/B-тестирование с помощью Google Optimize

Настройка Google Optimize

Работает Google Optimize по тому же принципу, что и многие другие инструменты для тестирования.

  1. На первом этапе создаются тестовые варианты страниц или каких-то иных объектов.
  2. Затем определяются ключевые показатели, с помощью которых будет проводиться анализ данных и определяться победитель. Это могут быть метрики, которые уже встроены в Optimize, например, количество просмотров страниц, длительность сессии, транзакции, доход и показатель отказов. Кроме этого, можно выбрать любую кастомную цель из GA.
  3. Далее нужно понять, кто будет участвовать в тестировании, и начать его. Важно определиться с тем, какое количество потенциальных клиентов увидит экспериментальный вариант страницы. Это может быть половина аудитории или, допустим, 20 % от нее. Если компания не уверена в своей гипотезе, не стоит рисковать большим объемом трафика.

Optimize позволяет проводить не только стандартное A/B-тестирование, но и мультивариативные тесты (когда имеется несколько меняющихся элементов во множестве комбинаций), а также редирект тесты (для страниц с разным URL и дизайном).

Сервис от Google создает отчеты, которые позволяют отслеживать ход эксперимента и анализировать собранные данные сразу после его окончания.

Термины в отчетах Optimize:

  • improvement — вероятный диапазон для коэффициента конверсии (изменения);
  • probability to be best — возможность, что новый вариант лучше других;
  • probability to beat baseline — вероятность того, что экспериментальная версия обеспечит более высокий коэффициент конверсии по сравнению с оригиналом;
  • conversion Rate — прогнозируемый средний показатель изменения;
  • conversions — количество сессий с конверсиями.

Optimize использует для расчета вероятности Байесову статистику. Это значит, что в процессе тестирования пользователь сможет увидеть вероятность победы варианта B еще до его окончания. Если она достигла определенного уровня, эксперимент может быть завершен досрочно, что позволит сэкономить время и финансы.

Байесова статистика

Специалисты Google собираются реализовать в Optimize механизм, который даст возможность распределять трафик, чтобы большая его доля приходилась на лучший вариант до окончания эксперимента. Благодаря этому можно сделать тестирование менее затратным и более продуктивным.

Интеграция Optimize с аккаунтом Google Analytics позволяет просматривать и анализировать результаты тестирования в интерфейсе GA (меню «Поведение» — «Эксперименты»).

Идеи, эффективность которых стоит обязательно проверить с помощью A/В-тестирования

Специалисты, которые организуют тесты, должны испытывать нововведения, которые действительно имеют шансы на успех, а не просто придумывать любые гипотезы и пытаться их внедрить ради эксперимента. Допустим, ничем не обоснованная замена фона на главной странице сайта вряд ли приведет к улучшению ключевых показателей.

Проверка идей A/В-тестированием

Маркетолог должен понимать, как проводится A/B-тестирование. Методика его выполнения, помимо чисто технических моментов, включает поиск способов улучшения страниц. Важно не только их придумать, но и обосновать вероятную эффективность. Cплит-тестирование должно просто подтвердить, а иногда и опровергнуть предположения специалиста. Бывает и так, что маркетолог проверил все идеи, а нужного результата так и не получил.

В этом случае можно попробовать внедрить ряд изменений и провести проверку их эффективности:

  • Использование постоянно видимой формы конверсии, которая всегда будет оставаться в поле зрения пользователя, даже при прокрутке страницы. Ее можно поместить в верхней части экрана – так, например, сделано навигационное меню Facebook.
  • Удаление лишних полей из конверсионной формы. Не все пользователи имеют желание оставлять персональные данные на сайте.
  • Размещение видеоролика на посадочной странице. Такой ход может оказать позитивное влияние на некоторые показатели, например, уменьшит число отказов, повысит коэффициент конверсии и время пребывания на странице.
  • Увеличение срока бесплатного тестирования продукта компании пользователями (актуально для тех, кто продает ПО и веб-сервисы). Благодаря этому можно значительно увеличить конверсию.
  • Эксперименты с цветом кнопок конверсии. Например, ярко-красный может как привлекать внимание, так и вызывать раздражение. Чтобы выяснить, какова будет реакция пользователей на него, нужно создать A/B-тестирование и проверить гипотезу.
  • Предложение каких-то бонусов первым 10 или 100 покупателям (подписчикам). Интересно, что после завершения акции элемент интерфейса с описанием этой возможности, оставленный на сайте, может продолжить приносить свои плоды: пользователи будут все также реагировать на него, даже не рассчитывая войти в число счастливчиков.

Сколько времени займет А/В-тестирование

Длительность А/В-тестирования

Существует специальный калькулятор A/B-тестирования – калькулятор Эвана Миллера. Для расчета времени проведения эксперимента и необходимости этого мероприятия, нужно иметь данные о:

  • трафике на сайте;
  • текущей конверсии;
  • предполагаемом приросте конверсии.

Калькулятор Эвана Миллера позволит рассчитать количество показов, необходимое для получения статистически значимого результата. Соотношение количества показов и приблизительного трафика на сайте укажет, какое время займет эксперимент и стоит ли его проводить.

Если тестирование будет длиться долго, начинать его нецелесообразно: пока идет процесс, предложение компании может стать неактуальным, ресурсы будут потрачены впустую. Например, ожидать полгода данных теста по замене цвета кнопки на сайте неразумно, особенно если в итоге разница между вариантами страниц будет незначительной.

Однако бывают и такие тесты, которые длятся несколько месяцев, но при этом являются полезными, результативными и могут окупиться. Компании, продающие дорогостоящие товары (автомобили, недвижимость и т. п.) могут позволить себе провести длительное A/B-тестирование.

Допустим, трафик на сайте составляет 10 000 человек в месяц. Компания проводит тесты двух popup, собирающих электронные адреса пользователей:

  • Предполагаемая конверсия popup — 2 %.
  • Ожидаемый прирост конверсии — 20 %.
  • То есть конверсия popup в одном из вариантов может увеличиться до 22 %.

Все данные были внесены в калькулятор, который показал, что каждый из вариантов страницы нужно показать 19 784 пользователям. Из этого количества нужно вычесть ту часть потенциальных клиентов, которой нет необходимости показывать сообщение (допустим, тем, чья электронная почта уже есть в базе компании). В итоге остаётся 45 000 пользователей. Нужно 19 784 * 2 показа. Тестирование займет месяц.

Приведем пример эксперимента с расчетной длительностью в 21 год.

Исходные данные: трафик на сайте — 10 000 человек в месяц, конверсия в email — 3 %. Компания хочет выяснить, влияют ли эмодзи на Open Rate — отношение количества открытых писем к количеству отправленных. Для этого проводится A/B-тестирование представления темы письма.

Вариант А: Вам подарок – 5000 рублей на первый заказ!

Вариант Б: [эмодзи] Вам подарок – 5000 рублей на первый заказ!

Результаты теста:

Open rate варианта А — 40 %.

Open rate варианта Б — 41 %.

Значит, эмодзи практически не оказали влияния на конверсию.

Введя данные в калькулятор, специалист увидит, что нужно отправить 37 719 писем на каждый из вариантов, чтобы понять, каково влияние эмодзи на конверсию. Всего 75 438 писем. Имея конверсию в e-mail 3 % и трафик в 10 000 человек, можно ежемесячно посылать 300 писем. Значит, чтобы провести полноценный эксперимент, придется потратить 21 год.

Частые ошибки А/В-тестирования

Ошибки А/В-тестирования

  1. Сегментация аудитории не проведена.
  2. Маркетинг во многом базируется на сегментации потребителей товаров и услуг. Без этого уровень эффективности продвижения многократно снижается. Компания должна предлагать покупателям именно то, что их интересует, а для этого нужно знать, каковы эти интересы. Важно понимать, что у всех они разные даже в рамках выделенной целевой аудитории.

    Для A/B-тестирования сегментация также имеет огромное значения, так как, запустив эксперимент на общую массу пользователей, можно получить абсолютно некорректный результат.

  3. Выбрана очень маленькая аудитория для эксперимента.
  4. Величина аудитории прямо пропорциональна надежности результата тестирования. Данные будут считаться репрезентативными в том случае, если в эксперименте приняли участие хотя бы несколько сотен человек.

  5. Tестирование включает сразу несколько экспериментов.
  6. A/B-тестирование помогает определить эффективность какого-то конкретного изменения в плане увеличения конверсии. Соответственно, внедрять необходимо только одно новшество за раз. Изменив сразу несколько элементов, невозможно будет определить тестированием, какой из них оказал влияние на конечный результат.

    Однако можно проводить и расширенное A/B-тестирование. Программы, которые позволяют сделать это (например, Carrot quest), предлагают настроить для одного автосообщения неограниченное количество A/B-тестов. Допустим, сначала проводится эксперимент с заголовком письма, после выявления победителя и окончания теста начинается тестирование CTA, потом текста сообщения и т. д.

  7. Используется чужой опыт.
  8. Внедрение результатов чужого успешного тестирования в свою работу заведомо провально. У каждой компании уникальные исходные данные, и даже если кому-то использование ярко-красной кнопки на сайте повысило конверсию, далеко не факт, что это сработает где-то еще. Это выясняется только опытным путем.

  9. Завышенные ожидания.
  10. Завышенные ожидания

    Тестирование далеко не всегда обеспечивает то увеличение конверсии, которого ждут специалисты. Нужно понимать, что двукратный рост этого показателя случается, однако чаще он гораздо ниже. Однако даже небольшой результат способен повлиять на количество лидов и прибыль.

Тестирование хорошо тем, что его можно использовать множество раз, экспериментируя с настройками до тех пор, пока не будут найдены оптимальные значения.

Другие виды тестирования

Помимо A/B-тестирования существуют и другие типы экспериментов подобного плана:

  • А/А тест. В данном случае одинаковое сообщение демонстрируется разделенной на две части аудитории. Так проверяется, насколько однороден трафик, каково качество настройки сплит-тестирования. Этот эксперимент проводят в качестве подготовки к A/B-тесту, однако он занимает много времени.
  • А/А/Б тест. Его используют, если трафик кажется неоднородным для конкретной категории пользователей. Сегмент Б даст достоверный результат только в случае равенства А и А.
  • А/Б тест с контрольной группой. В данном случае пользователи делятся на три части: 45 % аудитории увидят вариант А, 45 % увидят вариант Б, 10 % не увидят ничего. Тестирование дает возможность понять, каково влияние сообщения на пользователя. Если конверсия в контрольной группе такая же, как в других или выше, это сигнал к закрытию А/Б теста.

Не стоит расстраиваться из-за неудачных экспериментов. Даже если результаты были плохими, это все равно использование возможности приобрести новые знания и опыт. В будущем это позволит проводить более успешные тесты, основываясь на полученных ранее данных.

Конкуренты не дремлют. Чтобы бизнесу выжить в онлайн-сфере, успешно завоевывать внимание аудитории и обходить аналогичные проекты, нужно развиваться. В противном случае сайт начнет деградировать.

Для развития используют разные методы: расширяют ассортимент, улучшают дизайн ресурса, прорабатывают юзабилити, пишут новые продажные статьи. Но как заблаговременно узнать, что эти нововведения действительно принесут результаты и не станут напрасной тратой времени и денег?

что такое A/B тестирование

Что такое A/B тестирование

A/B тестирование — это инструмент помогает развивать сайт и проверять гипотезы. Разработчикам удается путем экспериментов оценить предпочтения аудитории, чтобы решиться на изменения или оставить все как есть. А/Б тестирование, или как его еще называют, сплит-тестирование, представляет собой своеобразный способ оптимизации воронки сайта.

Рассмотрим подробнее то, как работает инструмент, для чего проводят такие тесты и каким образом реализуются задачи.

Как работает A/B-тестирование?

Если вкратце, то сплит-тесты позволяют оценить эффективность разных вариантов страницы. Допустим, у вас есть два примера дизайна карточки товара, и они оба ну очень круты. Какой из них выбрать? Основываться на интуиции — не лучшее решение. Проверьте работоспособность обоих вариантов на практике посредством тестирования сайта. Покажите одной части посетителей карточку №1, а другой — №2. Победителем становится тот, у кого показатели отклика выше.

Это далеко не единственный метод применения AB-тестов. Инструмент помогает проверять всевозможные гипотезы, удобство обновленной структуры, различные варианты текстов и многое другое.

Зачем нужны А/B (сплит) тесты

Электронная коммерция сражается с оставленными корзинами, b2b страдают от «пустых» лидов, а СМИ не могут повысить вовлеченность читателей. Все эти сферы объединены схожими проблемами: падением конверсии, потерей клиента на стадии оплаты заказа и проч.

зачем нужны А/B (сплит) тесты

A/B testing поможет выйти из сложной ситуации, а именно:

  1. Решит проблемы посетителей. Пользователи заходят на ресурс с определенной целью: узнать о товаре подробнее, что-то приобрести или просто посмотреть. При этом посетители сайта сталкиваются с типичными сложностями. К примеру, кнопка «Заказать» находится в неудобном месте или ее трудно найти. Подобные моменты негативно сказываются на опыте пользователей и точно так же сказываются на конверсии.
  2. Повысит окупаемость инвестиций. Бессмысленно рассказывать маркетологу о том, каким дорогим оказывается качественный трафик. Он давно все это знает. Тестирование и аналитика сайта обеспечивают более эффективное использование текущего трафика и повышают конверсию без расходов на привлечение нового. Порой даже мелкие корректировки положительно влияют на метрики.
  3. Снизит количество отказов пользователей. Чтобы оценить результативность работы сайта, важно анализировать этот показатель. Люди закрывают страницу ресурса по разным причинам: несоответствие ожиданиям, неудобная форма заказа, сложности с поиском товара и т. д. С помощью тестирования можно создать несколько вариантов расположения элементов и проверить, какой из них работает лучше. Если увидели положительную динамику, можно вносить глобальные изменения.
  4. Минимизирует риски от корректировок. Эксперты советуют вносить изменения дозированно и последовательно, чтобы не потерять показатель конверсии. Например, понадобилось внедрить новую функцию на сайт. Проведите тестирование и посмотрите, какой из вариантов получился более выигрышным.
  5. Обеспечит статически значимые улучшения. A/B анализ базируется на конкретных сведениях, а не на гадании на кофейной гуще. Вы с легкостью можете определить выигрышный вариант изменений на основе статически значимых улучшений: время пребывания на странице, число оставленных корзин и т. д.
  6. Поможет усовершенствовать дизайн. Масштабы редизайна бывают разными: от замены пары цветов до полного преображения ресурса. Необходимо выбирать решение только по итогам сплит-тестов. Сначала внесли небольшое изменение, протестировали и убедились, что оставили лучшую версию.

A/B-тестирование — нужная мера, и это вне всяких сомнений. Оно поможет привести показатели сайта к желаемым и гарантировать, что потраченные на изменения деньги и время будут оправданы.

Сервисы для А/В тестирования

Маркетологи выполняют сплит-тесты при помощи специализированных инструментов. Самый востребованный — Google Optimize. Он помогает тестировать определенные элементы страниц, в том числе заголовки, шрифты, картинки и проч. Есть бесплатный вариант инструмента, что и делает его популярным на фоне конкурентов.

Другие сервисы для тестирования страниц:

  • Optimizely — платный инструмент. В нем можно создавать эксперименты в визуальном интерфейсе, благодаря чему специалистам не требуется работать с HTML-кодом. Точная цена использования инструмента нигде не указывается, поэтому лучше уточнить ее в отделе продаж;
  • Visual Website Optimizer — еще один платный сервис для тестирования элементов страниц. В работе специалисту понадобится понимание HTML. Месяц подписки на сервис будет стоить от $99 до $999;
  • Unbounce — инструмент, при помощи которого удобно создавать и оптимизировать лендинги, проводить сплит-тесты. В месяц за подписку придется тратить от 79 до 399 у. е. и больше;
  • Convert.com — находится в числе самых популярных среди отечественных маркетологов. Привлекает продвинутым таргетингом и возможностью отслеживать одновременно несколько метрик.

Тонкости проведения сплит-тестов во многом зависят от интерфейса и особенностей сервиса. Но в целом алгоритм действий будет одинаковым.

как проводить A/B-тестирование в Google

Как проводить A/B-тестирование в Google

Проводить тесты с помощью нескольких разных сервисов — это трудоемко, сложно и дорого. Лучше сосредоточиться на одном проверенном. К примеру, воспользоваться популярными сервисами от Google.

A/B тесты в Google Analytics

В этом сервисе есть удобная вкладка — «Эксперименты». Находится она в пункте «Поведение». Зайдите в «Эксперименты», введите урл страниц, участвующих в тестах, и получите код для вставки.

Обратите внимание: скрипт нужно добавлять только на исходную страницу!

Перейдите к запуску теста.

Примечательно, что Google А/Б тестирование не воспринимает как маскировку и накрутку. Наоборот, разработчики относятся к экспериментам нейтрально.

A/B тестирование с Google Optimize

Этот сервис используется в связке с Google Analytics: отсюда берутся сведения по показателям: доход, число транзакций и проч. Если описывать кратко работу в Google Optimize, схема будет выглядеть так:

  1. Зарегистрируйте аккаунт и определите тип эксперимента.
  2. Для настройки теста создайте варианты страниц и задайте распределение трафика на них.
  3. Свяжите Optimize с Analytics.
  4. Настройте цели в этом сервисе или выберите до этого заданные в Analytics.
  5. Введите настройки таргетинга — условия, при которых активируется эксперимент.
  6. Задайте код посредством Google Tag Manager.
  7. Введите в коде сайта скрипт, который скроет замену элементов.

Поскольку инструмент бесплатный, за раз вы можете запустить не больше 5 тестов и сделать до 10 подмен. Если нужно работать неограниченно, воспользуйтесь платным Google Optimize 360. В целом малому и среднему бизнесу хватает возможностей бесплатной версии.

как тестировать варианты страниц

Как тестировать варианты страниц

Узнаем об этом на примере все того же Google Optimize.

Отличия при настройке разных экспериментов будут находиться в разделе «Таргетинг и варианты».

Для многовариантного теста вы проверяете комбинации элементов (до 16 шт.). Потребуется:

  1. Указать названия разделов. Изначально выставлены имена «А» и «В». Если по эксперименту требуется больше, добавьте варианты кнопкой «Добавить раздел» и каждый назовите.
  2. Добавить в разделах варианты, которые будете сравнивать с исходником. Тоже дайте им названия, чтобы не путаться.
  3. Изменить элементы в визуальном редакторе. Выполните это для каждого варианта. К примеру, смените цвет кнопок.

Работает эксперимент следующим образом: посетитель заходит на исходную страницу. Ее адрес вы указывали при создании проекта. Сервис переадресует пользователя на один из тестовых вариантов (урлы вы задаете во время настройки).

Сразу же после запуска теста начинают составляться отчеты, с которыми вы можете ознакомиться в соответствующей вкладке.

Хорошо то, что Google Optimize сам определяет, когда пора завершить тестирование для получения достоверных сведений. Когда один из вариантов теста выигрывает, сервис автоматически начинает демонстрировать его пользователям.

основные этапы A/B тестирования

Основные этапы A/B тестирования

Рассмотрим небольшую пошаговую инструкцию к тому, как проводить сплит-тесты.

Определение целей

Сначала сформулируем ключевые задачи компании или магазина и убедимся, что цели эксперимента с ними совпадают. Не проверяйте гипотезы, которые сразу не согласованы с глобальной целью. Если неверно выбрать ориентир, вы впустую потратите время и деньги.

Выбор метрики

Под понятием подразумеваются значимые показатели: количество продаж, чистая прибыль, число посетителей, доход и т. д. Для начала выберем одну метрику, но порой удобно рассматривать сразу несколько.

Если вы будете анализировать в рамках одного тестирования десяток метрик, эффективность работ значительно снизится.

Выдвижение гипотезы

Теперь переходим к важному этапу. Гипотезу выбирайте по схеме «если что-то сделать, то произойдет то». Например: если цвет кнопки «Заказать» изменить на зеленый, конверсия вырастет с 3–4 % до 7–8 %.

Чтобы верно оценить результаты, требуется выдвинуть 2 гипотезы:

  • нулевая — к улучшениям не приведет и оставит показатель на прежнем уровне;
  • альтернативная — корректировки повысят конверсию до 7–8 %.

Соответственно, если изменений не произошло, сработала нулевая гипотеза и вносить изменения бессмысленно. Если показатели выросли, альтернативный вариант победил. Это значит, что можно вносить более глобальные правки.

При негативном результате нужно просто откатить изменения и пробовать повышать метрику дальше.

Подготовка контрольных данных

Страница переделана, все готово к тестированию. Перед этим необходимо измерить исходные показатели конверсий и прочих метрик, которые будут учитываться. Первоначальный вариант называем А, новый — В.

Запуск теста

На этом этапе рандомно разделяем трафик 50/50. Половина пользователей увидит страницу А, остальная — В. Причем важно, чтобы состав трафика был равным. В противном случае тест будет необъективным.

Анализ результатов

Когда набралось достаточно сведений для статистики, пора оценить эффект А/Б тестирования. Выборка должна представлять статическую значимость. То есть вероятность случайности не должна превышать 5%.

По итогам анализа принимаем решение: распространить внесенные изменения на всю аудиторию или откатить до первоначальной версии.

рекомендации по A/B-тестированию

Рекомендации по A/B-тестированию

Вы уже узнали, что сплит-тесты помогают повысить отдачу страниц. Чтобы они принесли результаты в действительности, специалисту нужно генерировать идеи для позитивного влияния на метрики. Нельзя придумывать правки наобум. Вы должны видеть пути улучшения страниц и понимать, почему именно они перспективные.

Но любой маркетолог порой попадает в ситуацию, когда протестированные идеи не помогли достичь целей. Если вы столкнетесь с подобным, попробуйте внести такие правки:

  • используйте конверсионную форму, которая при прокрутке остается видимой для пользователя;
  • уберите лишние поля. Возможно, посетитель не хочет указывать определенные данные и из-за этого отказывается совершить действие;
  • увеличьте срок бесплатного тестирования вашего продукта;
  • «поиграйте» с цветом конверсионных кнопок. Иногда положительную динамику дает агрессивный красный, а порой выигрышным становится спокойный зеленый.

Не опускайте руки после первой неудачи. Тестирование на то и называется тестированием, чтобы проверять, пробовать и экспериментировать.

Выводы

Вне зависимости от того, стал ваш эксперимент удачным или нет, относитесь к тестированию как к возможности для обучения. Пользуйтесь приобретенными навыками в создании и проверке последующей гипотезы. В любом случае рано или поздно получится найти те самые точки роста, которые помогут повысить показатели метрик и найти лучшее решение для развития бизнеса.

FAQ

Что такое A/B тестирование?

A/B тестирование представляет собой инструмент для развития сайта и проверки гипотез. Это особый метод оптимизации воронки ресурса. При его помощи разработчики оценивают предпочтения аудитории, определяя, требуется внедрять какие-то изменения или нет.

Когда проводить A/B тестирование сайтов?

А/В тестирование проводят, когда хотят оптимизировать ресурс, повысить продажи или выполнить анализ работы ресурса. Основная цель – сделать его более удобным для посетителей, подтолкнуть их оформлению заказов.

Что можно проверять с помощью А/В тестов?

Данный инструмент используется для сравнения базовой (контрольной) версии и оптимизированной, чтобы отследить реакции пользователей. Использовать А/В тестирование можно для оценки удобства обновленной структуры, нескольких вариантов текстов и прочих составляющих сайта.

Как провести A/B тестирование?

Для проведения A/B тестирования можно воспользоваться сервисами Google: Analytics, Optimize. Использовать их нужно в связке. Analytics отслеживает сведения по показателям (количество транзакций, доход и пр.), которые необходимы для использования Optimize.

У вас остались вопросы?

Оставьте ваши контактные данные. Наш менеджер свяжется и проконсультирует вас.

A b тестирование помогает определить

AmazingHiring продолжает рассказывать вам о том, где найти идеального специалиста, и как наладить коммуникацию с ним. Опытный рекрутер отправляет десятки электронных писем, SMS и LinkedIn InMails ежедневно, но что делать, если львиная доля сообщений остается без ответа?
Самое время провести A/B-тестирование!

Какую пользу маркетинговый инструмент может принести рекрутерам

A/B-тестирование, известное также под названием «сплит-тестирование» — инструмент, который активно используется маркетологами для определения эффективности работы каналов и инструментов продвижения. A/B-тесты помогают определить, что оказывает наибольшее влияние на потребителя. Для того, чтобы повысить кликабельность заголовков или CTR email-рассылки, маркетологи разрабатывают две версии контента или создают макеты с разным дизайном и демонстрируют их целевым группам A и B. Сравнив реакцию групп, специалисты определяют наиболее эффективный вариант.

 

111

(Один из алгоритмов  проведения  сплит-тестирования email-рассылки)

A/B-тестирование может принести немалую пользу рекрутерам — к примеру, с помощью несложного исследования можно отследить, какие подзаголовки писем привлекают наибольшее внимание кандидатов, нравится ли им мультимедийный контент и влияет ли персонализация делового предложения на отклик. «Обычно я провожу сплит-тестирования  именно контента email» — замечает Чарли МакКласки (Charlie McClaskie), ИТ-рекрутер компании OpenPros«я пробую разные темы, описания и иногда даже названия вакансий. Результаты тестов помогают повысить кликабельность и открываемость писем. Следовательно, возрастает и количество кандидатов, которые решают  прийти на собеседование и могут стать потенциальными сотрудниками компании».

По мнению рекрутеров, активно использующих сплит-тестирования в своей работе, результаты исследований помогают существенно увеличить процент отклика соискателей. Нередко HR-специалистам удается превратить воронку рекрутмента в трубу — разрыв между количеством увидевших вакансию и успешно прошедших собеседование специалистов снижается, рекрутер может найти сразу несколько подходящих соискателей для закрытия одной вакансии.

A/B-тестирование помогает улучшить не только контент email-рассылки

Несмотря на то, что большинство рекрутеров предпочитает проводить сплит-тестирования для оценки эффективности электронных писем, подобные исследования помогают усовершенствовать не только деловую переписку. Немало пользы может принести A/B-тестирование содержания и каналов размещения вакансий, с помощью которого HR-специалист сможет узнать, какие описания вакансий привлекают больше всего соискателей на конкретной площадке, или же проверить, на какой из площадок предложения компании получают больше отклика.

Результаты A/B-тестирования помогут не только увеличить отклик, но и улучшить его «качество»- правильная формулировка вакансии помогает «отсеять» кандидатов, чья квалификация не соответствует требованиями компании.

Советы по организации A/B-тестирования

Эти советы AmazingHiring помогут провести наиболее результативное исследование предпочтений аудитории.

  • Поиск целевых групп для  проведения исследования

По мнению рекрутеров, наиболее результативными становятся сплит-тестирования нового контента на потенциальных соискателях. Вы можете составить два варианта письма с приглашением на собеседование и разослать их интересующим кандидатам, предварительно разделив специалистов на две  приблизительно равные группы.

A/B-тестирование позволяет HR-специалисту  опробовать новые идеи — например, включить в стандартные письма с описанием требований к вакансии мультимедийный контент. В этом случае часть соискателей получает письма старого формата, а другая — обновлённые послания.

  • Условия тестирования должны быть одинаковыми для обоих сегментов

Для того, чтобы получить статистически значимый результат, необходимо отправить  письма представителям групп A и B одновременно. Мы уже рассказывали о том, почему день и время отправки письма существенно влияют на отклик. Если группа А получит письмо вечером воскресенья, а B — утром во вторник, результаты тестирования не будут объективными.

Кроме того, важно исключить влияние сегментов друг на друга — каждый испытуемый должен быть отнесен только к одной из групп и может увидеть только один из вариантов письма.

  • Изменяйте уровень персонализации и экспериментируйте с описанием вакансий

HR-специалисты рекомендуют экспериментировать с содержанием писем для того, чтобы определить наиболее привлекательный для соискателей вариант. Вы можете менять уровень персонализации — от привычного обращения по имени, до указания заинтересованности в деятельности конкретного кандидата.

Полезно изменять и описание вакансии — раскрывать или скрывать уровень заработной платы, название рабочего проекта и его детали, добавлять гиперссылки на подробную информацию о компании.

  • Тестируйте оформление письма

Согласно исследованиям компании Wishpond, письма, содержащие изображения, имеют CTR на 60% выше, чем те, что состоят только из текста. В то же время, многие пользователи предпочитают письма с минимальным оформлением и негативно относятся к лишнему визуальному контенту. Лучший способ узнать, какой формат email-рассылки предпочитают интересующие вас специалисты — провести сплит-тестирование дизайна писем.

  • Используйте онлайн-ресурсы для оптимизации исследования

Опытные маркетологи составили немало дайджестов по проведению A/B-тестирований. Если вы не сталкивались с подобными исследованиями ранее, воспользуйтесь одной из подборок инструментов. Например:

A/B тестирование: 70 ресурсов, которые послужат хорошим стартом для начинающих

Инструменты для сплит-тестирования (A/B тестирования)

А/Б тестирование: от А до Б

А/В-тестирование: 14 полезных ресурсов и 7 распространенных ошибок

Основные сервисы для проведения A/B тестирования

Сплит-тестирование с помощью Google Analytics

  • Не спешите завершить исследование, получив первые результаты

Одна из наиболее распространенных ошибок при проведении сплит-тестирования — желание завершить тест после получения первых значимых результатов. Однако, если трое соискателей из группы A, получивших письмо с новым мультимедийным контентом, ответили согласием в течение часа, а В-кандидаты за это время не прислали ни одного письма, отказываться от B-версии рано.

Не стоит полагаться на собственные ощущения в ходе тестирования. HR-специалисты советуют обращать внимание на конверсию и делать выводы только на основании полученных цифр.

Калькулятор длительности теста Wingify поможет определить, как долго придётся ждать статистически важного результата.

Удачи и happy hunting,

Команда AmazingHiring