Ab тестирование пример расчета

Расскажем о mindbox, покажем платформу в деле и рассчитаем стоимость под ваши задачи спасибо! выйдем на связь в течение рабочего

Расскажем о Mindbox, покажем

платформу в деле и рассчитаем стоимость под ваши задачи

Спасибо! Выйдем на связь
в течение рабочего дня, чтобы
договориться о времени
и формате встречи

Рассчитать размер выборки

Помогает подготовиться к тесту и узнать, сколько нужно людей для достоверных результатов. Подходит для тестирования Open rate, Click rate, конверсии в заказы и других показателей.

Количество
вариантов

Средний
показатель

Ожидаемый
абсолютный прирост

Размер выборки, количество человек

ВсегоВсего для теста нужно:

5 400

В каждом вариантеКоличество человек в каждом варианте:

2 700

Размер выборки,
количество человек

Среднее значение тестируемого показателя определяется, например, по историческим данным.

Ожидаемый прирост — минимальный процент, на который планируете увеличить тестируемый показатель. Если он будет слишком маленьким — для теста понадобится много людей. Если будет слишком большим, а реальный прирост окажется меньше — значит не удалось добиться нужного роста и результаты теста не значимы.

Достоверность — процент уверенности в том, что результаты теста верны, если он показал разницу.

Мощность — процент уверенности в том, что результаты теста верны, если он не показал разницу. Если не знаете, какой процент указать, оставьте значения по умолчанию.

Размер выборки — показывает, сколько людей должны увидеть каждый вариант, чтобы можно было доверять результату теста. Помогает рассчитать время теста и не выключить его слишком рано или слишком поздно.

Например, триггерная цепочка отправляет 100 писем в день. Калькулятор определил: для достоверного сравнения двух вариантов нужны две выборки по 500 человек. Значит, нужно отправить 1000 писем в течение 10 дней.

Подвести итоги тестирования

Помогает понять, отличаются ли результаты в тестируемых вариантах, какой вариант лучше и можно ли считать результаты значимыми.

Количество
вариантов

Число
конверсий

Размер выборки

Конверсия

Доверительный
интервал

Вариант A

Доверительный интервал

0,0 – 0,0 %

Вариант B

Доверительный интервал

0,0 – 0,0 %

Вариант C

Доверительный интервал

0,0 – 0,0 %

Вариант D

Доверительный интервал

0,0 – 0,0 %

Вариант E

Доверительный интервал

0,0 – 0,0 %

Конверсия — показатель конверсии в каждом из вариантов при достоверности 100%.

Доверительный интервал — конверсия при указанном уровне значимости. По умолчанию — 95%, то есть конверсия с вероятностью 95% находится среди значений доверительного интервала.

Достоверность показывает, что результаты тестирования верны с указанной долей вероятности.

Вывод
Вариант A лучше B — размер выборки и разница в конверсиях статистически значимы. Результату теста с заданной достоверностью можно доверять.

Вариант А и В значимо не различаются — конверсия отличается из-за случайных факторов, а не из-за отличий вариантов. Или размер выборки недостаточен для получения статистически значимых результатов. Возможно, потому что тест остановили слишком рано.

Рассчитать, сколько человек нужно для теста можно в калькуляторе «Размер выборки».

Как правильно проводить AB-тесты

Юлия Туркина, ведущий аналитик Mindbox рассказывает, как правильно проводить AB-тесты в четыре этапа.

Ab тестирование пример расчета

Ab тестирование пример расчета

Ab тестирование пример расчета

Ab тестирование пример расчета

A/Б-тестирование для новичков: что это такое и как его настроить

Маркетологи абэ-тестируют, абэ-тестируют, да не выабэтестируются.

Внимание, эта статья не для маркетологов — она для людей, которые делают классный продукт и с помощью лендинга хотят найти новых клиентов. Мы постарались максимально просто рассказать об А/Б тестировании, избежав нагромождения цифр и терминов.

Ab тестирование пример расчета

Что такое А/Б тестирование

Это метод. Тест. С его помощью выясняется, как небольшие изменения в дизайне или подаче коммерческих предложений влияют на поведение людей на сайте.

Допустим, вы делаете лендинг, в котором отличаются некоторые элементы: например, цвет фона. Запускаете рекламу и разделяете входящий трафик на два потока: половина посетителей попадает на лендинг с синим фоном, а вторая половина на лендинг с красным фоном. Через некоторое время анализируете результаты и видите, что красный фон приносит больше заявок, чем синий. Оставляете его.

Маркетологи также называют этот метод сплит-тестирование, от английского слова split — раздельный.

Зачем нужно А/Б тестирование

А/Б тестирование проводят, когда хотят проверить предположение. Например:

  • Люди будут оставлять больше заявок на участие в мастер-классе, если я подробнее расскажу о себе.
  • Больше посетителей подпишется на рассылку, если я перенесу кнопку из середины лендинга на главный экран.
  • Люди дольше задержатся на сайте, если я изменю цвет фона на более нейтральный.
  • Количество покупок увеличится на 5%, если я изменю подачу коммерческого предложения.

Выбираете гипотезу, которую хотите проверить первой, тестируете ее и по результатам определяете — стоит ли вносить изменения на сайт.

А/Б тест на практике помогает определить, насколько ваша идея проверяется реальностью.

Целесообразно проводить эксперимент, если к вам на сайт заходит хотя бы 5000 человек в месяц. Если меньше — придется потратить много времени, чтобы накопить необходимую статистику.

Как часто проводят и сколько времени это занимает

Нет какого-то особенного графика для проведения А/Б тестов — вы запускаете эксперимент, когда появляется интересная гипотеза. Больше гипотез — больше тестов.

Время проведения зависит от идеи. Если вы внесли микро-изменение: поменяли цвет кнопки или загрузили новое изображение — может понадобиться два-три месяца, чтобы понять какой вариант лучше. Если изменения глобальные — уже через пару недель станет понятно, какой лендинг больше зашел.

Время проведения рассчитывают на специальном калькуляторе — он помогает определить период, за который наберется достаточное количество людей для статистики.

Калькулятор определяет, сколько людей должно поучаствовать в тесте, а дальше уже нехитрыми вычислениями можно прикинуть, сколько времени это займет.

Как провести АБ-тестирование

Самые распространенные элементы для тестирования: кнопка и заголовок. Все, что находится на первом экране, потому что верхние экраны читают больше, чем нижние.

А также:

  • Главная иллюстрация
  • Иллюстрации товаров
  • Текст — заголовки, коммерческое предложение
  • Цены
  • Дизайн сайта или отдельных страниц
  • Формы заявок

2. Посчитайте на калькуляторе, сколько людей должно участвовать в тесте

А/Б тестирование чаще всего проводят, чтобы повысить конверсию. Конверсия — это соотношение покупателей и общего числа посетителей. Если по-простому: на сайт зашло 100 человек, а заявки оставили 3 человека — значит конверсия из посетителей в потенциальных покупателей составила 3%.

Все хотят, чтобы покупателей было больше, поэтому стремятся писать более крутые заголовки, ставить красивые иллюстрации, удивлять людей интересными предложениями. Чем привлекательней сайт или лендинг — тем больше заявок вы получите. Больше заявок — больше конверсия.

Конверсия — это белый кролик в мире маркетинга, все бегут за ним, ударяются во все тяжкие и некоторым, вы только подумайте, удается взять его за… уши. Возможно, и вам повезет.

Главное, не бойтесь экспериментировать, но и не переходите черту — в А/Б тестировании важно оставаться трезвым: за месяц повысить конверсию в два раза дерзкий и мало выполнимый план. Лучше брать реальные цифры — например, за месяц запланировать повышение конверсии на 2-3%.

Представьте, к вам на сайт ежедневно заходит 200 человек, из них 20 оставляет заявку на участие в фитнес-марафоне. А вы хотите, чтобы заявки оставляли 24 человека — на 20% больше от имеющейся цифры.

Открываете калькулятор и в первой графе вводите конверсию, которая есть сейчас — 10% (это 20 человек из 200). А в графу ниже вбиваете 20% от настоящей конверсии (это 24 человека из 200).

Ab тестирование пример расчета

Калькулятор считает, сколько людей должно пройти через тестирование — 3623 человека на каждый вариант, то есть всего 7246 человек, если проводить тест, разделяя выборку 50/50.

Вы берете цифру, которую посчитал калькулятор и делите на количество человек, которые заходят к вам на сайт в день: 200 человек в день — значит, проведение А/Б теста займет 36 дней.

Итог: Чтобы проверить гипотезу об увеличении количества заявок с 20 до 24 человек в месяц на сайте, где посещаемость в день 200 человек — вам нужно 36 дней на А/Б тест.

Ab тестирование пример расчета

Есть еще нюанс: чем более глобальны изменения на лендинге, тем меньше людей нужно, чтобы понять, какой вариант лучше. Если вы полностью изменили дизайн, всего через пару дней станет ясно, какой из двух дизайнов больше нравится людям — не нужно проводить много опытов, чтобы понять разницу между слоном и муравьем. Но если вы сравниваете красных муравьев с черными муравьями — потребуется более тщательный эксперимент, чтобы выявить малозаметные различия.

3. Настройте А/Б тестирование на Flexbe.

Когда вы определились с гипотезой и узнали необходимое количество человек для теста, подготовьте лендинг для эксперимента. На Flexbe есть удобный функционал для проведения А/Б тестирования. Оно настраивается на уровне секций — на одной странице может работать несколько тестов в разных секциях.

 В настройках секции нажмите «…» и активируйте А/Б тестирование кликом.

Ab тестирование пример расчета

В появившемся всплывающем окне выберите необходимую опцию.

Ab тестирование пример расчета

Не забудьте внести изменения в вариант секции Б — А/Б тестирование при создании запускается автоматически, т.е. после сохранения изменений приходящий трафик будет делиться на группы А и Б.

Как анализировать результаты А/Б тестирования

Когда тест подошел к концу — время сравнить, какой вариант был более эффективен и выбрать лучший. Если вы кликните по иконке статистики А/Б тестирования, откроется всплывающее окно.

Ab тестирование пример расчета

Тестирование можно поставить на паузу или завершить. Если поставите тестирование на паузу — вариант Б не будет показываться посетителям, иконка станет красного цвета.

Ab тестирование пример расчета

При продолжении эксперимента новые пользователи продолжат деление на группы и будут попадать в статистику.

Ab тестирование пример расчета

Для завершения тестирования просто нажмите иконку завершения тестирования. Остается выбрать наилучший вариант секции.

После, Jitbit провел еще один тест сортировки цен и опять же конверсия разных вариантов была одинаковой.

Этот пример хорошо иллюстрирует то, что A/B-тестирование не всегда дает результат и что выбрать подходящий элемент для теста не так уж и просто.

Лучшая утилита для анализа

Многие утилиты для тестирования предлагают собственные модули для обработки полученных данных. Одной из лучших утилит для анализа полученной информации является Google Analytics.

Хорошим вариантом будет выбор Google Analytics и в качестве утилиты для проведения теста, не только для анализа, ведь он позволяет это сделать. После проведения эксперимента Google указывает следующую информацию: эффективность тестируемых страниц, наиболее эффективный вариант, конверсию, количество посещений и многие другие показатели, которые пригодятся для полной картины эксперимента.

Также отличным выбором будет Optimizely. Этот сервис заточен только под A/B тестирование. Его отличительная черта — это возможность изменения изображений, редактировалния кнопок, а также поддержка сторонних скриптов. Сервис бесплатен, однако дорогие тарифные планы позволяют проводить мультивариантное тестирование.

Visualwebsiteoptimezer лучше всего подойдет для мультивариантного тестирования, так как это его основная фишка. Сервис платный и обойдется в $49 в месяц (зависит от количества посетителей на сайте).

Unbounce.comспециализируется на создании лэндингов, однако позволяет запустить A/B тестирование. Если по каким-то причинам вас не устраивают специализированные сервисы, то можно попробовать его. Стоимость подписки — $49 в месяц(зависит от количества посетителей на сайте).

Из русскоязычных сервисов можно выделить abtest.ru, который является практически полной копией Optimizely. Сейчас он находится в бета-тестировании, а преимущество его в том, что он пока абсолютно бесплатен, хотя с работтоспособностью пока есть явные проблемы.

Чем больше аудитория, тем лучше

Проводить тестирование имея посещаемость в 100 человек — очень и очень неразумно. Для эффективного теста вам потребуется большая пользовательская база и если таковой у вас нет, то существует 2 варианта. Либо отказаться от тестирования, либо нагнать искусственный трафик, однако в таком случае результаты могут заметно отличаться от реальных.

Представьте, что ваш A/B-тест проводился на 100+ пользователях. Показатель конверсии будет слишком далек от истины, чтобы выбрать подходящий вариант. Разница в количестве зарегистрированных пользователей очень мала, а показатель конверсии сильно отличается. Поэтому, чтобы от проведенного теста был толк, нужно использовать большую аудиторию.

Будьте честны со своими пользователями

Многие интернет-магазины и компании анализируют портрет пользователя и на основании этого выводят ему разную информацию. Однако недобросовестные компании используют полученную информацию в корыстных целях.

К примеру, магазин florist.ru менял цены в зависимости от того, с какого компьютера был запущен сайт и показывал более высокие цены для пользователей MacBook и iMac.

Естественно, имея такие знания о пользователе, маркетологам сложно сдержаться и не попробовать заработать на этом. Одними из первых этой фишкой воспользовались авиакомпании. На основании того, как часто вы проверяли цену на тот или иной билет, сайт все увеличивал и увеличивал цену.

Если зайти на сайт авиакомпании с помощью режима инкогнито, можно в этом легко убедиться.

Однако многие компании используют информацию, полученную с помощью A/B-тестирования и во взаимовыгодных целях. К примеру, интернет-магазин Flowwow анализирует, какие цветы мужчина дарит своей второй половинке чаще всего и потом в знаменательные даты предлагает букеты на основании ее любимых цветов.

В качестве еще одного примера можно привести несколько интернет-магазинов доставки готовой еды, которые предлагают своим пользователям выбрать любимые блюда с помощью занимательных тестов. И после, на основании полученной информации предлагают более подходящую выборку.

Проанализировав портрет своего пользователя, можно использовать полученную информацию разными путями. Кто-то использует её для собственной выгоды, кто-то для взаимной пользы. Желание нажиться говорит о недальновидности маркетологов, ведь полученную информацию можно использовать в течение 5-6 лет, а то и больше, было бы терпение. А такие недобросовестные стратегии ставят крест на лояльности покупателей компании.

Ошибки

А теперь перейдем к самым распространенным ошибкам, которые сводят эффективность A/B-тестирования к нулю.

Ошибка №1. Тестирование случайного элемента

Слишком часто маркетологи берут элемент для теста наугад и не удивительно, что подобные тесты заканчиваются ничем. Разумеется, вам может повезти. Но давайте будем откровенными, с какой вероятностью?

Ошибка №2. Проведение нескольких одновременных тестов

Вы решили провести несколько тестов одновременно. Один на странице покупки, второй на странице с лучшими товарами и третий на главной странице. Экономите время? Да. Есть ли в этом смысл? Нет.

Проведение нескольких тестов одновременно может и наверняка усугубит эффективность каждого из них. Если вы все же хотите запустить несколько одновременных тестов, то стоит объединить их. К примеру так, чтобы пользователи видели или полностью новый дизайн или полностью старый.

Ошибка №3. Ненужная спешка

И, как следствие, раннее сворачивание тестирования.

Ошибка №4. Посредственный анализ информации

Представьте себе, что вы владеете интернет-магазином по продаже еды и у вас есть два варианта лэндинга: один с гамбургером, а второй с голой девушкой. Отгадайте, конверсия какого лэндинга будет больше?

Конечно, с девушкой. Однако после этого, какова будет конверсия в покупку? Будут ли пользователи, кликнувшие на девушку думать о покупке еды? Вряд ли.

Ошибка №6. Игнорирование мультивариативных тестов

Вы сделали две главных страницы, прогнали их A/B тестом и оказалось, что конверсия варианта В на 12% больше. Вы с радостью прекратили тест, однако здесь тестирование только начинается.

Изучите элементы главных страниц, определите на основании чего один вариант выиграл, а второй проиграл. Замените эти элементы и сделайте тест еще раз, посмотрите на конверсию. И теперь у вас получится шесть вариантов вместо 2. С помощью полученной информации можно добиться гораздо лучших результатов.

Успешные тестирования

Однако, если вы не допустите этих ошибок, то результаты тестирования могут быть очень и очень полезны. Вот несколько подобных примеров.

Всего одно слово

…понадобилось изменить сайту Unbounce, чтобы увеличить CTR на 90%. Изменение кнопки «Start YOUR free 30 day trial» на «Start MY free 30 day trial» показало действительно космический результат.

Кому нужны лица?

Опыт компании HubSpot очень интересен. По результатам их тестирования главная страница с лицом на ней получила на 50% меньше кликов.

Так выглядел вариант А

Так выглядел вариант В

Несмотря на то, что в вариантах были еще изменения, они были очень незначительны и не могли повлиять на результат. Компания решила добавить лица (причем лица сотрудников) и на другие страницы и на некоторых из них, это показало положительный эффект. Иногда результаты могут быть действительно неожиданными!

Люди или вещи?

Взгляните на эти варианты теста.

Как думаете, какой из них собрал большее количество кликов по видео: тот, где изображены лица людей или тот, где изображены предметы?

Версия с лицами собрала на 50% меньше кликов, чем с предметами. Кроме превью видео больше ничего не менялось, поэтому логично будет предположить, что именно лица людей стали причиной снижения количества кликов.

Удивлены? Компания Autodesk, которая проводила это тестирование, была удивлена не меньше.

Вывод

Вот, насколько необычными могут быть результаты A/B-тестирования. Различная целевая аудитория, время проведения теста и многое другое может повлиять дать абсолютно разные результаты, которые иногда даже противоречат логике.

Однако A/B-тестирование по-прежнему остается одной из самых эффективных маркетинговых стратегий для сравнения эффективности различных вариантов. Надеемся, что из нашей статьи вы узнали о нем больше!

AB test, полезная штука, которая просто должна быть по-умолчанию в интернет проектах. Как проводить и что для этого нужно?

Сегодня тестирование гипотез и проверка идей, обязательная программа. Под эту задачу отлично подходит AB test. Давайте разберём подробнее, что это вообще такое, в чём польза и какие есть инструменты.

AB test: что это и зачем

AB test или Split test — метод маркетингового исследования, суть которого заключается в том, что вы берёте и сравниваете несколько вариантов элемента продукта с одним определенным изменением. А после смотрите какой из вариантов показал себя лучше.

К примеру, у нас родилась идея, поменять цвет кнопки на некой странице. Мы думаем, что это изменение принесёт нам больше кликов. Запускаем оба варианта, половине наших пользователей показываем вариант A, а другой половине вариант B.

AB test

По прошествии какого-то времени (продолжительность определяется перед запуском теста) замеряем результат. Смотрим какой из вариантов лучше отработал и используем его в работе. Таким образом вы можете проверять практически любые гипотезы и смотреть, что лучше работает, а что нет.

Что можно анализировать с помощью AB test?

  • Конверсии. Кол-во успешных целевых действий на вашем сайте. Это может быть нажатие на кнопку “Купить”, посещение какой-то страницы или что-то ещё.
  • Экономика. Средний чек или объём выручки.
  • Поведенческие факторы. Глубина просмотра, длительность сеанса.

Нюансы и тонкости

  • Очень важно при тестировании менять только один фактор. Если это цвет кнопки на лендинге, то мы тестируем только разные цвета кнопок и не меняем больше ничего на страницах.
  • Также и с внешними факторами. Тест запускается в одно и то же время при одних и тех же условиях. В противном случае вы можете получить данные, которые будут необъективными.

Простите, что прерываю чтение. Присоединяйтесь к моему telegram канал. Свежие анонсы статей, развитие digital продуктов и growth hack, там все. Жду вас! Продолжаем…

Важно про данные

Всё было бы очень просто, если бы не одно “Но”. Можно провести AB test, получить результаты, где откровенно видно, что один из вариантов сильно лучше другого.

Например, мы показали 2 варианта страниц с разным цветом кнопок по 1000 раз каждый. Проводили тест одну неделю. И получили следующие результаты:

Пример 1

При одинаковых показах баннера (это важно), кол-во кликов у варианта B больше в три раза. Делаем вывод, что этот вариант более эффективный и берём его в рабочую версию, а старый удаляем.

А если, к примеру, так?

AB test пример 2

Стоит ли брать вариант B? Или может быть это просто погрешность? Да и достаточно ли показать 1000 раз каждый из вариантов, чтобы принять решение? Может к нам на сайт в день заходит 10 000 пользователей и выборка очень мала, чтобы сделать вывод? А если, данные которые мы анализируем, не просто кол-во кликов, а средний чек с транзакций?

Статистика нам в помощь

Чтобы понять, как устроен мир цифр и экспериментов, давайте немного разберём мат.часть. Если нет времени и сил, то советую пропустить этот раздел. Дальше, я дам более простые решения задачи.

Большой соблазн, когда получили результаты эксперимента, принять решение и всё, вот оно, “светлое будущее”. Но, ведь, если копнуть немножечко глубже, то за неделю распределение кликов по дням было неравномерным. Давайте распишем.

AB test пример 3

В таблице видно, что клики по дням распределены по-разному. А значит, наши значения варианта A и варианта B могут меняться каждый день. То есть, мы имеем дело со случайными величинами. Для таких случаев применяют средние значения. Но ведь, если мы проведем эксперимент ещё раз, то какова вероятность, что результат повториться?

Изобразим на графике распределение всех данных за неделю по варианту A и B.

AB test пример 4

Если мы возьмём средние величины по каждому из вариантов (это вертикальные полоски посередине двух волн), то увидим, что разница совсем невелика. Но существуют определенные отклонения, в большую и меньшую сторону от среднего. Поэтому, мы получаем пересечение двух волн. Чем оно больше, тем меньше значимость эксперимента и, соответственно, чем меньше пересечение, тем выше статистическая значимость.

Статистическая значимость, это то, насколько верны полученные результаты. То есть в нашем примере, ответ на вопрос “нужно ли брать вариант B?”.

Обычно, по-умолчанию принимают уровень значимости равный 95%. Это означает, что мы с 95% вероятностью хотим знать, стоит ли выбирать другой вариант (B) при сравнении. Оставшиеся 5%, это вероятность ошибки, которую мы допускаем или p-value в терминологии статистики.

Интересно, что многие забывают проверять уровень значимости в своих экспериментах и тем самым могут получать ошибочные данные. 8 из 10 AB тестов проходят мимо этой оценки. (источник)

Не буду вдаваться долго в подробности, как рассчитывается показатель значимости, просто дам инструмент, который посчитает все за вас.

Инструменты для расчета значимости

Для оценки значимости данных советую использовать этот инструмент.

AB test проверка значимости результатов

Здесь у нас A и B соответственно наши варианты. А по цифрам:

  1. Число посетителей/можно кол-во показов вставлять.
  2. Кол-во конверсий. Нажали на кнопку, зарегистрировались. В общем выполнили целевое действие.
  3. P-value. Вероятность ошибки, которую мы опускаем при заданных данных.
  4. Ответ на вопрос существенны ли, полученные изменения в нашем эксперименте.

Пример: берём данные по показам и кликам из таблицы, которую показывал выше.

AB test пример 2

Забиваем их в сервис, нажимаем на кнопку “Calculate Significance” и…

AB test пример

Получаем ответ “No” или “Нет” (по-русски) в нижней строке, а чуть выше p-value 0,283. Что это означает? А то, что с вероятностью 28,3%  (0,283*100), если мы выберем вариант “B”, то он не принесёт никаких существенных результатов.

Чтобы эксперимент считался успешным, p-value должен быть меньше 5%

Есть ещё один сервис, в который также вбиваете данные и смотрите результат, доступен по ссылке.

На этом строится базовый принцип измерения случайных величин. Просто в тот момент, когда получите результаты AB test, прогоните их через инструмент и посмотрите, а на столько лишь значимо улучшение от другого варианта, чтобы брать его в работу?

Как понять сколько нужно данных?

Бывает так, что для получения выводов недостаточно полученных данных.Для того, чтобы понять, сколько раз нужно показать страницу A и B, а затем получить нужное кол-во данных, используйте этот инструмент.

Очень важно, повторюсь, запускать эксперимент при одних и тех же условиях. В идеале мы берём неделю, на которой нет ни праздников, ничего остального и параллельно тестируем варианты. Вернёмся к сервису.

AB test нужная выборка

Благодаря этому сервису вы поймете размер выборки для каждого из вариантов.

Подробнее по пунктам:

  1. Существующий уровень конверсии. Или, например, сколько процентов из всех пользователей сейчас нажимают кнопку.
  2. Минимально значимое изменение, которое нас интересует. На сколько мы хотели бы изменить базовый показатель конверсии.
  3. Значимое отклонение, которое мы ввели на предыдущем шаге показывает, что конверсия может увеличится, так и уменьшиться.
  4. Вы выбираете значение: absolute (абсолютный) или relative (относительный). Выбирайте то значение, которое хотите получить. Если у вас baseline уровень конверсий равен 30% (как в примере с картинки) и вы хотите повысить его на 5% с помощью ab тестов, то выбирайте “relative”. То есть, финальный результат изменения в случае успешности эксперимента будет 5% от 30%, то есть 31,5%.
  5. Размер выборки для каждого варианта. Сколько мы должны раз показать страницу отдельно A и страницу B, чтобы сделать выводы по эксперименту. Очень важно! Чтобы сделать выводы по эксперименту, мы показываем 24 409 раз A и 24 409 раз B!
  6. Статистическая значимость. На сколько точный эксперимент мы хотим провести.
  7. Погрешность p-value. Какую вероятность ошибки допускаем.

Можно ли останавливать эксперимент раньше?

Можно. Существует вариант, когда мы можем не дожидаться окончания эксперимента, а на определенном этапе уже сделать выводы. Для этого используйте уже известный инструмент, вкладка “Sequental Sampling“.

AB test выборка

По шагам:

  1. Вбиваете свой уровень конверсии сейчас. К примеру 30%, именно столько из 100% заходящих к нам на страницу нажимает кнопку.
  2. Набираете, на сколько вы хотели бы повысить ранее введенный показатель. Поставил на 10%. Было 30, хочу до 33 поднять.
  3. Кол-во конверсий одного из экспериментов, после которого останавливаем эксперимент и принимаем решение.
  4. Разница в конверсиях между вариантом A и B, после которой останавливаем эксперимент и берем, тот, что больше набрал.
  5. Выставляем уровень значимости 95% (как положено, см.выше материал).
  6. Устанавливаем погрешность p-value (опять же, см.выше материал).

Здесь нет никакой хитрости, просто статистика. Используйте этот инструмент, когда эксперименты занимают много ресурсов (время на разработку, бюджеты на рекламу для проверки гипотез и т.д.). Теперь у вас есть два правила, при которых вы можете останавливать эксперимент и делать выводы.

Чем проводить AB test?

Готовые решения:

  • Optimizely, vwo.com, zarget.com
  • http://alternativeto.net/software/optimizely
  • Google Analytics (ссылка как проводить)

Собственное решение:

  • Пишем админку.
  • Пишем и настраиваем каждый эксперимент.

Вот статья про 10 сервисов для AB test. Есть из чего выбрать.

Всё

Теперь у вас есть общее представление, что такое AB test, какие существуют нюансы и какими инструментами его проводить. В заключение добавлю что данное исследование гипотез является одним из самых полезных в развитии digital проекта. Разве не прекрасно, что можно проверить практически любую идею? Главное правильно, теперь вы знаете как.

Алексей А.


Читайте также:

  • Раз, два, три: где искать точки роста
  • Я знаю, что им всем нужно! А лучше бы сделал CustDev

Сегодня ролик о том, когда подарок, это ты.

AB test, полезная штука, которая просто должна быть по-умолчанию в интернет проектах. Как проводить и что для этого нужно?

Сегодня тестирование гипотез и проверка идей, обязательная программа. Под эту задачу отлично подходит AB test. Давайте разберём подробнее, что это вообще такое, в чём польза и какие есть инструменты.

AB test: что это и зачем

AB test или Split test — метод маркетингового исследования, суть которого заключается в том, что вы берёте и сравниваете несколько вариантов элемента продукта с одним определенным изменением. А после смотрите какой из вариантов показал себя лучше.

К примеру, у нас родилась идея, поменять цвет кнопки на некой странице. Мы думаем, что это изменение принесёт нам больше кликов. Запускаем оба варианта, половине наших пользователей показываем вариант A, а другой половине вариант B.

По прошествии какого-то времени (продолжительность определяется перед запуском теста) замеряем результат. Смотрим какой из вариантов лучше отработал и используем его в работе. Таким образом вы можете проверять практически любые гипотезы и смотреть, что лучше работает, а что нет.

Что можно анализировать с помощью AB test?

  • Конверсии. Кол-во успешных целевых действий на вашем сайте. Это может быть нажатие на кнопку “Купить”, посещение какой-то страницы или что-то ещё.
  • Экономика. Средний чек или объём выручки.
  • Поведенческие факторы. Глубина просмотра, длительность сеанса.

Нюансы и тонкости

  • Очень важно при тестировании менять только один фактор. Если это цвет кнопки на лендинге, то мы тестируем только разные цвета кнопок и не меняем больше ничего на страницах.
  • Также и с внешними факторами. Тест запускается в одно и то же время при одних и тех же условиях. В противном случае вы можете получить данные, которые будут необъективными.

Простите, что прерываю чтение. Присоединяйтесь к моему telegram канал . Свежие анонсы статей, развитие digital продуктов и growth hack, там все. Жду вас! Продолжаем…

Важно про данные

Всё было бы очень просто, если бы не одно “Но”. Можно провести AB test, получить результаты, где откровенно видно, что один из вариантов сильно лучше другого.

Например, мы показали 2 варианта страниц с разным цветом кнопок по 1000 раз каждый. Проводили тест одну неделю. И получили следующие результаты:

При одинаковых показах баннера (это важно), кол-во кликов у варианта B больше в три раза. Делаем вывод, что этот вариант более эффективный и берём его в рабочую версию, а старый удаляем.

А если, к примеру, так?

Стоит ли брать вариант B? Или может быть это просто погрешность? Да и достаточно ли показать 1000 раз каждый из вариантов, чтобы принять решение? Может к нам на сайт в день заходит 10 000 пользователей и выборка очень мала, чтобы сделать вывод? А если, данные которые мы анализируем, не просто кол-во кликов, а средний чек с транзакций?

Статистика нам в помощь

Чтобы понять, как устроен мир цифр и экспериментов, давайте немного разберём мат.часть. Если нет времени и сил, то советую пропустить этот раздел. Дальше, я дам более простые решения задачи.

Большой соблазн, когда получили результаты эксперимента, принять решение и всё, вот оно, “светлое будущее”. Но, ведь, если копнуть немножечко глубже, то за неделю распределение кликов по дням было неравномерным. Давайте распишем.

В таблице видно, что клики по дням распределены по-разному. А значит, наши значения варианта A и варианта B могут меняться каждый день. То есть, мы имеем дело со случайными величинами. Для таких случаев применяют средние значения. Но ведь, если мы проведем эксперимент ещё раз, то какова вероятность, что результат повториться?

Изобразим на графике распределение всех данных за неделю по варианту A и B.

Если мы возьмём средние величины по каждому из вариантов (это вертикальные полоски посередине двух волн), то увидим, что разница совсем невелика. Но существуют определенные отклонения, в большую и меньшую сторону от среднего. Поэтому, мы получаем пересечение двух волн. Чем оно больше, тем меньше значимость эксперимента и, соответственно, чем меньше пересечение, тем выше статистическая значимость.

Статистическая значимость, это то, насколько верны полученные результаты. То есть в нашем примере, ответ на вопрос “нужно ли брать вариант B?”.

Обычно, по-умолчанию принимают уровень значимости равный 95%. Это означает, что мы с 95% вероятностью хотим знать, стоит ли выбирать другой вариант (B) при сравнении. Оставшиеся 5%, это вероятность ошибки, которую мы допускаем или p-value в терминологии статистики.

Интересно, что многие забывают проверять уровень значимости в своих экспериментах и тем самым могут получать ошибочные данные. 8 из 10 AB тестов проходят мимо этой оценки. ( )

Не буду вдаваться долго в подробности, как рассчитывается показатель значимости, просто дам инструмент, который посчитает все за вас.

Инструменты для расчета значимости

Для оценки значимости данных советую использовать
этот инструмент
.

Здесь у нас A и B соответственно наши варианты. А по цифрам:

  1. Число посетителей/можно кол-во показов вставлять.
  2. Кол-во конверсий. Нажали на кнопку, зарегистрировались. В общем выполнили целевое действие.
  3. P-value. Вероятность ошибки, которую мы опускаем при заданных данных.
  4. Ответ на вопрос существенны ли, полученные изменения в нашем эксперименте.

Пример: берём данные по показам и кликам из таблицы, которую показывал выше.

Забиваем их в сервис, нажимаем на кнопку “Calculate Significance” и…

Получаем ответ “No” или “Нет” (по-русски) в нижней строке, а чуть выше p-value 0,283. Что это означает? А то, что с вероятностью 28,3% (0,283*100), если мы выберем вариант “B”, то он не принесёт никаких существенных результатов.

Чтобы эксперимент считался успешным, p-value должен быть меньше 5%

Есть ещё один сервис, в который также вбиваете данные и смотрите результат, доступен по
ссылке
.

На этом строится базовый принцип измерения случайных величин. Просто в тот момент, когда получите результаты AB test, прогоните их через инструмент и посмотрите, а на столько лишь значимо улучшение от другого варианта, чтобы брать его в работу?

Как понять сколько нужно данных?

Бывает так, что для получения выводов недостаточно полученных данных.Для того, чтобы понять, сколько раз нужно показать страницу A и B, а затем получить нужное кол-во данных, используйте этот
инструмент
.

Очень важно, повторюсь, запускать эксперимент при одних и тех же условиях. В идеале мы берём неделю, на которой нет ни праздников, ничего остального и параллельно тестируем варианты. Вернёмся к сервису.

Благодаря этому сервису вы поймете размер выборки для каждого из вариантов.

Подробнее по пунктам:

  1. Существующий уровень конверсии. Или, например, сколько процентов из всех пользователей сейчас нажимают кнопку.
  2. Минимально значимое изменение, которое нас интересует. На сколько мы хотели бы изменить базовый показатель конверсии.
  3. Значимое отклонение, которое мы ввели на предыдущем шаге показывает, что конверсия может увеличится, так и уменьшиться.
  4. Вы выбираете значение: absolute (абсолютный) или relative (относительный). Выбирайте то значение, которое хотите получить. Если у вас baseline уровень конверсий равен 30% (как в примере с картинки) и вы хотите повысить его на 5% с помощью ab тестов, то выбирайте “relative”. То есть, финальный результат изменения в случае успешности эксперимента будет 5% от 30%, то есть 31,5%.
  5. Размер выборки для каждого варианта. Сколько мы должны раз показать страницу отдельно A и страницу B, чтобы сделать выводы по эксперименту.
    Очень важно! Чтобы сделать выводы по эксперименту, мы показываем 24 409 раз A и 24 409 раз B!
  6. Статистическая значимость. На сколько точный эксперимент мы хотим провести.
  7. Погрешность p-value. Какую вероятность ошибки допускаем.

Можно ли останавливать эксперимент раньше?

Можно. Существует вариант, когда мы можем не дожидаться окончания эксперимента, а на определенном этапе уже сделать выводы. Для этого используйте уже известный инструмент, вкладка “
Sequental Sampling
“.

По шагам:

  1. Вбиваете свой уровень конверсии сейчас. К примеру 30%, именно столько из 100% заходящих к нам на страницу нажимает кнопку.
  2. Набираете, на сколько вы хотели бы повысить ранее введенный показатель. Поставил на 10%. Было 30, хочу до 33 поднять.
  3. Кол-во конверсий одного из экспериментов, после которого останавливаем эксперимент и принимаем решение.
  4. Разница в конверсиях между вариантом A и B, после которой останавливаем эксперимент и берем, тот, что больше набрал.
  5. Выставляем уровень значимости 95% (как положено, см.выше материал).
  6. Устанавливаем погрешность p-value (опять же, см.выше материал).

Здесь нет никакой хитрости, просто статистика. Используйте этот инструмент, когда эксперименты занимают много ресурсов (время на разработку, бюджеты на рекламу для проверки гипотез и т.д.). Теперь у вас есть два правила, при которых вы можете останавливать эксперимент и делать выводы.

Чем проводить AB test?

Готовые решения:

  • Optimizely, vwo.com, zarget.com
  • http://alternativeto.net/software/optimizely
  • Google Analytics
    (ссылка
    как проводить)

Собственное решение:

  • Пишем админку.
  • Пишем и настраиваем каждый эксперимент.

Вот
про 10 сервисов для AB test. Есть из чего выбрать.

Всё

Теперь у вас есть общее представление, что такое AB test, какие существуют нюансы и какими инструментами его проводить. В заключение добавлю что данное исследование гипотез является одним из самых полезных в развитии digital проекта. Разве не прекрасно, что можно проверить практически любую идею? Главное правильно, теперь вы знаете как.

Резкий скачок конверсии не отражается на продажах? А может, его просто не существует? Если основывать решения на ложных итогах теста, в лучшем случае вы упускаете шанс оптимизации, в худшем — снижаете конверсию.

К счастью, есть способ это предотвратить. Что такое A/A тестирование, как его провести — читайте в статье.

Ложноположительный результат

Допустим, вы оцениваете комбинации кнопки и заголовка. Когда достоверность достигает 99%, делаете выводы и применяете на практике.

Через несколько бизнес-циклов наблюдаете: обновленный дизайн не приносит ожидаемой прибыли. А ведь вы проводили тестирование, вкладывали в него время и ресурсы!

Это ложноположительный результат, известный также, как «статистическая ошибка первого типа» и «ошибочное отклонение верной нулевой гипотезы». Он встречается чаще, чем вы думаете — примерно в 80% случаев.

Почему это происходит?

Эффект инструмента

В начале эксперимента важно убедиться, что конфигурация инструмента правильная и он работает как надо. Иначе — риск получить:

  • Неверные показатели
    . Всего одна ошибка может исказить данные A/B тестирования. Как минимум, интегрируйте с Google Analytics для перепроверки.
  • Неверное отображение посадочной страницы
    . Убедитесь, что лендинги выглядят корректно на всех устройствах и браузерах, и посетители не сталкиваются с фликкер-эффектом. вызывает эту же проблему.
  • Преждевременное завершение теста
    . Иногда софт объявляет «победителя» слишком рано — при недостаточных размере или репрезентативности выборки. Помните: если вы достигли статистической значимости, это не значит, что пора прекращать тест. Чем он дольше, тем точнее результаты.

Смотрите в оба: любые из этих признаков ведут к ложному выводу. Отслеживайте каждую цель и метрику. Если какой-либо показатель не фиксируется (например, добавления товара в корзину), остановите тест, устраните проблему, и начните снова.

A/A vs A/B

A/B тест пригоняет трафик на контрольную версию и вариацию и показывает, какая работает лучше.

A/A — то же самое, только для двух одинаковых страниц. Цель — не увидеть различий в их показателях.

Только 20% экспериментов дают достоверные результаты. Статистической значимости и большой репрезентативной выборки недостаточно. Поэтому профессионалы используют эту технику до
A/B теста.

Как видите, эти типы дополняют друг друга.

Если в конце эксперимента показатели конверсии обеих страниц совпадают, можно запускать A/B тест. На практике не всегда все проходит гладко.

Пример 1. Как страница может переиграть своего клона

Это лендинг, который тестировала команда Copyhackers в ноябре 2012 года:

Через 6 дней система тестирования отметила «победивший» вариант при уровне достоверности 95%. Ради точности эксперимент продлили на день — и достигли 99,6% точности:

Страница на 24% эффективнее, чем точно такая же? Результат ложноположительный. Еще через 3 дня различия исчезли:

Вывод: тест слишком рано вычислил победителя.

Пример 2. Как ничего не делать и повысить конверсию на 300%

Что мы видим:

  • 9% — рост показателя открытия писем;
  • На 300% выросло количество переходов по ссылкам;
  • На 51% упал показатель отписок от рассылки.

И все бы ничего, но это A/A тест! Контент, который конкурирует друг с другом, абсолютно идентичный.

Стоит ли проводить A/A тесты

Известный эксперт Нил Патель наблюдал большие скачки конверсии без увеличения выручки. Он советует первым делом тестировать софт, чтобы потом не расхлебывать последствия неверных решений.

По мнению Пипа Лайя, основателя агентства ConversionXL, тесты сами по себе трата времени.

Кому верить? С одной стороны, точность превыше всего, и метод A/A — способ ее обеспечить. С другой — трата ресурсов на тестирование, а также подготовку к нему.

Крейг Салливан, эксперт по пользовательскому опыту, считает, что 40 тестов в месяц — высокая нагрузка для сотрудников. Лучше убить полдня на QA, чем 2-4 недели на то, чтобы просто проверить работу инструмента.

Проблема №1
. A/A тесты занимают время и трафик, которые вы можете потратить на изучение поведения посетителей сайта.

Проблема №2
. И A/B, и A/A нужно тщательно организовывать и мониторить, чтобы не получить ложный результат. Как в примере от Copyhackers.

Потратить время или рискнуть надежностью ПО при принятии решения — решать вам.

Есть потенциально менее затратный вариант — A/A/B.

A/A/B vs A/A

Традиционное A/A тестирование ничего не говорит о посетителях. Но если добавить в процесс еще вариант — другое дело.

A/A = конкурируют 2 одинаковые страницы.

A/A/B = A/A тест + одна дополнительная вариация.

Вы поймете, стоит ли доверять инструменту. Если да, выбираете лучшую версию в соответствии с его показаниями. Если нет, их не стоит применять.

Да, нужно больше времени, чтобы достичь статистической значимости. Зато вы оцениваете и софт, а если он подтвердит свою надежность, — и поведение посетителей.

Заключение

Перевешивают ли выгоды A/A тестирования его недостатки? Нет однозначного ответа. Проводить тестирование ежемесячно — лишнее. Достаточно — при использовании нового софта (сервиса для проведения тестов). Для тех, кому совсем жалко времени, есть компромиссный вариант — A/A/B тест.

Если вы исключите ошибки сегодня, получите более точные итоги в будущем.

Высоких вам конверсий!

Обзор сервисов для A/B тестирования

Пробуем сервисы, которые помогают менять сайт к лучшему

A/B тестирование — маленький эксперимент, который проводится над пользователями сайта. Его суть — проверять гипотезы.

Если вы думаете, что пользователи сайта будут чаще кликать на фото модели в бикини, а не на бизнесмена в очках, это легко подтвердить или опровергнуть. Создайте две странички, на одну поместите бизнесмена, на другую — модель. И ждите. А время покажет, правы вы или нет. Аудитория сайта действием проголосует за тот вариант, который им симпатичнее. И так, проводя A/B тестирования и наблюдая за поведением пользователей, можно постепенно подгонять сайт под их вкусы и хотелки.

Подробнее об A/B тестировании мы писали в . Но чего-то в ней не хватало. Мы её покрутили, повертели, посмотрели на свет. И поняли — нужен обзор инструментов для тестирования! Итак, приступим.

Google Analytics Experiments

Google Anatytics умеет многое, просто скромно об этом умалчивает. Если в нем поковыряться, можно настроить A/B тестирование (или запрограммировать телефоны на Android на самоуничтожение — как повезет). Это удобно, если вы и так пользуетесь Analytics, немного можете в код или у вас есть знакомые разработчики, которые сделают страничку для тестирования.

Плюсы:
Удобно для пользователей, привыкших к Google Anatytics. Есть русский язык. И, главное, сервис бесплатный.

Минусы:
Нет визуального редактора. Если элементы, которые вы хотите протестировать, не изменить через админку сайта, а перепрограммировать самостоятельно скила не хватает — придется обращаться к разработчикам.

Цена:
Бесплатно.

Сервис прост и понятен. На каждом этапе — подсказки, что делать и зачем. В визуальном редакторе можно изменить текст, картинки и структуру сайта. Все элементарно: изменили сайт в редакторе, добавили код на страницу-оригинал и наблюдаете за результатами. Для сбора статистики сервис интегрируется с Яндекс.Метрикой.

Плюсы:
Есть простой визуальный редактор. Поддерживается русский язык. .

Минусы:
Визуальный редактор слишком
прост. По-хорошему он работает только с текстом и изображениями. А вот со структурой не поиграться: RealROI предлагает элемент либо скрыть, либо удалить. Заменить, подвинуть, поменять форму — ничего этого сделать нельзя.

И у нас есть подозрение, что функция «Отправить код разработчику» не работает. Мы трижды пробовали, а письма все нет. Поэтому отправлять код рекомендуем самостоятельно, старым-добрым Ctrl+C — Ctrl+V.

Цена:
Бесплатно.

В этом инструменте уже больше фишек. Визуальный редактор позволяет творить любое безумие: элементы можно менять, двигать, добавлять, удалять. Сервис позволяет запустить тест в заданную дату или приостановить поток трафика на страницу (может пригодиться в эксперименте, где участвует более 2 вариантов). Можно настроить таргетинг и персонализацию.

Плюсы:
Удобный визуальный редактор — программисты не нужны, чтобы создавать страницы для тестирования. Сервис интегрируется с Google Analytics, WordPress и другими системами аналитики и CRM.

Минусы:
Русский язык вроде бы есть, но чем сильнее углубляешься в сайт, чем сложнее становятся термины — тем его меньше.

Нет триальной версии. Можно потестировать визуальный редактор, но про остальные функции узнаёшь только из описаний.

Цена:
39 $ в месяц, если вам хватит 5 000 протестированных пользователей. Тариф пожирнее — 140 $ в месяц, позволяет протестировать сайт на 40 000 уникальных посетителях. 200 000 протестированных пользователей в месяц стоят 390 $. При оплате сразу за год — скидка на все тарифы.

Сервис, который может устроить A/B для компьютеров и мобильных устройств. В визуальном редакторе VWO можно сразу пометить цель для кликов. Остальные — добавить в следующем шаге.

Сервис предлагает посмотреть карту кликов, добавить всплывающие окна и рассылать пользователям, которые что-либо купили на сайте, призыв оставить отзыв.

А еще у VWO есть галерея идей. Вроде бы мелочь, а приятно. И полезно: владельцу сайта не нужно придумывать самому, что бы такого потестировать. Он может выбрать из вариантов, которые подготовили профессионалы. Идеи можно фильтровать по отрасли, сложности и затраченному времени. Очень круто.

Плюсы:
Много функций, и везде — подсказки и инструкции. Понятный визуальный редактор заставляет программистов нервно курить в сторонке. Есть триальная версия на 30 дней. VWO интегрируется с Google Analytics, WordPress и еще 12 сервисами.

Минусы:
Нет русского языка. И поэтому подсказки могут не помогать, а бесить.

Цена:
Если на сайте ежемесячно менее 10 000 посетителей, стоимость сервиса — 59 $ в месяц. До 30 000 посетителей — 155 $, до 100 000 людей на сайте — 299 $, и так по нарастающей. Традиционно, при оплате за год — скидка.

Предлагает A/B, мультивариантное и сплит-тестирование, персонализацию. Цель для кликов можно пометить в визуальном редакторе.

Функций меньше, чем у некоторых конкурентов из обзора, зато у Convert (осторожно, сейчас будет очень субъективное мнение) самый удобный визуальный редактор в плане выделения и перетаскивания объектов. У других сервисов рамки объекта дрожат, как будто пользователь на них с топором набрасывается, а не аккуратно трогает мышкой.

Поймать рамку, изменить размер объекта и передвинуть его в редакторе A/B Tasty — испытание не для слабонервных. А в Convert все проходит гладко, приятно. Единственное — чтобы отредактировать текст, придется запустить руки в CSS-код.

Плюсы:
Удобный визуальный редактор, интеграция с 35 сервисами аналитики и CRM, бесплатный триальный период — 15 дней. Можно настраивать тесты под мобильные устройства.

Минусы:
Нет русского языка. Визуальный редактор приятный, но в нем придется копаться и разбираться.

Цена:
Тариф Lite (легкий, ага) — 499 $ в месяц за 400 000 посетителей, без техподдержки. Хотите, чтобы сотрудники сервиса вам помогали? Доплачивайте ещё 200 $. Чем больше посетителей, тем выше цена. Если оплатить сервис на год вперед — будет скидка.

A/B тестирование

A/B тестирование как способ управления конверсией

A/B тестирование — один из самых эффективных маркетинговых инструментов, который используется для оценки и управления конверсией сайта. Инструмент облегчит работу маркетолога — он встроен в продукт и не требует дополнительных настроек. В продукте доступно шесть готовых сценариев A/B тестирования — новый дизайн, главная страница, детальная карточка товара, страницы корзины, страница оформления заказа и произвольно выбранная страница. На основании тестирования будет выбран наиболее эффективный вариант для показа.

Воспользоваться инструментом может обычный контент-менеджер, поскольку система все делает сама и не требуется ничего программировать. Достаточно выбрать один из предустановленных тестов, запустить его и получить подробные отчеты по эффективности.

Для чего нужны А/В тесты

Как изменения могут отразиться на конверсии?

А/В тестирование — один из лучших способов для увеличения конверсии страниц и интернет-магазина. Главная цель А/В тестирования – выяснить, какие именно составляющие сайта нравятся посетителям больше, работают лучше, а, значит, и повышают конверсию. Особенно эффективны А/В тесты для сайтов с большим трафиком.

Что именно изменить?

Хотите что-то изменить на сайте для улучшения конверсионных показателей? Проведите А/В тестирование, выясните, как изменения отразятся на этих показателях.

Даже небольшие эксперименты с контентом сайта могут изменить конверсию. В большую или меньшую сторону? Пройдите испытания, перед тем как радикально изменить, например, свои рекламные предложения.

Вручную? Сложно

Сделать А/В тест вручную очень сложно для обычного пользователя. Собирать данные, проводить анализ и вычислять наиболее удачные варианты страниц — все это связано с большими трудозатратами. Обращаться к услугам специальных сервисов — долго и дорого.

В продукте — готовые А/В тесты — абсолютно бесплатно!




Протестируйте новый шаблон сайта


«Сайт закрывается? Здесь ничего не меняется…» — может подумать клиент, наблюдая на главной странице одни и те же картинки. Включите в каталоге товаров другую сортировку — по дате, а не популярности. Но перед этим пройдите А/В тест!

Готовые А/В тесты

Готовые А/В тесты

Не нужно программировать, не нужно настраивать!

Провести A/B тестирование самостоятельно очень сложно. Несмотря на то, что это один из самых эффективных инструментов, делают это крайне редко. «1С-Битрикс» представляет уникальный инструмент, позволяющий каждому клиенту за 5 минут провести A/B тестирование своими силами.




Шаблоны готовых тестов

В вашем распоряжении — встроенные инструменты А/В тестирования. Теперь вы легко можете проверить, какой вариант страницы работает эффективнее. С продуктом «1С-Битрикс: Управление сайтом» вы получаете комплект готовых тестов. Все тесты встроены в продукт и не требуют дополнительных технических настроек.

Тестируйте, вносите изменения на сайт и получайте прибыль.

6 сценариев A/B тестирования:
  • Новый дизайн
  • Главная страница
  • Детальная карточка товара
  • Страницы корзины
  • Страница оформления заказа
  • Произвольная выбранная страница




Список предустановленных тестов будет пополняться!

Не нужно программировать!

Нужный тест достаточно выбрать из списка предустановленных и запустить. Для выполнения теста достаточно знаний и прав обычного контент-менеджера.




Пройдите тест перед сменой дизайна

Воспользоваться инструментом может обычный пользователь, поскольку система все делает сама и не требует ничего программировать. Достаточно выбрать один из предустановленных тестов, запустить его и получить на руки подробные отчеты по эффективности. Система сама скопирует нужную вам страницу!

Отчеты и аналитика

Подробные отчеты по эффективности

Полная аналитика для выбора лучшего варианта!

Узнайте с помощью нового инструмента, как скажется на конверсии магазина смена дизайна сайта, перестройка главной страницы, новое представление карточки товара, иная сортировка товара в каталоге и другие изменения. Достаточно выбрать и запустить нужный тест.

Показатели работы магазина

  • Графики
  • Сводные данные
  • Воронка

Следует учитывать, что конверсия будет высчитываться по тем счетчикам, которые были выбраны в настройках модуля .

Отчеты по тестам
В любой момент после запуска теста, даже не дожидаясь его окончания, можно посмотреть отчет о проводимом тестировании.

Сделайте свой интернет-магазин самым продающим!

Любой маркетолог может сам запустить тестирование за 5 минут!



  • «А» – это то, как у вас есть сейчас (старый дизайн).
    «B» — это то, с чем вы будете экспериментировать (новый дизайн).
  • Выделяется 10% посетителей сайта для эксперимента.
  • Для половины показывается дизайн «А», для другой половины — дизайн «B».
  • И по каждому из вариантов замеряются все ключевые показатели, в первую очередь – конверсия.