A b mvt тестирование гипотез

обновление статьи бизнес не стоит на месте чтобы выжить, нужно развиваться. если остановить этот процесс, проект начнет деградировать. часто

*Обновление статьи

Бизнес не стоит на месте – чтобы выжить, нужно развиваться. Если остановить этот процесс, проект начнет деградировать. Часто приходится что-то менять – расширять ассортимент, увеличивать рекламный охват аудитории, улучшать дизайн сайта, добавлять новый, повышать конверсию. Как узнать заранее, что принесут эти новшества?

Одни из инструментов, помогающий развитию веб-проектов – A/B-тестирование. С его помощью можно проверить свои гипотезы и экспериментально оценить предпочтения посетителей – чтобы принять решение о том, стоит ли что-то менять или лучше оставить как есть.

Рассказываем, как это работает.

Правильная организация A/B-тестирования помогает избежать неудачи

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing — раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию. Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование — это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин. Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Изменение цвета кнопки увеличило конверсию. Теперь можно искать способы улучшить страницу B

Что тестировать

Как отмечалось выше, сплит-тестирование — это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

  • Текст и внешний вид конверсионных кнопок, а также их расположение.
  • Заголовок и описание продукта.
  • Размеры, внешний вид и расположение конверсионных форм.
  • Макет и дизайн страницы.
  • Цену товара и другие элементы бизнес-предложения.
  • Изображения товаров и другие иллюстрации.
  • Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных инструментов. Один из наиболее востребованных – сервис Google «Оптимизация» (до августа 2019 назывался Content Experiments), который является теперь частью новой платформы для маркетологов Google Marketing Platform. С его помощью можно тестировать элементы страниц, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т. п. «Оптимизация» бесплатна для малого бизнеса и в этом ее большое преимущество по сравнению с конкурентами.

Также можно использовать для проведения сплит-тестирования следующие инструменты:

  • Optimizely — наиболее популярный в «буржунете» платный сервис A/B-тестирования. Стоимость его использования не публикуется – для уточнения нужно связаться с отделом продаж. К преимуществам относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
  • Visual Website Optimizer — платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость месячной подписки VWO составляет от 99 до 999 долларов.
  • Unbounce – сервис, предназначенный для создания и оптимизации лэндингов. В том числе он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 79 до 399 и более долларов в месяц. Является аналогом отечественного LPGenerator и тоже позволяет тестировать только лэндинги, сделанные в нем самом.

Как провести A/B-тестирование с помощью Google Optimize

Сервис «Оптимизация» Google Marketing Platform позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, можно проводить A/B/N-тестирование, которое отличается от стандартных A/B-экспериментов проверкой сразу несколько гипотез вместо двух.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Результаты можно наблюдать в личном кабинете или получить по e-mail.

Чтобы провести сплит-тестирование с помощью «Оптимизации» сделайте следующее:

  1. Войдите в аккаунт Google Marketing Platform, откройте сервис «Оптимизация» и создайте свой первый проект. Дайте ему название, укажите URL базовой страницы, копии которой будут тестироваться и выберите режим «Эксперимент A/Б».

Создайте проект оптимизации и выберите тип эксперимента

  1. Зайдите в созданный проект и продолжайте его настройку в соответствии с планом, предлагаемым в подсказке. Последовательно выполните все пункты от 1 до 5.

Перейдите к настройке проекта

  1. Сначала создайте экспериментальные варианты и добавьте правила таргетинга. Для работы установите в браузер Chrome расширение «Оптимизация» из официального магазина Google. Оно позволяет визуально отредактировать изменения на страницах.

Вариант 1 – серый фон заголовка h1

  1. Укажите, при переходе на какие URL пользователь будет видеть измененные варианты страницы. Можно задать несколько условий проверки. Главное, не забыть их сразу протестировать, чтобы не было ошибки.

Все в порядке – правило работает для этого адреса

  1. Настройте целевую аудиторию. Например, изменения на странице будут показаны только посетителям из Москвы.

Выберите посетителей, которым покажут изменения

  1. Выберите стандартные или создайте собственные цели эксперимента. Они должны быть связаны с Google Аnalitics.Например, нас может заинтересовать в виртуальном эксперименте, как зависит количество просмотренных статей блога от цвета фона заголовка h1 на главной. Исследуем, серый или фисташковый?

Цель исследования – общее количество просмотренных страниц, на которые перешли с главной.

  1. Все готово, осталось только создать код эксперимента и вставить его на страницу. Если непонятно как это сделать, можно выбрать опцию «Отправить код веб-мастеру» или сделайте это самостоятельно. Но для этого нужно немного разбираться в HTML.

Еще важный момент – определить, какая часть трафика будет участвовать в эксперименте. По умолчанию используется все 100 %, а если у вас, как у «Текстерры», миллион уникальных посетителей в месяц – вполне хватить и 20–30 тысяч. А значит, выбираем 3 %.

Ограничиваем трафик, который участвует в эксперименте

  1. Если все сделано правильно, в меню появится сообщение о том, что проект готов к запуску и будет разблокирована кнопка «Ок».

Готово, можно начинать эксперимент

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью A/Б-тестирования

Мы уже говорили, что тестирование помогает увеличить эффективность веб-страниц. Чтобы этот метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон заголовка главной страницы, как в прошлом примере.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

  • Используйте конверсионную форму, которая остается перед глазами посетителя при прокрутке страницы. Например, эта форма может быть неподвижно «прикручена» к верхней части экрана, как навигационное меню Facebook.

Меню навигации остается неподвижным при прокрутке

  • Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
  • Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
  • Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
  • Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
  • Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

A/Б тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. После этого следует воспользоваться одним из сервисов для проведения экспериментов, например, «Оптимизацией» Google. Оценку результатов можно проводить как минимум через две недели после его запуска.

A/b и mvt тестирования

В данной статье обращение отправится о таком популярном на сегодняшний деньспособе оптимизации интернет-сайтов как A/B и MVT тестирования.

A/B и MVT тестирования проводятся с целью конверсионной оптимизации, под которой направляться осознавать последовательные трансформации интернет-сайтов для повышения уровня дохода, приобретаемого обладателями таких сайтов. Иными словами, A/B и MVT тестирования предоставляют возможность увеличивать оборот трафика, не увеличивая наряду с этим затрат на содержание сайта за счет контекстной рекламы и сео-оптимизации.
Увеличив уровень эффективности вложений в сайты, возможно не только повысить уровень неспециализированного дохода, но еще и выполнять успешные инвестиции в контекстную рекламу, а это, со своей стороны, позволяет привлечь как целевой, так и дополнительный трафики. Следовательно, увеличиться и приток визитёров на сайт.

Так, возможно заявить, что A/B и MVT тестирования являются базой конверсионной оптимизации.

Лишь применяя их, обладатели интернет-сайтов смогут определить, стоит ли создавать на них какие конкретно или трансформации.

В чем состоит сущность A/B и MVT тестирования

За базу берется пред-тестовая догадка. При помощи ее начинает создаваться другая версия основной страницы сайта (при жажде это возможно и одна из главных страниц сайта), которая подразумевает изменение какого именно или из основных элементов. Затем, применяя особую программу одной части пользователей сайта демонстрируется главной вариант, а второй – другой.
По прошествии определенного периода времени (в большинстве случаев, от двух с половиной до 30 дней), начинают подводить итоги данного статистического опыта.

Метод проведения любого A/B и MVT тестирования будет выглядеть следующим образом:

  1. Подготовка теста;
  2. Проведение предтестового анализа;
  3. Проведение теста;
  4. Проведение посттестового анализа.

Инструменты проведения A/B и MVT тестирования

Главным инструментом проведения A/B и MVT тестирования на сегодня есть Visual Website Optimizer. При помощи данной программы возможно проводить любые из видов A/B и MVT тестов. Для каждого из них предусмотрен как геотаргентинг, так и поведенческий таргетинг. Благодаря встроенной интеграции с Гугл Analytics возможно оценивать результаты по особым метрикам.

В частности, по времени, которое совершил на странице раздельно забранный визитёр, по глубине просмотра страницы сайта раздельно забранным визитёром, по показателю отказов.

Каким типам интернет-сайтов больше подойдут A/B и MVT тестирования.

A/B и MVT тестирования больше подходят для интернет-сайтов больших компаний, каковые испытывают острую необходимость в узкой настройке вэб-аналитической совокупности, применяют какую или из аналитических моделей измерения либо же имеют собственный личный строго определенный замысел действий по конверсионной оптимизации.

какое количество стоит проведение A/B и MVT тестирований

Проведение A/B и MVT тестирования будет стоить от двадцати девяти с половиной тысяч русских рублей до сорока девяти с половиной тысяч русских рублей. Это будет зависеть в основном от степени сложности раздельно забранного опыта. В цена услуги кроме этого входят: оценка замысла опыта, проведение предтестового анализа, исполнение технических заданий по примерам других предположений интернет-сайтов, конкретно сам опыт (что возможно совершён полностью при любом количестве трафика), проведение посттестового анализа.

Предварительный расчет суммы рабочей группы производится, в большинстве случаев безвозмездно. Для этого достаточно всего лишь оставить на инетрнет-сайте компании, которая занимается A/B и MVT тестированиями заявку, которая обязана содержать данные о том, в чем заключаетсмя сущность опыта, и об уникальных посетителях и объёме трафика того либо иного сайта.

КАК ПРОВОДИТЬ A/B ТЕСТИРОВАНИЕ САЙТА?

Интересные записи:

  • Adwords: удобное размещение рекламы от goolge
  • Asus eeebook x205ta — нетбуки возвращаются?
  • Bb-mobile techno 8.0 3g topol — русский планшет!
  • Бесконтактная система оплаты: преимущества и недостатки
  • Бесплатное улучшение работоспособности компьютера.

Популярные статьи на сайте:

  • Strife: впечатления после открытого тестирования

    На протяжении закрытого тестирования разработчикам получалось производить нового храбреца раз в тридцать дней, радуя фанатов уникальными идеями. Но уже…

  • В сша построят научный город-призрак для тестирования технологий будущего

    В первый раз в мире будет выстроен научный город-призрак. Проект обойдется в миллиард долларов и будет осуществлен в Нью-Мехико. Целью его станет…

  • Создание сайтов: с чего начать?

    Если вы уверены, что ничего сложного в создании веб – сайта нет, и вы справитесь с этим делом без особенных неприятностей, то вы сильно ошибаетесь. Так…

  • Как улучшить позиции сайта?

    Все люди, дабы попасть на какой-то интернет ресурс применяют поисковые совокупности. Следовательно, всем тем, кто хотят добиться предельного числа…

  • 10 Хитростей, которые помогут вашему веб-сайту привлечь больше клиентов

    Сайт есть нужным бизнес-инструментом, и любой бизнес применяет его по-своему. Для кого-то он есть методом получения постоянной прибыли посредством…

  • Особенности ssd-дисков

    Сейчас SSD-диски уже возможно встретить не только в хороших лэптопах, многие пользователи с готовностью устанавливают такие девайсы и в домашние ПК. SSD…

Инструкция по Growth-процессу «от поиска гипотезы до A/B-тестирования» +3

Управление продуктом, Growth Hacking, Интернет-маркетинг, Веб-аналитика

Привет, читатель!

Меня зовут Артём Сайгин, я веду проект «proroas», в котором рассказываю о digital-маркетинге, аналитике и Growth-процессах, делаю так, чтобы всё это стало понятным.

Наблюдая за работой множества маркетинговых команд, заметил, что многие допускают одни и те же ошибки в процессе поиска, приоритизации и тестирование гипотез.
В этой статье я расскажу о Growth-процессе, постараюсь дать сложный материал максимально просто.

О чем поговорим в статье:

1. Идея ? гипотеза.
2. Формируем бэклог гипотез.
4. Приоритизация гипотез и скоринг по ICEs и PXL-фреймворку.
5. Дизайн эксперимента.
6. Подготовка к тестированию.
7. Проведение эксперимента.
8. Анализ и статистическая значимость.
9. Внедрение.

Приступим.

image

Дисклеймер: в материале основные мысли и схема работы, но без углубления в тонкости, полагая, что читатель поймет куда копать, так как основной фреймворк уже будет дан.
При написании я ориентировался на маркетинговые и Growth-команды, учтите, что для других команд процесс может не подойти.

Идея ? гипотеза

Перед тем как приступить к основному процессу, нужно внедрить в команду мышление, основанное на гипотезах. Важно понимать, что идея, в первоначальном своем виде, еще не является гипотезой.

Основной плюс гипотез в том, что они измеримы. Вы точно понимаете, какие метрики вы улучшите, если начнете тестировать гипотезу.

Формула гипотезы:

«Действие [X] позволит увеличить метрику [Y] на величину [Z], потому что [N]».

Давайте на примере разберем отличия.

Идея:
«Нужно сократить форму онлайн-заявки с 5 до 4 шагов, я думаю, что мы увеличим конверсию в регистрацию».

Гипотеза:
«Если мы сократим форму онлайн-заявки с 5 до 4 пунктов, то увеличим конверсию в регистрацию на 1 процентный пункт с 2% до 3%, потому что в системе аналитики мы видим, что часть пользователей уходит на шаге 4, так и не завершив регистрацию».

Если идею не получается привести в вид гипотезы, то от неё стоит отказаться. Правильно составленная гипотеза убивает бессмысленные действия, которые никак не влияют на метрики.

Идём дальше.

Формируем бэклог гипотез

image
Мы определились, что такое гипотеза, и чем она отличается от идеи.
Теперь пришло время наполнять бэклог гипотезами.

Бэклог гипотез — единая база, где находятся наши гипотезы в упорядоченном виде.

Помните, что тест гипотез стоит денег (время разработчика, аналитика, маркетолога, дизайнера и т.д.), и если вы понимаете, что гипотеза никак не влияет на метрики, не добавляйте её.

Все гипотезы, если мы говорим про IT-продукты, можно вписать в воронку AAARRR (на иллюстрации выше я её схематически изобразил).
Анализируя каждый шаг воронки, мы сможем найти большее количество точек роста по каждому из шагов.

К примеру, берем шаг acqusition и анализируем все каналы привлечения в разрезе по каналам/кампаниям/группам/креативам и т.д., в ходе анализа записываем гипотезы, которые значимо могут улучшить привлечение новых пользователей.

Какие еще инструменты нам помогут в поиске точек роста:

  • CJM (путь клиента в вашем продукте).
  • JTBD.
  • Количественная аналитика из продукта.
  • UX-анализы и CustDev.

Подробнее про каждый из способов расписывать не буду, так как темы очень обширны и стоят отдельных статей.

Рекомендация по формированию бэклога:

  • У команды должен быть единый бэклог гипотез для прозрачной работы и избежание дублей.
  • Указывайте к какой части воронки AAARRR относится гипотеза.
  • Так, вы с первого взгляда будете понимать, на какой из уровней воронки она влияет.

Приоритизация гипотез и скоринг по ICEs и PXL

Мы наполнили бэклог и распределили гипотезы по шагам воронки AAARRR, теперь важно понять, какие гипотезы мы тестируем в первую очередь.

Итак, мы плавно приходим к приоритизации и скорингу.

Представьте, что гипотезы в бэклог добавляют все сотрудники отдела и каждый хочет, чтобы его гипотеза была первой в очереди на тестирование. Чтобы избежать недопонимания и конфликтов, процесс приоритизации и скоринга гипотез должен быть максимально прозрачным. В этом поможет фрейморк ICE Score.

ICE Score — это:

Impact (Влияние) — демонстрирует, насколько идея положительно повлияет на ключевой показатель, который вы пытаетесь улучшить.

Confidence (Уверенность) — демонстрирует, насколько вы уверены в оценках влияния и легкости реализации.

Ease (Легкость реализации) — это оценка того, сколько усилий и ресурсов требуется для реализации этой идеи.

Формула ICEs:

ICE Score = Impact х Confidence х Ease

Как это работает.

Команда собирается вместе, и каждый её участник оценивает Impact, Confidence и Ease по шкале от 1 до 10. Далее оценки каждого сотрудника умножаются между собой и складываются со значениями других сотрудников, так мы получаем ICE Score по каждой гипотезе.

Ниже приведена таблица для примера.

image

Подробнее разберем, как распределяются оценки по шкале от 1 до 10.

Impact:

Тут все просто, чем больше влияние на ключевые метрики — тем выше оценка в таблице.

Confidence:

Есть только один способ рассчитать confidence — это поиск подтверждающих доказательств. Для этого вы можете создать собственную карту по распределению оценок по шкале от 1 до 10, это поможет команде выставлять оценки более прозрачно и исключить разброс оценок, когда один сотрудник ставит 1, а другой сотрудник — 10.

В карте перечислены общие типы тестов и доказательств, которые могут быть у вас, и уровень уверенности, который они предоставляют: результаты тестов, дата лонча, собственная уверенность, данные рынка, мнение других людей и др.

Карта ниже сделана на Product Idea Confidence Calculator

image

Ease:

Легкость реализации вы оцениваете в соответствии со скоростью работы вашей команды.

Учтите, что время и оценки для каждой команды указываются индивидуально, если у вас реализация гипотезы рассчитывается в днях, а не в часах — указывайте дни.

Пример расчета Ease:

image

Как опробуете ICEs и захотите сделать скоринг более точным, то можете перейти к PXL-фреймворку. Подробнее про PXL-фреймворк можете почитать по ссылке.

Видов скоринга и приоритизаций много, вы можете подстроить уже имеющийся или сделать свой фреймворк, который подойдет именно вашей команде. Главное тут, чтобы скоринг помог вам в работе, использовать фреймворк ради самого фреймворка не нужно.

Дизайн эксперимента

Мы приоритизировали гипотезы, и теперь нужно составить дизайн эксперимента.

Дизайн эксперимента — подробное техническое задание по тестированию нашей гипотезы, и нужен он для того, чтобы понимать, что мы тестируем, на какой выборке и какие метрики считаем.

Дизайн эксперимента строится по такому шаблону:

  • Гипотеза.
  • Что делаем.
  • На каких пользователях тестируем.
  • Ключевые метрики для оценки эксперимента.
  • Ожидаемый эффект.
  • План действий в зависимости от результатов эксперимента.

Разберём подробнее на примере:

Гипотеза:

Берем гипотезу из бэклога.
В нашем случае она выглядит так:

Если мы сократим форму онлайн-заявки с 5 до 4 пунктов, то увеличим конверсию в регистрацию на 1 процентный пункт с 2% до 3%, потому что в системе аналитики мы видим, что часть пользователей уходит на шаге 4, так и не завершив регистрацию.

Что делаем:

Контрольная версия: оставляем все, как есть.
Тестовая версия: сокращаем форму онлайн-заявки с 5 до 4 пунктов.

На каких пользователях тестируем:

Только на новых пользователях.

Метрики:

Конверсия в регистрацию.

План действий:

Если наш эксперимент будет положительным, и мы увидим улучшение в метриках (CR в регистрацию будет > 3%) — масштабируем на всех пользователей.

Если метрики падают, то откатываем.
Если метрики не меняются, то оставляем, как есть.

Перед запуском эксперимента обязательно обговорите и согласуйте план дальнейших действий, что собираетесь предпринять по факту получения результатов. Так вы избавитесь от ситуаций, когда тест прошел, а Product Owner в итоге не собирается внедрять эксперимент.

Подготовка к тестированию

Прежде чем запустить эксперимент, нужно сделать несколько подготовительных шагов.

1. Определитесь с видом тестирования.
2. Рассчитайте размер выборки, доверительный интервал и мощность.
3. Рассчитайте длительность эксперимента.
4. Подготовьте инструментарий для тестирования.
5. Убедитесь в чистоте эксперимента.
6. Настройте системы аналитики.
7. Настройте сегменты для тестирования.

Давайте разберем все шаги по порядку.

1. Определитесь с видом тестирования

Выберите, какой вариант тестирования подойдет вам.
Вот несколько возможных вариантов:

  • A/B-тестирование.
  • MVT (мультивариативное тестирование).
  • Ухудшающее A/B-тестирование.
  • A/A/B-тестирование.

В нашем примере мы рассмотрим самый часто используемый из вариантов — A/B-тестирование.

2. Рассчитайте размер выборки, доверительный интервал и мощность

Перед запуском определите, сколько пользователей нужно привлечь на каждый из вариантов А/B-теста, чтобы данные в итоге получились статистически значимыми.

Воспользуемся калькулятором Эвана Миллера для расчёта выборки (смотрите скриншот ниже).

В «Baseline conversion rate» указываем конверсию контрольной версии, в нашем случае 2%.

В «Minimum Detectable Effect» указываем на сколько процентов увеличится конверсия контрольной версии, в нашем случае на +1%.

Significance level ? (уровень доверия) — это уровень риска, который вы принимаете при ошибках первого рода (отклонение контрольной версии теста, если она верна), обычно ? = 0.05.
Это означает, что в 5% случаев вы будете обнаруживать разницу между A и B, которая на самом деле обусловлена случайностью.
Чем ниже выбранный вами уровень значимости, тем ниже риск того, что вы обнаружите разницу, вызванную случайностью.

Statistical power 1?? (статистическая мощность) — это ошибки второго рода, вероятность того, что мы на выборке примем тестовую версию, если на самом деле она верна (шанс обнаружить эффект, если он на самом деле есть). При планировании эксперимента нужно помнить, что мощность должна быть разумно высокой, чтобы обнаружить отклонения от контрольной версии. Если вы не знаете, какой процент показателя стоит указать, оставьте значения по умолчанию (80%).

В итоге мы понимаем, что для корректного теста нам нужно по 3 292 пользователей на каждый из вариантов А/B-теста.

image

Далее можем рассчитать, сколько конверсий мы должны получить, и какая разница между ними должна быть, для получения статистически значимого результата.

Воспользуемся калькулятором Sequential Sampling

image

Для корректного анализа мы должны получить 170 конверсий, и разница между версиями A/B-теста должна быть более 26 конверсий.

4. Рассчитайте длительность эксперимента

Возьмите размер выборки, полученный при расчете для тестирования каждой версии, и разделите его на ваш ежедневный трафик, так вы получите количество дней, необходимое для проведения теста.
Тест проводите как минимум одну полную неделю, т.к. данные в выходные могут отличаться от будней.

5. Подготовьте инструментарий для тестирования

Мы рассчитали, сколько нужно трафика и конверсий для статистически значимого эксперимента, теперь нужно выбрать сам инструментарий для тестирования.

Инструментарий состоит из двух основных блоков:
1. Источник трафика.
Подготовьте источник трафика, настройте рекламные кампании.

2. Системы распределения трафика между версиями A и B.
Тут можно пойти двумя путями: сделать собственный инструмент по распределению трафика между версиями, прибегнув к помощи разработчиков, или воспользоваться сторонними сервисами, такими как:

  • Google Optimize (бесплатный сервис, находится в GA)
  • Kameleoon.
  • Optimizely.

image

6. Убедитесь в чистоте эксперимента

Перед запуском теста убедитесь, что между двумя тестовыми версиями нет разницы.
Не должно быть технических различий в версиях или в трафике, так как любые различия влияют на чистоту эксперимента.

Для максимальной чистоты перед стартом проводят A/A-тестирование. В отличии от A/B-тестирования, в A/A мы тестируем две одинаковые страницы (элементы). Цель эксперимента — не увидеть различий в их показателях.

7. Настройте системы аналитики

Перепроверьте системы аналитики, убедитесь, что все нужные для эксперимента метрики работают корректно.

Частая ошибка — запуск теста без проверки систем аналитик и метрик, в итоге тратится время специалистов, бюджеты, и всё проводится зря.

8. Настройте сегменты для тестирования

Возвращаясь к дизайну эксперимента вспомним, на каких пользователях проводим эксперимент.

У нас было указано: «Только на новых пользователях».

В системе распределения трафика или рекламной системы мы должны отминусовать повторно вернувшихся пользователей.
И сделать абсолютно идентичные рекламные кампании (если вы проводите тест не на органике).

Проведение эксперимента

Перед стартом проверьте, действительно ли всё корректно работает. Перепроверьте всё еще раз и запускайте эксперимент.
По ходу эксперимента отслеживайте проблемы с трафиком и с системами тестирования, устраняйте их по мере появления.

Рекомендации по проведению эксперимента.

1. Не делайте преждевременных выводов.

Доводите эксперимент до конца, даже если вы в первый день видите статистически значимое улучшение в тестовой версии.

Проблема принятия преждевременных решений называется «Peeking problem» или «Проблема подглядывания».

Чем чаще вы смотрите на промежуточные результаты A/B-теста с готовностью принять на их основе решение, тем выше становится вероятность, что критерий покажет значимую разницу, когда ее нет.

Посмотрите картинку ниже, она отлично иллюстрирует всю суть «Peeking problem».

image

Если бы мы не знали о проблеме подглядывания, то завершили эксперимент на четвертый день, решив, что тестовая версия значительно лучше, и проводить эксперимент дальше нет смысла.
Но доведя эксперимент до конца мы поймем, что устойчивой измеримой разницы между группами нет.

Нужно понимать, что разница конверсий может периодически выходить за границы зоны неразличимости по мере накопления наблюдений, даже если мы тестируем идентичные версии.
Это совершенно нормально, так как границы сформированы таким образом, чтобы при тестировании одинаковых версий лишь в 95% случаев разница оказывалась в их пределах.

Для того чтобы не попасться на крючок «Peeking problem», перед стартом мы рассчитываем размер выборки и длительность проведения эксперимента. Следуйте намеченному плану.

2. Имейте систему экстренного отключения тестирования

Если проводите тестирование на самописном сервисе, то желательно иметь систему экстренного отключения тестирования и анализа аномалий, так как эксперимент может сломать продукт.

Анализ и статистическая значимость

Мы провели эксперимент и получили данные.
Теперь нам нужно понять, изменение, которое мы получили в метриках между версиями А и B, связано с нашей гипотезой или со случайностью.
Другими словами, является ли изменение статистически значимым или нет.

В нашем примере мы получили такие данные:

Выборка A: 3 292 сеансов, 67 конверсий.
Выборка B: 3 200 сеансов, 99 конверсий.

Воспользуемся калькулятором для расчёта статистической значимости.

image

P-value = 0.000691, то есть вероятность увидеть наблюдаемое различие при идентичных тестовых группах очень мала. Значит, можно с высокой степенью уверенности связать рост метрики с нашими изменениями.

A/B-тест подтвердил нашу гипотезу, тестовая версия статистически значимо лучше контрольной.

Получив статистически значимый результат, не спешите масштабировать его на всех пользователей. Не рискуйте и проверьте еще раз полученные данные.

Убедитесь, что не было пересечения выборок и аномалий.
Не должно быть такого, что один и тот же пользователь попал в две выборки, иначе вы рискуете достоверностью полученных данных.

Но что, если между версиями нет разницы, или тестовая версия значимо хуже?

Готовьтесь к тому, что наша версия эксперимента может проиграть, что вполне нормально при частом тестировании.

По окончании эксперимента проведите ретроспективу, проанализируйте, почему ваша гипотеза проиграла.

Углубитесь в данные, проведите исследование пользователей, постарайтесь понять, почему тестовая версия не работает так, как ожидалось. Ведите общую с командой базу знаний (Confluence), место, в котором вы расписываете изначальные ожидания от эксперимента и последующий результат. Все эти данные, в свою очередь, помогут вам в следующих экспериментах.

Все мы ошибаемся, и это нормально.
Людям вообще свойственно переоценивать свою способность к рациональным и правильным решениям.
Есть отличный афоризм по этому поводу:
«Ошибки — налог на развитие.»

Внедрение эксперимента

После положительного эксперимента должно идти его внедрение (замена контрольной версии на тестовую).
Проведение эксперимента без последующих действий бессмысленно.

Часто бывает такое, что получив статистически значимый результат (наша гипотеза подтвердилась), мы не можем её внедрить, т.к. изначально не прошли все стадии согласования. Заранее обдумайте все возможные проблемы при внедрении.

Вместо заключения

Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту, как к возможности для обучения.

Используйте то, чему вы научились, в работе со следующими гипотезами.

Удачи вам в дальнейших экспериментах!

Больше подобных статей можно читать на моём Telegram-канале
«proroas».

В данной статье речь пойдет о таком популярном на сегодняшний деньспособе оптимизации интернет-сайтов как A/B и MVT тестирования.

A/B и MVT тестирования проводятся с целью конверсионной оптимизации, под которой следует понимать последовательные изменения интернет-сайтов для увеличения уровня дохода, получаемого владельцами таких сайтов. Иными словами, A/B и MVT тестирования предоставляют возможность увеличивать оборот трафика, не увеличивая при этом расходов на содержание интернет-сайта за счет контекстной рекламы и сео-оптимизации.

Увеличив уровень эффективности вложений в интернет-сайты, можно не только повысить уровень общего дохода, но еще и совершать успешные инвестиции в контекстную рекламу, а это, в свою очередь, дает возможность привлечь как целевой, так и дополнительный трафики. Следовательно, увеличиться и приток посетителей на интернет-сайт.

Таким образом, можно сказать, что A/B и MVT тестирования являются основой конверсионной оптимизации.

Только используя их, владельцы интернет-сайтов могут узнать, стоит ли производить на них какие либо изменения.

В чем состоит сущность A/B и MVT тестирования

За основу берется пред-тестовая гипотеза. При помощи ее начинает создаваться альтернативная версия главной страницы интернет-сайта (при желании это может быть и одна из ключевых страниц интернет-сайта), которая подразумевает изменение какого либо из главных элементов. После этого, используя специальную программу одной части пользователей интернет-сайта демонстрируется основной вариант, а другой – альтернативный.

По прошествии определенного периода времени (как правило, от двух с половиной до четырех недель), начинают подводить итоги данного статистического эксперимента.

Алгоритм проведения любого A/B и MVT тестирования будет выглядеть следующим образом:

  1. Подготовка теста;
  2. Проведение предтестового анализа;
  3. Проведение теста;
  4. Проведение посттестового анализа.

Инструменты проведения A/B и MVT тестирования

Основным инструментом проведения A/B и MVT тестирования на сегодняшний день является Visual Website Optimizer. При помощи этой программы можно проводить абсолютно любые из видов A/B и MVT тестов. Для каждого из них предусмотрен как геотаргентинг, так и поведенческий таргетинг. Благодаря встроенной интеграции с Google Analytics можно оценивать результаты по специальным метрикам. В частности, по времени, которое провел на странице отдельно взятый посетитель, по глубине просмотра страницы интернет-сайта отдельно взятым посетителем, по показателю отказов.

Каким типам интернет-сайтов больше подойдут A/B и MVT тестирования.

A/B и MVT тестирования больше подходят для интернет-сайтов крупных компаний, которые испытывают острую необходимость в тонкой настройке вэб-аналитической системы, используют какую либо из аналитических моделей измерения или же имеют свой собственный строго определенный план действий по конверсионной оптимизации.

Сколько стоит проведение A/B и MVT тестирований

Проведение A/B и MVT тестирования будет стоить от двадцати девяти с половиной тысяч российских рублей до сорока девяти с половиной тысяч российских рублей. Это будет зависеть главным образом от степени сложности отдельно взятого эксперимента. В стоимость услуги также входят: оценка плана эксперимента, проведение предтестового анализа, выполнение технических заданий по образцам альтернативных версий интернет-сайтов, непосредственно сам эксперимент (который может быть проведен абсолютно при любом объеме трафика), проведение посттестового анализа.

Предварительный расчет суммы комиссии производится, как правило бесплатно. Для этого достаточно всего лишь оставить на инетрнет-сайте компании, которая занимается A/B и MVT тестированиями заявку, которая должна содержать информацию о том, в чем заключаетсмя сущность эксперимента, а также об объеме трафика и уникальных посетителях того или иного интернет-сайта.

В процессе оптимизации лендинг пейдж для получения максимального числа потенциальных клиентов и конверсий вам может встретиться такое словосочетание, как тестирование гипотез.

На первый взгляд может показаться, что это нечто сложное, подвластное только серьезным ученым, но на деле и рядовые маркетологи, стремящиеся улучшить результаты, все чаще обращаются к научным методам: это помогает им выжать максимум из своих кампаний.

Наука и маркетинг в наши дни образовали высокоэффективный союз, и вы легко сможете пожать плоды этого симбиоза.

Ниже — подробное руководство по тому, как с помощью тестирования гипотез повысить результаты ваших маркетинговых кампаний.

Содержание статьи

Что такое тестирование гипотез?

Что является гипотезой, а что — нет

Проверка гипотез при помощи A/B- и мультивариантного тестирования

Другие примеры тестирования гипотез

Нулевая и альтернативная гипотезы

Как извлечь пользу из тестирования гипотез

Шаг 1: решите, что будете тестировать
Шаг 2: сформулируйте гипотезу
Шаг 3: определите переменные
Шаг 4: проведите тест гипотез
Шаг 5: проведите анализ результатов и наметьте план действий

Несколько вопросов о тестировании гипотез

Заключение

Что такое тестирование гипотез?

Тестирование гипотез — это процесс наблюдения и формирования предположений на основе той информации, которую вам удалось собрать, а затем попытки найти им подтверждение с помощью научного метода.

Прелесть этого метода заключается в том, что он не требует спешки, а каждая стадия исследования протоколируется; ваша гипотеза постепенно меняет свою форму, и все это продолжается до тех пор, пока вы не получите удовлетворяющий вас вывод.

Хотя метод тестирования гипотез и научный подход в маркетинге практиковали и раньше, перед маркетологами прошлых десятилетий вы имеете явное преимущество: в вашем распоряжении имеется множество инструментов, которые вы можете использовать для проведения тестирования и сбора данных, которые и помогут вам доказать (или опровергнуть) те или иные гипотезы.

Под таким ракурсом маркетинг может оказаться гораздо ближе к науке, чем вы привыкли думать. Ваша работа состоит в том, чтобы задавать правильные вопросы, формулировать теории, а затем разрабатывать соответствующие тесты, чтобы эти теории доказывать.

Главным результатом деятельности, конечно, станет посадочная страница, которая будет резонировать с потребностями аудитории. Она будет привлекать потенциальных клиентов и стимулировать конверсии, одновременно увеличивая доходы и рентабельность ваших инвестиций.

Звучит потрясающе, не правда ли?

Перейдем к следующему разделу, в котором процесс формирования гипотез для ваших кампаний будет разобран более детально.

Что является гипотезой, а что — нет

Гипотеза — это не более чем предположение, проверка которого и становится вашей главной задачей.

При этом предположение может служить гипотезой только в том случае, если оно доказуемо сбором конкретного типа данных.

Например, вы можете проверить, увеличится ли на 20% уровень конверсии при смене заголовка. Но вы не можете считать гипотезой вопрос «Приведет ли смена названия к росту числа конверсий?».

Другими словами, ваши гипотезы должны быть конкретными, четкими.

Однако по мере последовательного проведения тестирования гипотез вам придется постоянно изменять их, манипулировать ими, пока вы не придете к обоснованным и подкрепленным доказательствами выводам.

Чтобы уметь формулировать корректные гипотезы, вы должны быть готовы погрузиться в детали.

Вот отличный пример.

Допустим, у вас есть десять лендингов на платформе LPgenerator. Два из них весьма успешны. Они привлекли значительный трафик, получили много конверсий и даже были процитированы на некоторых социальных площадках.

Очевидно, что вам нужно свести к формату этих лендингов все свои остальные посадочные страницы, чтобы сделать их столь же успешными.

Вы отмечаете, что успешные лендинги содержат крупные изображения, а текст на них разбит на короткие абзацы.

Ваша гипотеза может звучать так: «Получат ли другие страницы столь же много внимания, если дополнить их крупными изображениями, а текст разбить на абзацы?».

После можно выполнить ряд тестов для оценки точности гипотезы. Удалось ли с помощью крупных изображений и более коротких абзацев привлечь больше трафика? Увеличилось ли число конверсий?

В этом и заключается смысл тестирования гипотез.

Проверка гипотез при помощи A/B- и мультивариантного тестирования 

Проверка гипотез при помощи A/B- и мультивариантного тестирования

Возможно, вы уже знаете о таких популярных методах, как A/B- и мультивариантное тестирование — пора найти им применение в деле тестирования ваших гипотез.

Используя разные инструменты, вы можете подвергнуть бесчисленному количеству тестов любые элементы своих кампаний и проверить каждую из своих гипотез.

К примеру, если вы запустили ремаркетинговую кампанию, то можете задаться вопросом, а достаточно ли хорошо подходят друг другу использованные в рекламе изображение и текст и резонируют ли они с конкретным сегментом аудитории. При помощи сплит- и мультивариантных тестов вы сможете запросто определить, какой из разработанных вами вариантов больше трафика привлекает и конвертирует.

Другие примеры тестирования гипотез

Ситуация: две посадочные страницы конвертируют хорошо, а одна — нет.

Гипотеза: на этом лендинге заголовок имеет вид вопроса. Может ли его изменение на утвердительное заявление повысить значения целевых показателей?

Ваша задача — провести A/B-тест заголовков, чтобы выяснить, сможет ли эта страница с другим заголовком «догнать» остальные.

Ситуация: открываемость ваших электронных писем резко упала.

Гипотеза: возможно, это связано с использованным вами недавно новым шаблоном писем. Удастся ли вернуться к прежним значениям открываемости писем, если изменить шаблон или вовсе отказаться от них, использовав обычный текст?

Ситуация: в текущий момент ваш сайт испытывает небывалый всплеск показателя отказов.

Гипотеза: поможет изменение цвета сайта на более успокаивающий удерживать людей на ресурсе дольше?

Изображения могут быть слишком маленькими, а заголовки привлекать внимание слишком узкого сегмента аудитории. При помощи мультивариантного теста вы можете тестировать все эти элементы столько раз, пока не найдете наиболее удачную комбинацию.

Обратите внимание, как все эти гипотезы можно проверить с помощью данных. Это ключевой момент тестирования гипотез. Без данных никаких ответов на свои вопросы вы не получите и никогда по-настоящему не поймете обоснованность своих выводов.

Нулевая и альтернативная гипотезы

Нулевая гипотеза — принимаемое по умолчанию предположение о том, что между двумя наблюдаемыми событиями связи не существует.

Например, если вы увеличиваете размеры изображений трех лендингов, надеясь привлечь такой же объем трафика, каким располагают две других страницы с большими изображениями, ваша нулевая гипотеза может заключаться в том, что между размером изображений и объемом привлекаемого трафика нет никакой зависимости.

Иными словами, ваша альтернативная гипотеза заключается в том, что трафик будет расти за счет увеличения изображений, а нулевая гипотеза — в том, что размер изображения на самом деле не имеет значения. Это не тот результат, на который вы надеетесь, но так вы лучше понимаете, что именно вы пытаетесь опровергнуть.

Альтернативная гипотеза обычно противоположна нулевой гипотезе. И ваша задача — опровергнуть нулевую гипотезу. В примере, который был использован выше, альтернативная гипотеза заключается в том, что простое увеличение размера изображений на трех лендингах поможет привлечь больше трафика. 

Нулевая и альтернативная гипотезы

Как извлечь пользу из тестирования гипотез

Шаг 1: решите, что будете тестировать

На этом этапе вы должны выбрать те элементы, производительность которых хотите улучшить. Хотите ли вы решить проблему низкой читаемости некоторых постов? Увеличить открываемость ваших электронных посланий? Может быть, вы просто хотите больше конверсий на своем лендинге?

Как только у вас появится «испытуемый», можете приступать к разработке гипотез.

Шаг 2: сформулируйте гипотезу

В этом и заключается смысл всего мероприятия. Предположение, которое вы будете стремиться доказать при помощи сбора необходимых данных.

Если посадочная страница не конвертирует должным образом, вы можете предположить, что текст на ней недостаточно убедителен. Если ваши письма мало кто открывает и читает, вы можете предположить, что в этом повинен шаблон письма или используемый вами заголовок. Эти предположения в итоге и станут фундаментом тех экспериментов, которыми впоследствии вам предстоит заниматься.

Шаг 3: определите переменные

Будете ли вы проводить A/B- или мультивариантные тесты (или прибегните к другим видам тестирования гипотез), определите, какие изменения вы хотите внести, а затем протестируйте их на своей аудитории.

Вы можете решить изменить заголовок, собрать данные и провести их анализ. Либо можете изменить заголовок, hero-изображение и даже цвет на CTA-кнопке, но тогда ваше тестирование будет носить название мультивариантного.

Шаг 4: проведите тест гипотез

Итак, в вашем распоряжении имеются исходная гипотеза, альтернативная и нулевая. Можете приступать к экспериментам.

Шаг 5: проведите анализ результатов и наметьте план действий

Самое сложное — это не затягивать тесты и не завершать их слишком рано. Вы должны успеть собрать репрезентативный объем данных, который позволит вам сделать объективный вывод.

Не позволяйте своим эмоциям и предубеждениям влиять на оценку эксперимента. Если гипотеза доказана, у вас на руках будут неопровержимые доказательства того, что внесенные вами изменения пришлись к месту.

Если была доказана нулевая гипотеза, вернитесь на несколько шагов и найдите другие переменные. Вы должны проводить тесты до тех пор, пока не найдете идеальное сочетание элементов, которое больше всего нравится вашей аудитории.

Несколько вопросов о тестировании гипотез

  • Как долго должно длиться тестирование?

В идеале, продолжительность теста должна быть не менее 7 дней. Например, вы можете собирать данные с понедельника по воскресенье, а потом провести анализ. Конечно, тест можно проводить и более длительное время, но и за неделю вам удастся собрать достаточно материала для работы.

  • Следует ли один и тот же тест проводить более одного раза, чтобы быть еще более уверенным в полученных результатах?

На самом деле, если вы сомневаетесь в чистоте эксперимента, не стесняйтесь провести его еще раз. Тестирование гипотез — не разовое мероприятие. Это непрерывный процесс, отдельные эксперименты которого могут быть проведены заново, в разное время и на разных каналах.

И не забывайте: статистическая значимость теста должна быть не менее 95%.

  • Какие переменные необходимо подвергнуть тесту?

Если что-то можно протестировать, вы должны это протестировать. Посетители лендинга могут конвертироваться благодаря удачным заголовкам, убедительному тексту, крупным и профессиональным изображениям, удобству навигации и многим другим факторам. Ваша задача — быть настолько любознательным, насколько это возможно, и задавать как можно больше вопросов, чтобы обеспечить тесты необходимым фундаментом.

Когда вы определитесь с гипотезой, в Личном кабинете вам нужно будет создать копию/копии уже существующей посадочной страницы («Копировать вариант»), указать соотношение распределения трафика («Вес») на каждую из версий, внести изменения и наблюдать за реакцией посетителей:

LPgenerator

По прошествии определенного срока после запуска теста, проанализируйте данные и выберите, какой из вариантов приносит лучший результат.

Заключение

Любой элемент вашего лендинга или другого маркетингового актива улучшить, а тестирование гипотез — это лишь научный способ это сделать.

Не переставайте задавать вопросы и формулировать все новые и новые гипотезы — это придаст вашему тестированию систематический характер и сделает его наукообразным.

Независимо от того, что вы хотите увеличить — объем трафика, число конверсий или доход — тестирование гипотез должно стать неотъемлемым инструментом вашего маркетингового арсенала.

Высоких вам конверсий! 

По материалам: crazyegg.com

24-12-2018