…призваны оценивать (в нашем конкретном случае с маркетами) кликабельность товара. Пресловутый CTR за которым мы несемся сломя голову волосы назад.
Давайте разберемся на примере встроенных внутренних функций той же золотой вэбэшки, как это устроено и на пальцах поймём минусы – да сразу спойлер.
Итак.
Изначальная задумка А/Б тестов вообще – это одним и тем же людям показать 2-3-100 вариантов чтобы они расположили в порядке убывания привлекательности (назовем это так).
Что делает золотая вэбэшка? (с новыми комиссиями кстати так и есть 😂но это отдельная тема для подкаста)
В своем функционале площадка дает загрузить 2 варианта ииииии….показывает это РАЗНЫМ группам людей. Эээээ ну как бэээээ это уже неправильно.
Второй момент из инфобиза.
Везде пишут следующий алгоритм:
- загрузите фото №1 поставьте ставку 1000 рублей открутите 10 000 показов по рекламе (цифры взяты с потолка и любое совпадение не более чем совпадение), оцените CTR.
- Поставьте фото №2 и сделайте все тоже самое.
Но давайте разберемся в следующих моментах: трафик на площадках непостоянный. Это факт.
Он зависит от дня недели и от часа – не для кого не секрет что пятничный и понедельный трафик это 2 разных трафика, а так же трафик в 6 утра и 20-00.
А для частоты и максимальной достоверности мы вочтобытонистало обязаны повторять условия эксперимента.
А когда у нас постоянно-переменный трафик то о какой достоверности идет речь?
Да ни о какой.
Пустая трата времени и денег в пустоту.
Что делать?
Уходить в сторонние сервисы где тестирование проводится на одной и той же аудитории при чётко заданных параметрах.
Проводили а/б тесты? Рассказывайте в комментариях 👇