Вечная боль специалиста по контексту, который ведет небольшие проекты — нехватка статистики для принятия решений. С одной стороны клиент хочет, чтобы ему срочно АБ-тестили все, что АБ-тестится, а с другой — суровая теория вероятности в плаще и с косой.
Паттерны поведения начинающего специалиста мне знакомы:
- В группе 2 объявления, по одному из них была 1 конверсия, значит второе можно отключать, ведь оно не конвертит.
- По ключу было уже 30!!! кликов и НИ ОДНОЙ КОНВЕРСИИ, срочно отключаем ключ, чтобы не сливать бюджеты рекламодателя.
- … ну в общем тенденцию вы поняли 🙂
К чему это приводит?
Принимаются неверные решения. К примеру, отключается объявление, которое потенциально могло конвертировать лучше, чем то, которое осталось включенным. Или отключаются потенциально рабочие ключи.
А что делать, если статистики недостаточно? Да, такое бывает, довольно часто. Остается одно: собрать всю волю в кулак и медитировать на статистику еще нужное число дней.
А как понять, что статистики достаточно?
Воспользуйтесь любым калькулятором статистической значимости. К примеру, вот этим.
Желательно, чтобы один из вариантов теста был лучше другого с 95% вероятностью. Это — общепринятый порог для большинства экспериментов.
Есть калькуляторы, которые считают вероятность ошибки. Тогда отталкиваемся от того, что вероятность ошибки не должна превышать 5%.
Так что же, ждать и ничего не делать?
Как вариант, вы отключите рабочее ключевое слово/таргет/объявление/целевую страницу просто потому что вам «показалось», что пора. По хорошему, лучше уж подождать, пока статистика соберется.
Со временем получается прикидывать «на глазок», статистически значимы результаты или нет. Ну а пока — калькулятор.
P.S.: Не стоит забывать, что есть параметр под названием «здравый смысл». Он нивелирует необходимость в теории вероятности и, вообще, помогает по жизни 🙂
Алексей Ярошенко
Latest posts by Алексей Ярошенко (see all)
- Как настроить контекст «Правильно»? И нужно ли? Ода критическому мышлению - Январь 19, 2019
- Google против Крипты!?? Бред против здравого смысла - Март 25, 2018
- Как отслеживать thankyou page, если страницы открываются без перезагрузки: «/app/#!/thanks» - Декабрь 1, 2017