Вечная боль специалиста по контексту, который ведет небольшие проекты — нехватка статистики для принятия решений. С одной стороны клиент хочет, чтобы ему срочно АБ-тестили все, что АБ-тестится, а с другой — суровая теория вероятности в плаще и с косой.
Паттерны поведения начинающего специалиста мне знакомы:
- В группе 2 объявления, по одному из них была 1 конверсия, значит второе можно отключать, ведь оно не конвертит.
- По ключу было уже 30!!! кликов и НИ ОДНОЙ КОНВЕРСИИ, срочно отключаем ключ, чтобы не сливать бюджеты рекламодателя.
- … ну в общем тенденцию вы поняли 🙂
К чему это приводит?
Принимаются неверные решения. К примеру, отключается объявление, которое потенциально могло конвертировать лучше, чем то, которое осталось включенным. Или отключаются потенциально рабочие ключи.
А что делать, если статистики недостаточно? Да, такое бывает, довольно часто. Остается одно: собрать всю волю в кулак и медитировать на статистику еще нужное число дней.
А как понять, что статистики достаточно?
Воспользуйтесь любым калькулятором АБ-теста. Их хватает.
Желательно, чтобы один из вариантов теста был лучше другого с 95% вероятностью. Это — общепринятый порог для большинства экспериментов.
Есть калькуляторы, которые считают pvalue (если очень грубо — вероятность ошибки). Тогда отталкиваемся от того, что pvalue не должен превышать 5%.
Так что же, ждать и ничего не делать?
Как вариант, вы отключите рабочее ключевое слово/таргет/объявление/целевую страницу просто потому что вам «показалось», что пора. По хорошему, лучше уж подождать, пока статистика соберется.
Со временем получается прикидывать «на глазок», статистически значимы результаты или нет. Ну а пока — калькулятор.
P.S.: Не стоит забывать, что есть параметр под названием «здравый смысл». Он нивелирует необходимость в статистике и, вообще, помогает по жизни 🙂
