Пару слов об адски скучной теории вероятности

Вечная боль специалиста по контексту, который ведет небольшие проекты — нехватка статистики для принятия решений. С одной стороны клиент хочет, чтобы ему срочно АБ-тестили все, что АБ-тестится, а с другой — суровая теория вероятности в плаще и с косой.

Паттерны поведения начинающего специалиста мне знакомы:

В группе 2 объявления, по одному из них была 1 конверсия, значит второе можно отключать, ведь оно не конвертит.
По ключу было уже 30!!! кликов и НИ ОДНОЙ КОНВЕРСИИ, срочно отключаем ключ, чтобы не сливать бюджеты рекламодателя.
… ну в общем тенденцию вы поняли 🙂

К чему это приводит?

Принимаются неверные решения. К примеру, отключается объявление, которое потенциально могло конвертировать лучше, чем то, которое осталось включенным. Или отключаются потенциально рабочие ключи.

А что делать, если статистики недостаточно? Да, такое бывает, довольно часто. Остается одно: собрать всю волю в кулак и медитировать на статистику еще нужное число дней.

А как понять, что статистики достаточно?

Воспользуйтесь любым калькулятором статистической значимости. К примеру, вот этим.

Желательно, чтобы один из вариантов теста был лучше другого с 95% вероятностью. Это — общепринятый порог для большинства экспериментов.

Есть калькуляторы, которые считают вероятность ошибки. Тогда отталкиваемся от того, что вероятность ошибки не должна превышать 5%.

Так что же, ждать и ничего не делать?

Как вариант, вы отключите рабочее ключевое слово/таргет/объявление/целевую страницу просто потому что вам «показалось», что пора. По хорошему, лучше уж подождать, пока статистика соберется.

Со временем получается прикидывать «на глазок», статистически значимы результаты или нет. Ну а пока — калькулятор.

P.S.: Не стоит забывать, что есть параметр под названием «здравый смысл». Он нивелирует необходимость в теории вероятности и, вообще, помогает по жизни 🙂