Рубрики
Статьи

Пару слов об адски скучной математической статистике

Вечная боль специалиста по контексту, который ведет небольшие проекты — нехватка статистики для принятия решений. С одной стороны клиент хочет, чтобы ему срочно АБ-тестили все, что АБ-тестится, а с другой — суровая теория вероятности в плаще и с косой.

Паттерны поведения начинающего специалиста мне знакомы:

  • В группе 2 объявления, по одному из них была 1 конверсия, значит второе можно отключать, ведь оно не конвертит.
  • По ключу было уже 30!!! кликов и НИ ОДНОЙ КОНВЕРСИИ, срочно отключаем ключ, чтобы не сливать бюджеты рекламодателя.
  • … ну в общем тенденцию вы поняли 🙂

К чему это приводит?

Принимаются неверные решения. К примеру, отключается объявление, которое потенциально могло конвертировать лучше, чем то, которое осталось включенным. Или отключаются потенциально рабочие ключи.

А что делать, если статистики недостаточно? Да, такое бывает, довольно часто. Остается одно: собрать всю волю в кулак и медитировать на статистику еще нужное число дней.

А как понять, что статистики достаточно?

Воспользуйтесь любым калькулятором АБ-теста. Их хватает.

Желательно, чтобы один из вариантов теста был лучше другого с 95% вероятностью. Это — общепринятый порог для большинства экспериментов.

Есть калькуляторы, которые считают pvalue (если очень грубо — вероятность ошибки). Тогда отталкиваемся от того, что pvalue не должен превышать 5%.

Так что же, ждать и ничего не делать?

Как вариант, вы отключите рабочее ключевое слово/таргет/объявление/целевую страницу просто потому что вам «показалось», что пора. По хорошему, лучше уж подождать, пока статистика соберется.

Со временем получается прикидывать «на глазок», статистически значимы результаты или нет. Ну а пока — калькулятор.

P.S.: Не стоит забывать, что есть параметр под названием «здравый смысл». Он нивелирует необходимость в статистике и, вообще, помогает по жизни 🙂

Автор: Алексей Ярошенко

Data Scientist / ML Engineer. Раньше занимался интернет-маркетингом и учил людей контексту. Сертифицированный тренер Google в Беларуси.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.