А/В-тесты и ошибка подглядывания

Есть такая штука как А/В-тесты: помогают, например, понять, какой текст на лендинге работает лучше. Грубо говоря, А/В-тест — это когда мы вешаем две страницы, пускаем на них трафик и смотрим, какая страница показывает бОльшую конверсию.

Считается, что срок и ожидаемое изменение конверсии обязательно нужно рассчитать до старта теста, обычно это делают на калькуляторе. Все посчитали, запустили и ждем. Срок вышел, а стат.значимого результата нет — значит его нет. В блоге GoPractice описано подробно почему это важно.

Но есть случаи, когда «подглядывание» — это ок, как мне объяснили аналитики. Для этого нужно дополнительно рассчитать размер выборки — то есть использовать сразу два калькулятора: выборка и стат.значимость.

Допустим, вышло, что на тест нужно 100 тыс. визитов, 3 месяца, а разница будет +10%. Если посмотрим на результат через 2 месяца и видим, что уже есть +10%, то тест останавливать нельзя, потому что за оставшийся месяц эта значимость может и стереться. Но если через 2 месяца видим +20% , то можно останавливаться, результат будет корректным.

Да что там, подглядывают через раз — потому что окручивать тесты до конца непрактично.

А потом Вова такой: «А вообще, Ась, есть еще байесовский подход — он гораздо интуитивнее»

Пойду еще поботаю и вернусь с объяснением этого потрясающего интуитивного подхода на гуманитарном.

Поделиться
Отправить
 1087   2020   аналитика   капитан
Популярное