Аналитика / A/B-тесты
Conversion rate (конверсия)
Конверсия показывает долю пользователей, для которых событие (например, покупка или клик) произошло в группе.
Формула
Графически показывается, какая часть пользователей перешла в состояние «успех» в каждой группе.
Доли легко сравнивать как проценты, чтобы увидеть разницу в исходной эффективности.
Обозначения
- $\hat{p}$
- оценка конверсии (доля успехов в группе), безразмерная доля
- $X$
- число успехов/конвертаций в группе, шт.
- $n$
- размер выборки (пользователей) в группе, шт.
Условия применения
- Событие в группе должно быть бинарным: успех/неуспех.
- Все наблюдения в группе считаются независимыми по пользователю.
- Размер выборки должен быть целым и положительным.
Ограничения
- Может сильно колебаться при малых выборках.
- Не отражает размер эффекта в абсолютном выражении (например, в процентах трафика или выручке).
- Не подменяет проверки статистической значимости: конверсии нужно сравнивать между группами.
Подробное объяснение
Доля успехов считается как отношение числа успешных событий к количеству единиц наблюдений. Значение всегда от 0 до 1, поэтому удобно сразу переводить в проценты, если нужно для отчета.
Как пользоваться формулой
- Посчитать число успехов в группе A и в группе B.
- Разделить каждый из них на размер соответствующей группы.
- Получить доли \hat{p}_A и \hat{p}_B для дальнейшего сравнения.
Историческая справка
Конверсия — стандартная метрика цифровой аналитики и продуктовой экспериментации.
Пример
В группе A 120 пользователей совершили 6 покупок из 300 посещений. Конверсия: \hat{p}=6/300=0{,}02=2\%.
Частая ошибка
Частая ошибка — смешивать число сессий и число уникальных пользователей; это нарушает интерпретацию доли.
Практика
Задачи с решением
Базовая конверсия
Условие. Вариант A: X_A = 18, n_A = 600. Найдите конверсию.
Решение. \hat{p}_A = 18/600 = 0{,}03 = 3\%.
Ответ. \hat{p}_A = 3\%
Конверсия с малой долей
Условие. Вариант B: X_B = 2, n_B = 80.
Решение. \hat{p}_B = 2/80 = 0{,}025 = 2{,}5\%.
Ответ. \hat{p}_B = 2{,}5\%
Дополнительные источники
- OpenIntro Statistics, главы по сравнению двух пропорций
- NIST/SEMATECH e-Handbook of Statistical Methods, proportion estimation
Связанные формулы
Аналитика
Абсолютный uplift (разница конверсий)
Абсолютный uplift — это простая разница между конверсиями B и A.
Аналитика
Относительный uplift (относительный прирост)
Относительный uplift показывает, насколько тест улучшил конверсию относительно контроля в процентах.
Аналитика
Стандартная ошибка доли
SE конверсии показывает, насколько оценка доли может «плавать» из-за случайного разброса выборки.
Аналитика
Z-статистика для двух долей
Z-статистика показывает, насколько наблюдаемая разница конверсий удалена от нуля относительно дисперсии.