Аналитика: темы
A/B-тесты
Конверсии, доверительные интервалы, мощность теста и размер выборки.
10 формул
Таблица формул
| Формула | Запись | Тема | Для чего нужна |
|---|---|---|---|
| Conversion rate (конверсия) | $\hat{p}=\frac{X}{n}$ | A/B-тесты | Конверсия показывает долю пользователей, для которых событие (например, покупка или клик) произошло в группе. |
| Относительный uplift (относительный прирост) | $\text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\%$ | A/B-тесты | Относительный uplift показывает, насколько тест улучшил конверсию относительно контроля в процентах. |
| Абсолютный uplift (разница конверсий) | $\Delta = \hat p_B-\hat p_A$ | A/B-тесты | Абсолютный uplift — это простая разница между конверсиями B и A. |
| Стандартная ошибка доли | $SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}$ | A/B-тесты | SE конверсии показывает, насколько оценка доли может «плавать» из-за случайного разброса выборки. |
| Z-статистика для двух долей | $z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$ | A/B-тесты | Z-статистика показывает, насколько наблюдаемая разница конверсий удалена от нуля относительно дисперсии. |
| p-value без калькулятора: ориентиры по z | p \approx 2\,(1-\Phi(|z|)),\; \text{а без калькулятора: }|z|\approx1{,}64\Rightarrow p\approx0{,}10,\;1{,}96\Rightarrow0{,}05,\;2{,}58\Rightarrow0{,}01 |
A/B-тесты | Если нет точного калькулятора, используйте фиксированные пороговые значения |z| для быстрой оценки значимости. |
| Доверительный интервал разницы конверсий | $(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$ | A/B-тесты | Интервал показывает диапазон значимых значений разницы между группами на заданном уровне надежности. |
| Минимальный размер выборки для двух долей (базовый) | n \approx \frac{(z_{1-\alpha/2}+z_{1-\beta})^2\left[p_A(1-p_A)+p_B(1-p_B)\right]}{MDE^2},\; n_A=n_B=n |
A/B-тесты | Базовая оценка числа участников в каждой группе для обнаружения минимально значимого эффекта с заданными \alpha и power. |
| MDE (минимально детектируемый эффект) | $MDE = (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{\hat p_A(1-\hat p_A)}{n_A}+\frac{\hat p_B(1-\hat p_B)}{n_B}}$ | A/B-тесты | MDE показывает минимальную разницу конверсий, которую тест сможет обнаружить с заданным α и power. |
| Мощность теста (power) для разности долей — концепт | \text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right) |
A/B-тесты | Power отвечает на вопрос: с какой вероятностью тест обнаружит реальный эффект \Delta при заданном дизайне. |