Аналитика: темы
A/B-тесты
Конверсии, доверительные интервалы, мощность теста и размер выборки.
23 формулы
Таблица формул
| Формула | Запись | Тема | Для чего нужна |
|---|---|---|---|
| Conversion rate (конверсия) | $\hat{p}=\frac{X}{n}$ | A/B-тесты | Conversion rate (конверсия): формула \hat{p}=\frac{X}{n} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата. |
| Относительный uplift (относительный прирост) | $\text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\%$ | A/B-тесты | Относительный uplift (относительный прирост): формула \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\% помогает требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверк... |
| Абсолютный uplift (разница конверсий) | $\Delta = \hat p_B-\hat p_A$ | A/B-тесты | Абсолютный uplift (разница конверсий): формула \Delta = \hat p_B-\hat p_A помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата. |
| Стандартная ошибка доли | $SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}$ | A/B-тесты | Стандартная ошибка доли: формула SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}} помогает требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата. |
| Z-статистика для двух долей | $z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$ | A/B-тесты | Z-статистика для двух долей: формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата. |
| p-value без калькулятора: ориентиры по z | $p \approx 2\,(1-\Phi(|z|)),\; \text{а без калькулятора: }|z|\approx1{,}64\Rightarrow p\approx0{,}10,\;1{,}96\Rightarrow0{,}05,\;2{,}58\Rightarrow0{,}01$ | A/B-тесты | p-value без калькулятора: ориентиры по z: формула p \approx 2\,(1-\Phi(|z|)),\; \text{а без калькулятора: }|z|\approx1{,}64\Rightarrow p\approx0{,}10,\;1{,}96\Rightarrow0{,}05,\;2{,}58\Rightarrow0{,}01 помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, оши... |
| Доверительный интервал разницы конверсий | $(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$ | A/B-тесты | Доверительный интервал разницы конверсий: формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата. |
| Минимальный размер выборки для двух долей (базовый) | $n \approx \frac{(z_{1-\alpha/2}+z_{1-\beta})^2\left[p_A(1-p_A)+p_B(1-p_B)\right]}{MDE^2},\; n_A=n_B=n$ | A/B-тесты | Минимальный размер выборки для двух долей (базовый): формула n \approx \frac{(z_{1-\alpha/2}+z_{1-\beta})^2\left[p_A(1-p_A)+p_B(1-p_B)\right]}{MDE^2},\; n_A=n_B=n помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата. |
| MDE в статистике и A/B-тестах | $MDE = (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{\hat p_A(1-\hat p_A)}{n_A}+\frac{\hat p_B(1-\hat p_B)}{n_B}}$ | A/B-тесты | MDE в статистике и A/B-тестах: формула MDE = (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{\hat p_A(1-\hat p_A)}{n_A}+\frac{\hat p_B(1-\hat p_B)}{n_B}} помогает требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть услови... |
| Мощность теста (power) для разности долей — концепт | $\text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right)$ | A/B-тесты | Мощность теста (power) для разности долей — концепт: формула \text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right) помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть ус... |
| Линейная регрессия по методу наименьших квадратов | $\hat{\beta}_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2},\quad \hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x}$ | Линейная регрессия, коэффициенты | OLS подбирает коэффициенты линейной регрессии так, чтобы сумма квадратов остатков была минимальной. Формула нужна, чтобы оценить связь факторов с числовой целью и получить воспроизводимый линейный прогноз. |
| Коэффициент детерминации R-squared | $R^2=1-\frac{SS_{res}}{SS_{tot}}$ | Линейная регрессия, коэффициенты | R² показывает, какая доля разброса целевой переменной объяснена регрессионной моделью по сравнению с ее средним уровнем. Метрика полезна для одной выборки и спецификации, но сама по себе не доказывает причинность. |
| Стандартная ошибка регрессии | $s=\sqrt{\frac{SS_{res}}{n-p}}$ | Линейная регрессия, коэффициенты | Стандартная ошибка регрессии оценивает типичный разброс остатков вокруг линии модели в единицах целевой переменной. Ее используют рядом с R², чтобы видеть не только долю объясненной вариации, но и размер промаха. |
| t-статистика коэффициента регрессии | $t=\frac{\hat{\beta}_j-\beta_{j,0}}{SE(\hat{\beta}_j)}$ | Линейная регрессия, коэффициенты | t-статистика делит коэффициент регрессии на его стандартную ошибку и показывает, насколько оценка далека от нуля в масштабе неопределенности. Ее читают с учетом степеней свободы, p-value и спецификации модели. |
| Логистическая функция вероятности | $p=\frac{1}{1+e^{-z}},\quad z=\beta_0+\beta_1x_1+\ldots+\beta_kx_k}$ | Линейная регрессия, коэффициенты | Логистическая функция переводит линейный скор в вероятность от 0 до 1 по S-образной кривой. В аналитике бинарных событий она связывает факторы с шансом наступления класса и помогает выбрать порог решения. |
| Размер выборки для одной доли | $n=\frac{z^2p(1-p)}{E^2}$ | Описательная статистика | Размер выборки для одной доли: формула n=\frac{z^2p(1-p)}{E^2} помогает величины n, z, p, E заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата. |
| Размер выборки для MDE двух долей | $n=\frac{2(z_\alpha+z_\beta)^2p(1-p)}{\Delta^2}$ | A/B-тесты | Размер выборки для MDE двух долей: формула n=\frac{2(z_\alpha+z_\beta)^2p(1-p)}{\Delta^2} помогает требуется требуется требуется требуется требуется требуется понять, хватит ли трафика для обнаружения минимального эффекта. В тексте есть условия, пример, ошибки и проверка результата. |
| z-тест для сравнения двух долей | $z=\frac{p_1-p_2}{\sqrt{p(1-p)(1/n_1+1/n_2)}}$ | A/B-тесты | z-тест для сравнения двух долей: формула z=\frac{p_1-p_2}{\sqrt{p(1-p)(1/n_1+1/n_2)}} помогает величины z, p_1, p_2, p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата. |
| t-тест для сравнения двух средних | $t=\frac{\bar x_1-\bar x_2}{s_p\sqrt{1/n_1+1/n_2}}$ | Описательная статистика | t-тест для сравнения двух средних: формула t=\frac{\bar x_1-\bar x_2}{s_p\sqrt{1/n_1+1/n_2}} помогает величины t, x_1, x_2, s_p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата. |
| t-тест Уэлча для средних с разными дисперсиями | $t=\frac{\bar x_1-\bar x_2}{\sqrt{s_1^2/n_1+s_2^2/n_2}}$ | Описательная статистика | t-тест Уэлча для средних с разными дисперсиями: формула t=\frac{\bar x_1-\bar x_2}{\sqrt{s_1^2/n_1+s_2^2/n_2}} помогает величины t, x_1, x_2, s_1 заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата. |
| Доверительный интервал для доли | $\hat p\pm z\sqrt{\frac{\hat p(1-\hat p)}{n}}$ | Описательная статистика | Доверительный интервал для доли: формула \hat p\pm z\sqrt{\frac{\hat p(1-\hat p)}{n}} помогает величины p, z, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата. |
| Доверительный интервал для разности долей | $(p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}}$ | A/B-тесты | Доверительный интервал для разности долей: формула (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}} помогает требуется требуется требуется требуется требуется требуется оценить диапазон возможного uplift между группами. В тексте есть условия, пример, ошибки и проверка результата. |
| Размер эффекта Cohen's d для двух средних | $d=\frac{\bar x_1-\bar x_2}{s_p}$ | Описательная статистика | Размер эффекта Cohen's d для двух средних: формула d=\frac{\bar x_1-\bar x_2}{s_p} помогает величины d, x_1, x_2, s_p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата. |