Все формулы РФ

Аналитика / A/B-тесты

Z-статистика для двух долей

Z-статистика для двух долей: формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Опубликовано: Обновлено:

АналитикаA/B-тестыЕсть историческая справкаАнализ данных

Формула

$$z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}$$
График Z относительно стандартного нормального порога

Ось z с порогами ±1.96 и значением наблюдаемого z.

По положению z относите результат к уровню значимости.

Обозначения

$z$
z-статистика, безразмерная величина
$\hat p_A$
конверсия контроля, доля
$\hat p_B$
конверсия теста, доля
$SE_{\Delta}$
стандартная ошибка разности двух долей, доля

Условия применения

  • Обе группы построены как независимые случайные подвыборки.
  • Значения для расчета согласованы по смыслу: z — z-статистика (безразмерная величина); \hat p_A — конверсия контроля (доля).
  • Единицы, период наблюдения, лист таблицы или расчетная схема выбраны до подстановки.

Ограничения

  • Формула относится к области A/B-тестов и продуктовой статистики и не заменяет выбор модели.
  • Если данные взяты из разных источников или периодов, результат нельзя сравнивать напрямую.
  • Округление промежуточных строк допустимо только после проверки единиц и масштаба.

Подробное объяснение

Смысл страницы «Z-статистика для двух долей» — посчитать метрику или статистическую проверку по данным эксперимента. Формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} нужна не сама по себе, а как короткая модель из области A/B-тестов и продуктовой статистики. Перед вычислением проверяют условие: Обе группы построены как независимые случайные подвыборки. Обозначения читают до арифметики: z — z-статистика (безразмерная величина); \hat p_A — конверсия контроля (доля); \hat p_B — конверсия теста (доля); SE_{\Delta} — стандартная ошибка разности двух долей (доля). Похожую величину с другой базой не берут автоматически. Такой шаг особенно важен в материалах, где рядом стоят близкие формулы. Рабочая ситуация: в отчете по рассылке фиксируют отправленные сообщения, открытия и покупки за один и тот же период, не смешивая повторные события. Достаточно одной подстановки и проверки. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют z — z-статистика (безразмерная величина). После получения результата его сверяют с ограничениями. Знак, единица и порядок величины должны соответствовать исходной модели. Если проверка не проходит, исправляют не финальную строку, а выбор данных.

Как пользоваться формулой

  1. Сформулируйте, что именно нужно найти, и выберите запись z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}.
  2. Выпишите исходные величины: z — z-статистика (безразмерная величина); \hat p_A — конверсия контроля (доля); \hat p_B — конверсия теста (доля).
  3. Проверьте единицы, период, диапазон таблицы или геометрическую схему.
  4. Подставьте значения без раннего округления.
  5. Сверьте знак, масштаб и поведение результата при изменении главного параметра.

Историческая справка

История записи «Z-статистика для двух долей» связана с практикой A/B-тестов и продуктовой статистики. Такие формулы закреплялись потому, что помогали посчитать метрику или статистическую проверку по данным эксперимента. В учебниках и справочниках постепенно стабилизировались обозначения: z — z-статистика (безразмерная величина); \hat p_A — конверсия контроля (доля). Современная форма z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} ценна тем, что дает короткий путь от условия к проверяемому результату. Для этой страницы историческая справка полезна еще и как защита от неверной аналогии: Обе группы построены как независимые случайные подвыборки. В разных источниках могут меняться буквы, порядок записи и единицы, но расчетная потребность остается прежней: сначала выбрать модель, затем проверить данные и только потом считать. Исторический блок здесь нужен не для украшения, а для понимания модели и ее границ.

Историческая линия формулы

У записи «Z-статистика для двух долей» нет одного бытового автора. Контекст — развитие A/B-тестов и продуктовой статистики. Также важны учебные курсы и рабочие методики. Формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} здесь дана как современная расчетная запись. Имена из источников уточняют историю метода, но не заменяют условия применения.

Пример

Пример: в тесте новой формы регистрации считают только уникальных пользователей: 320 успехов из 4 000 в контроле и 369 из 4 100 в варианте. Цель для «Z-статистика для двух долей» — посчитать метрику или статистическую проверку по данным эксперимента. Перед подстановкой выбирают одну строку, один объект или один период. Рабочие величины: z — z-статистика (безразмерная величина); \hat p_A — конверсия контроля (доля); \hat p_B — конверсия теста (доля). Дальше данные подставляют в z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} без смены модели по ходу решения. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют z — z-статистика (безразмерная величина). В конце меняют один ключевой параметр мысленно. Направление изменения должно совпасть со смыслом задачи.

Частая ошибка

Формула z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}} не спасает, если исходная модель выбрана неверно. Сверьте обозначения: z — z-статистика (безразмерная величина); \hat p_A — конверсия контроля (доля); \hat p_B — конверсия теста (доля). Нельзя менять метрику после просмотра результата, смешивать пользователей и сессии, включать повторные конверсии без правила дедупликации и сравнивать группы с разным окном наблюдения. Если ответ выглядит правдоподобно, проверьте его источник. Порядок простой: символ, значение, единица, источник, подстановка, округление.

Практика

Задачи с решением

Проверить исходные данные

Условие. Для «Z-статистика для двух долей» заданы величины из условия. Нужно посчитать метрику или статистическую проверку по данным эксперимента.

Решение. Составляем таблицу символов, значений, единиц и источников. Убираем данные, которые относятся к другой модели.

Ответ. К расчету оставлены только согласованные исходные величины.

Выполнить подстановку

Условие. Данные согласованы, требуется применить z = \frac{\hat p_B-\hat p_A}{SE_{\Delta}}.

Решение. Подставляем значения, сохраняем промежуточную точность и отдельно проверяем единицу результата.

Ответ. Ответ принимается только после проверки знака, масштаба и смысла.

Дополнительные источники

  • OpenIntro Statistics, hypothesis testing for two proportions
  • NIST/SEMATECH e-Handbook of Statistical Methods, z-test for proportions
  • Kohavi, Tang, Xu. Trustworthy Online Controlled Experiments, Cambridge University Press, 2020
  • Ron Kohavi et al. Online Controlled Experiments at Large Scale, KDD 2013
  • NIST/SEMATECH e-Handbook of Statistical Methods: proportions and confidence intervals

Связанные формулы

Аналитика

p-value без калькулятора: ориентиры по z

$p \approx 2\,(1-\Phi(|z|)),\; \text{а без калькулятора: }|z|\approx1{,}64\Rightarrow p\approx0{,}10,\;1{,}96\Rightarrow0{,}05,\;2{,}58\Rightarrow0{,}01$

p-value без калькулятора: ориентиры по z: формула p \approx 2\,(1-\Phi(|z|)),\; \text{а без калькулятора: }|z|\approx1{,}64\Rightarrow p\approx0{,}10,\;1{,}96\Rightarrow0{,}05,\;2{,}58\Rightarrow0{,}01 помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, оши...

Аналитика

Мощность теста (power) для разности долей — концепт

$\text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right)$

Мощность теста (power) для разности долей — концепт: формула \text{Power} \approx 1-\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right),\;\beta\approx\Phi\left(z_{1-\alpha/2}-\frac{|\Delta|}{SE_{\Delta}}\right) помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть ус...

Аналитика

Доверительный интервал разницы конверсий

$(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$

Доверительный интервал разницы конверсий: формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.