Аналитика / A/B-тесты

Доверительный интервал для разности долей

Доверительный интервал для разности долей: формула (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}} помогает требуется требуется требуется требуется требуется требуется оценить диапазон возможного uplift между группами. В тексте есть условия, пример, ошибки и проверка результата.

Опубликовано: 3 июня 2026 г.Обновлено: 3 июня 2026 г.

Формула

(p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}}

Обозначения

$p_1$: параметр формулы p_1, значение выбирают из условия задачи
$p_2$: параметр формулы p_2, значение выбирают из условия задачи
$z$: параметр формулы z, значение выбирают из условия задачи
$n_1$: параметр формулы n_1, значение выбирают из условия задачи
$n_2$: параметр формулы n_2, значение выбирают из условия задачи

Когда применять

Открывайте эту запись, когда требуется требуется требуется требуется требуется требуется требуется оценить диапазон возможного uplift между группами. Область: A/B-тестов и продуктовой статистики. Модель задают до подстановки: Формулу применяют, когда величины p_1, p_2, z, n_1 заданы для одной и той же ситуации, периода или объекта. Затем сверяют обозначения: p_1 — параметр формулы p_1, значение выбирают из условия задачи; p_2 — параметр формулы p_2, значение выбирают из условия задачи; z — параметр формулы z, значение выбирают из условия задачи. Чужая строка, группа, лист или единица — повод остановить расчет.

Условия применения

Формулу применяют, когда величины p_1, p_2, z, n_1 заданы для одной и той же ситуации, периода или объекта.
Значения для расчета согласованы по смыслу: p_1 — параметр формулы p_1, значение выбирают из условия задачи; p_2 — параметр формулы p_2, значение выбирают из условия задачи.
Единицы, период наблюдения, лист таблицы или расчетная схема выбраны до подстановки.

Ограничения

Формула относится к области A/B-тестов и продуктовой статистики и не заменяет выбор модели.
Если данные взяты из разных источников или периодов, результат нельзя сравнивать напрямую.
Округление промежуточных строк допустимо только после проверки единиц и масштаба.

Подробное объяснение

Смысл страницы «Доверительный интервал для разности долей» — требуется требуется требуется требуется требуется требуется требуется оценить диапазон возможного uplift между группами. Формула (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}} нужна не сама по себе, а как короткая модель из области A/B-тестов и продуктовой статистики. Перед вычислением проверяют условие: Формулу применяют, когда величины p_1, p_2, z, n_1 заданы для одной и той же ситуации, периода или объекта. Обозначения читают до арифметики: p_1 — параметр формулы p_1, значение выбирают из условия задачи; p_2 — параметр формулы p_2, значение выбирают из условия задачи; z — параметр формулы z, значение выбирают из условия задачи; n_1 — параметр формулы n_1, значение выбирают из условия задачи. Похожую величину с другой базой не берут автоматически. Такой шаг особенно важен в материалах, где рядом стоят близкие формулы. Рабочая ситуация: в эксперименте вариант A получил 4 800 посетителей и 384 целевых действия, а вариант B — 5 100 посетителей и 438 действий. Достаточно одной подстановки и проверки. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют p_1 — параметр формулы p_1, значение выбирают из условия задачи. После получения результата его сверяют с ограничениями. Знак, единица и порядок величины должны соответствовать исходной модели. Если проверка не проходит, исправляют не финальную строку, а выбор данных.

Как пользоваться формулой

Сформулируйте, что именно нужно найти, и выберите запись (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}}.
Выпишите исходные величины: p_1 — параметр формулы p_1, значение выбирают из условия задачи; p_2 — параметр формулы p_2, значение выбирают из условия задачи; z — параметр формулы z, значение выбирают из условия задачи.
Проверьте единицы, период, диапазон таблицы или геометрическую схему.
Подставьте значения без раннего округления.
Сверьте знак, масштаб и поведение результата при изменении главного параметра.

Историческая справка

История записи «Доверительный интервал для разности долей» связана с практикой A/B-тестов и продуктовой статистики. Такие формулы закреплялись потому, что помогали требуется требуется требуется требуется требуется требуется требуется оценить диапазон возможного uplift между группами. В учебниках и справочниках постепенно стабилизировались обозначения: p_1 — параметр формулы p_1, значение выбирают из условия задачи; p_2 — параметр формулы p_2, значение выбирают из условия задачи. Современная форма (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}} ценна тем, что дает короткий путь от условия к проверяемому результату. Для этой страницы историческая справка полезна еще и как защита от неверной аналогии: Формулу применяют, когда величины p_1, p_2, z, n_1 заданы для одной и той же ситуации, периода или объекта. В разных источниках могут меняться буквы, порядок записи и единицы, но расчетная потребность остается прежней: сначала выбрать модель, затем проверить данные и только потом считать. Исторический блок здесь нужен не для украшения, а для понимания модели и ее границ.

Историческая линия формулы

У записи «Доверительный интервал для разности долей» нет одного бытового автора. Контекст — развитие A/B-тестов и продуктовой статистики. Также важны учебные курсы и рабочие методики. Формула (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}} здесь дана как современная расчетная запись. Имена из источников уточняют историю метода, но не заменяют условия применения.

Пример

Пример: в отчете по рассылке фиксируют отправленные сообщения, открытия и покупки за один и тот же период, не смешивая повторные события. Цель для «Доверительный интервал для разности долей» — требуется требуется требуется требуется требуется требуется требуется оценить диапазон возможного uplift между группами. Расчет начинают с вопроса, а не с поиска похожей формулы. Рабочие величины: p_1 — параметр формулы p_1, значение выбирают из условия задачи; p_2 — параметр формулы p_2, значение выбирают из условия задачи; z — параметр формулы z, значение выбирают из условия задачи. Дальше данные подставляют в (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}} без смены модели по ходу решения. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют p_1 — параметр формулы p_1, значение выбирают из условия задачи. В конце меняют один ключевой параметр мысленно. Направление изменения должно совпасть со смыслом задачи.

Частая ошибка

В «Доверительный интервал для разности долей» ошибка часто появляется до арифметики. Сверьте обозначения: p_1 — параметр формулы p_1, значение выбирают из условия задачи; p_2 — параметр формулы p_2, значение выбирают из условия задачи; z — параметр формулы z, значение выбирают из условия задачи. Нельзя менять метрику после просмотра результата, смешивать пользователей и сессии, включать повторные конверсии без правила дедупликации и сравнивать группы с разным окном наблюдения. Если ответ выглядит правдоподобно, проверьте его источник. Порядок простой: символ, значение, единица, источник, подстановка, округление.

Практика

Задачи с решением

Проверить исходные данные

Условие. Для «Доверительный интервал для разности долей» заданы величины из условия. Нужно требуется требуется требуется требуется требуется требуется требуется оценить диапазон возможного uplift между группами.

Решение. Составляем таблицу символов, значений, единиц и источников. Убираем данные, которые относятся к другой модели.

Ответ. К расчету оставлены только согласованные исходные величины.

Выполнить подстановку

Условие. Данные согласованы, требуется применить (p_1-p_2)\pm z\sqrt{\frac{p_1(1-p_1)}{n_1}+\frac{p_2(1-p_2)}{n_2}}.

Решение. Подставляем значения, сохраняем промежуточную точность и отдельно проверяем единицу результата.

Ответ. Ответ принимается только после проверки знака, масштаба и смысла.

Дополнительные источники

NIST/SEMATECH e-Handbook of Statistical Methods, hypothesis tests and regression diagnostics.
Kohavi, Tang, Xu. Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
Hyndman, Athanasopoulos. Forecasting: Principles and Practice, 3rd edition.

Связанные формулы

Аналитика

Размер эффекта Cohen's d для двух средних

$d=\frac{\bar x_1-\bar x_2}{s_p}$

Размер эффекта Cohen's d для двух средних: формула d=\frac{\bar x_1-\bar x_2}{s_p} помогает величины d, x_1, x_2, s_p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Коэффициент V Крамера для таблицы сопряженности

$V=\sqrt{\frac{\chi^2}{n(k-1)}}$

Коэффициент V Крамера для таблицы сопряженности: формула V=\sqrt{\frac{\chi^2}{n(k-1)}} помогает требуется требуется требуется требуется требуется требуется оценить силу связи в категориальной таблице. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Precision, recall и F1 для классификации

$F_1=\frac{2PR}{P+R}$

Precision, recall и F1 для классификации: формула F_1=\frac{2PR}{P+R} помогает требуется требуется требуется требуется требуется важны и точность, и полнота. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

ROC AUC методом трапеций по точкам

$AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1})$

ROC AUC методом трапеций по точкам: формула AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1}) помогает величины AUC, TPR, FPR заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.