Все формулы РФ

Аналитика / A/B-тесты

Абсолютный uplift (разница конверсий)

Абсолютный uplift (разница конверсий): формула \Delta = \hat p_B-\hat p_A помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Опубликовано: Обновлено:

АналитикаA/B-тестыЕсть историческая справкаАнализ данных

Формула

$$\Delta = \hat p_B-\hat p_A$$
Схема Разница конверсий в процентных пунктах

Колонки A и B показывают абсолютную разницу в долях в одной единице масштаба.

Проще всего объяснять бизнесу: «+0,4 п.п.» или «-0,2 п.п.».

Обозначения

$\Delta$
разница конверсий между группами, доля
$\hat p_B$
конверсия тестовой группы, доля
$\hat p_A$
конверсия контрольной группы, доля

Условия применения

  • Исключите пересечение участников между группами (чтобы наблюдения не дублировались).
  • Значения для расчета согласованы по смыслу: \Delta — разница конверсий между группами (доля); \hat p_B — конверсия тестовой группы (доля).
  • Единицы, период наблюдения, лист таблицы или расчетная схема выбраны до подстановки.

Ограничения

  • Формула относится к области A/B-тестов и продуктовой статистики и не заменяет выбор модели.
  • Если данные взяты из разных источников или периодов, результат нельзя сравнивать напрямую.
  • Округление промежуточных строк допустимо только после проверки единиц и масштаба.

Подробное объяснение

Смысл страницы «Абсолютный uplift (разница конверсий)» — посчитать метрику или статистическую проверку по данным эксперимента. Формула \Delta = \hat p_B-\hat p_A нужна не сама по себе, а как короткая модель из области A/B-тестов и продуктовой статистики. Перед вычислением проверяют условие: Исключите пересечение участников между группами (чтобы наблюдения не дублировались). Обозначения читают до арифметики: \Delta — разница конверсий между группами (доля); \hat p_B — конверсия тестовой группы (доля); \hat p_A — конверсия контрольной группы (доля). Похожую величину с другой базой не берут автоматически. Такой шаг особенно важен в материалах, где рядом стоят близкие формулы. Рабочая ситуация: в эксперименте вариант A получил 4 800 посетителей и 384 целевых действия, а вариант B — 5 100 посетителей и 438 действий. Достаточно одной подстановки и проверки. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют \Delta — разница конверсий между группами (доля). После получения результата его сверяют с ограничениями. Знак, единица и порядок величины должны соответствовать исходной модели. Если проверка не проходит, исправляют не финальную строку, а выбор данных.

Как пользоваться формулой

  1. Сформулируйте, что именно нужно найти, и выберите запись \Delta = \hat p_B-\hat p_A.
  2. Выпишите исходные величины: \Delta — разница конверсий между группами (доля); \hat p_B — конверсия тестовой группы (доля); \hat p_A — конверсия контрольной группы (доля).
  3. Проверьте единицы, период, диапазон таблицы или геометрическую схему.
  4. Подставьте значения без раннего округления.
  5. Сверьте знак, масштаб и поведение результата при изменении главного параметра.

Историческая справка

История записи «Абсолютный uplift (разница конверсий)» связана с практикой A/B-тестов и продуктовой статистики. Такие формулы закреплялись потому, что помогали посчитать метрику или статистическую проверку по данным эксперимента. В учебниках и справочниках постепенно стабилизировались обозначения: \Delta — разница конверсий между группами (доля); \hat p_B — конверсия тестовой группы (доля). Современная форма \Delta = \hat p_B-\hat p_A ценна тем, что дает короткий путь от условия к проверяемому результату. Для этой страницы историческая справка полезна еще и как защита от неверной аналогии: Исключите пересечение участников между группами (чтобы наблюдения не дублировались). В разных источниках могут меняться буквы, порядок записи и единицы, но расчетная потребность остается прежней: сначала выбрать модель, затем проверить данные и только потом считать. Исторический блок здесь нужен не для украшения, а для понимания модели и ее границ.

Историческая линия формулы

У записи «Абсолютный uplift (разница конверсий)» нет одного бытового автора. Контекст — развитие A/B-тестов и продуктовой статистики. Также важны учебные курсы и рабочие методики. Формула \Delta = \hat p_B-\hat p_A здесь дана как современная расчетная запись. Имена из источников уточняют историю метода, но не заменяют условия применения.

Пример

Пример: в отчете по рассылке фиксируют отправленные сообщения, открытия и покупки за один и тот же период, не смешивая повторные события. Цель для «Абсолютный uplift (разница конверсий)» — посчитать метрику или статистическую проверку по данным эксперимента. Расчет начинают с вопроса, а не с поиска похожей формулы. Рабочие величины: \Delta — разница конверсий между группами (доля); \hat p_B — конверсия тестовой группы (доля); \hat p_A — конверсия контрольной группы (доля). Дальше данные подставляют в \Delta = \hat p_B-\hat p_A без смены модели по ходу решения. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют \Delta — разница конверсий между группами (доля). В конце меняют один ключевой параметр мысленно. Направление изменения должно совпасть со смыслом задачи.

Частая ошибка

Для «Абсолютный uplift (разница конверсий)» опаснее всего начать с похожей записи. Сверьте обозначения: \Delta — разница конверсий между группами (доля); \hat p_B — конверсия тестовой группы (доля); \hat p_A — конверсия контрольной группы (доля). Нельзя менять метрику после просмотра результата, смешивать пользователей и сессии, включать повторные конверсии без правила дедупликации и сравнивать группы с разным окном наблюдения. Если ответ выглядит правдоподобно, проверьте его источник. Порядок простой: символ, значение, единица, источник, подстановка, округление.

Практика

Задачи с решением

Проверить исходные данные

Условие. Для «Абсолютный uplift (разница конверсий)» заданы величины из условия. Нужно посчитать метрику или статистическую проверку по данным эксперимента.

Решение. Составляем таблицу символов, значений, единиц и источников. Убираем данные, которые относятся к другой модели.

Ответ. К расчету оставлены только согласованные исходные величины.

Выполнить подстановку

Условие. Данные согласованы, требуется применить \Delta = \hat p_B-\hat p_A.

Решение. Подставляем значения, сохраняем промежуточную точность и отдельно проверяем единицу результата.

Ответ. Ответ принимается только после проверки знака, масштаба и смысла.

Дополнительные источники

  • OpenIntro Statistics, раздел по двум пропорциям
  • NIST/SEMATECH e-Handbook of Statistical Methods, inference for proportions
  • Kohavi, Tang, Xu. Trustworthy Online Controlled Experiments, Cambridge University Press, 2020
  • Ron Kohavi et al. Online Controlled Experiments at Large Scale, KDD 2013
  • NIST/SEMATECH e-Handbook of Statistical Methods: proportions and confidence intervals

Связанные формулы

Аналитика

Conversion rate (конверсия)

$\hat{p}=\frac{X}{n}$

Conversion rate (конверсия): формула \hat{p}=\frac{X}{n} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Относительный uplift (относительный прирост)

$\text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\%$

Относительный uplift (относительный прирост): формула \text{uplift}_{\%}=\frac{\hat p_B-\hat p_A}{\hat p_A}\cdot 100\% помогает требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверк...

Аналитика

Стандартная ошибка доли

$SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}}$

Стандартная ошибка доли: формула SE(\hat p)=\sqrt{\frac{\hat p(1-\hat p)}{n}} помогает требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Доверительный интервал разницы конверсий

$(\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta}$

Доверительный интервал разницы конверсий: формула (\hat p_B-\hat p_A)\pm z_{1-\alpha/2}\cdot SE_{\Delta} помогает посчитать метрику или статистическую проверку по данным эксперимента. В тексте есть условия, пример, ошибки и проверка результата.