Аналитика / Статистические выводы

Точный интервал Клоппера—Пирсона для биномиальной доли

Точный интервал Клоппера—Пирсона оценивает неизвестную вероятность успеха по числу успехов x в n независимых испытаниях Бернулли. Его границы находят из биномиальных хвостов; при доверии 95% покрытие не меньше 95%, но интервал может быть шире приближённых вариантов.

Опубликовано: Обновлено:

Формула

$$p_{\mathrm{н}}=B^{-1}(\alpha/2; x,n-x+1),\quad p_{\mathrm{в}}=B^{-1}(1-\alpha/2; x+1,n-x)$$
Схема Границы интервала зависят от числа успехов
Точные интервалы при n=12Уровень доверия 95%x=0x=2x=4x=6x=8x=10x=1200,51x/nнижняя—верхняя границы

95%-е интервалы Клоппера—Пирсона при n=12. Для каждого показанного x синяя линия — границы, оранжевая точка — доля x/n. Горизонтальная шкала вероятности от 0 до 1.

Обозначения

$pₙ$
нижняя граница двустороннего доверительного интервала, безразмерная вероятность от 0 до 1
$pᵥ$
верхняя граница двустороннего доверительного интервала, безразмерная вероятность от 0 до 1
$x$
число наблюдённых успехов из n испытаний, целое число от 0 до n
$n$
общее число независимых испытаний с одинаковой вероятностью успеха, целое положительное число
$p$
неизвестная вероятность успеха в каждом испытании, безразмерная величина от 0 до 1
$α$
уровень ошибки; доверительная вероятность равна 1−α, безразмерная величина
$B⁻¹(q;a,b)$
квантиль уровня q бета-распределения с параметрами a и b; эквивалентная запись границ через биномиальные хвосты дана ниже, безразмерная вероятность

Условия применения

Модель предполагает фиксированное n и независимые испытания Бернулли с одной и той же вероятностью p. Результат каждого испытания кодируют как успех или неуспех, а x считают без округления. Двусторонний центральный интервал делит α поровну между двумя хвостами: по α/2 с каждой стороны.

Ограничения

Слово «точный» означает контроль покрытия при биномиальной модели, а не точное знание p для уже полученной выборки. Из-за дискретности числа успехов фактическое покрытие обычно выше заданного, поэтому интервал часто консервативен и шире интервала Вильсона. Зависимые наблюдения, меняющаяся вероятность успеха, выборка без возвращения из небольшой конечной совокупности или смещённый отбор требуют другой модели.

Подробное объяснение

Пусть X — число успехов в n независимых испытаниях, тогда X имеет биномиальное распределение с неизвестной вероятностью p. Точечная оценка равна x/n, но при малой выборке она не показывает, насколько сильно могли бы различаться результаты повторных серий. Интервал задаёт множество значений p, которые не отвергает точный биномиальный критерий уровня α с равными хвостами.

Нижнюю границу pₙ находят так, чтобы при ней вероятность получить не меньше x успехов была α/2: P(X≥x | p=pₙ)=α/2. Верхнюю границу pᵥ выбирают из условия P(X≤x | p=pᵥ)=α/2. Это обращение двух хвостовых вероятностей биномиального распределения; та же операция выражается квантилями бета-распределения из формулы.

При x=0 нижняя граница по определению равна 0, поскольку наблюдения не дают основания отсечь нулевую вероятность. Верхняя граница остаётся положительной: даже если успехов не было, редкий успех мог не попасть в конечную серию. Симметрично, при x=n верхняя граница равна 1, а нижняя меньше единицы. Поэтому интервал корректно ведёт себя на краях, где простая нормальная формула может выдать бессмысленные значения.

Из-за целочисленности X хвост обычно нельзя разделить ровно так, чтобы для каждого p покрытие было ровно 1−α. Метод выбирает границы с гарантией покрытия не ниже заданного уровня; разница и создаёт консервативность. Термин «точный» относится к этой гарантии для модели, а не к отсутствию неопределённости и не к минимальной ширине интервала.

Интервал подходит для одной доли. Если сравнивают две независимые группы, используют интервал разности долей или соответствующий тест; если испытания у одного объекта повторяются и зависимы, биномиальная модель уже не описывает данные. Перед расчётом важно определить, что считается успехом, как сформирована выборка и можно ли считать вероятность постоянной.

Для больших выборок интервал Вильсона часто уже и остаётся в диапазоне от 0 до 1, но его построение и гарантия отличаются. Клоппер—Пирсон удобен, когда требуется консервативная частотная гарантия покрытия, особенно при малом числе наблюдений или крайних значениях x.

Как пользоваться формулой

  1. Определите одно и то же бинарное событие успеха для всех наблюдений и проверьте, что испытания независимы и имеют общую вероятность p.
  2. Запишите целое число успехов x и размер выборки n; проверьте границы 0≤x≤n и не округляйте эти исходные счётчики.
  3. Выберите доверительный уровень 1−α. Для двустороннего 95%-го интервала положите α=0,05 и используйте α/2=0,025 в каждом хвосте.
  4. Для x>0 решите P(X≥x)=α/2 относительно p и получите нижнюю границу; для x=0 сразу возьмите нижнюю границу 0.
  5. Для x<n решите P(X≤x)=α/2 относительно p и получите верхнюю границу; для x=n установите верхнюю границу 1.
  6. Проверьте, что 0≤pₙ≤x/n≤pᵥ≤1. Интерпретируйте интервал как процедуру с долгосрочным покрытием, а не вероятность для фиксированного p после наблюдения данных.

Историческая справка

В 1934 году статистики К. Дж. Клоппер и Э. С. Пирсон опубликовали в Biometrika статью The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial. Они рассматривали задачу оценки неизвестной доли признака по случайной выборке и строили границы через биномиальные вероятности. В статье отдельно обсуждалось, как разделить риск ошибки между двумя хвостами при заданном доверительном коэффициенте.

Работа появилась на фоне поиска более ясного способа сообщать надёжность оценки, чем одна точечная доля вместе со стандартной ошибкой. Авторы связали границы с повторяемой процедурой: при многократном применении метода к выборкам из одной совокупности доля интервалов, содержащих истинный параметр, контролируется на заданном уровне. Из-за дискретности числа успехов точное равенство для хвостов достигается не всегда, поэтому границы выбирают консервативно.

Сегодня метод обычно записывают через квантили бета-распределения или как обращение биномиального критерия с равными хвостами. Эти записи вычислительно удобнее исторических таблиц биномиальных сумм, но сохраняют ту же идею: найти значения p, при которых наблюдённый результат находится на границе хвостовой области. Современные статистические пакеты продолжают называть процедуру точной и предупреждают, что гарантированное покрытие не делает её кратчайшей. Метод остаётся одним из стандартных способов получить консервативный интервал для одной биномиальной доли.

Историческая линия формулы

Интервал связан с совместной работой К. Дж. Клоппера и Э. С. Пирсона, опубликованной в 1934 году для биномиальной модели. Современное название закрепилось за процедурой равных хвостов, построенной обращением биномиальных вероятностей. Бета-квантильная запись — вычислительная форма той же конструкции.

Пример

В партии проверили 12 изделий, и 3 не прошли контроль. Считаем браком не прошедшее испытание изделие; требуется построить двусторонний 95%-й интервал для доли брака p. Принимаем, что изделия выбраны случайно, а результаты независимы и имеют общую вероятность брака. Имеем x=3, n=12, α=0,05, а наблюдаемая доля равна 3/12=0,25. Нижняя граница решает P(X≥3 | p=pₙ)=0,025; численное решение даёт pₙ≈0,0548606. Верхняя решает P(X≤3 | p=pᵥ)=0,025; получаем pᵥ≈0,5718585. Итак, точный интервал Клоппера—Пирсона равен примерно [0,0549; 0,5719], или от 5,49% до 57,19%. Проверка подстановкой в биномиальные хвосты возвращает около 0,025 для каждой границы. Интервал широк: двенадцать проверок дают мало информации о доле. Это не означает, что доля брака случайно меняется внутри диапазона; диапазон характеризует процедуру оценки при повторении случайного отбора.

Частая ошибка

Не подставляйте в биномиальные хвосты оценку x/n вместо искомой границы: хвостовые равенства решаются относительно p. Не делите α на 2 для односторонней границы, если нужна именно двусторонняя центральная процедура. При x=0 и x=n не применяйте внутренние бета-квантили с нулевым параметром — используйте граничные определения 0 и 1. Не называйте интервал вероятностью того, что фиксированное p лежит в полученном диапазоне: частотная гарантия относится к повторяемой процедуре. Наконец, слово «точный» не означает «самый короткий»; консервативность может быть существенной.

Практика

Задачи с решением

В выборке нет успехов

Условие. Из 10 проверенных устройств ни одно не отказало. Найдите точный двусторонний 95%-й интервал вероятности отказа.

Решение. x=0, n=10, α/2=0,025. Нижняя граница равна 0. Верхняя решает P(X≤0)=(1−p)¹⁰=0,025, поэтому pᵥ=1−0,025^(1/10)≈0,308497.

Ответ. [0; 0,3085], или от 0% до 30,85%. Отсутствие отказов в десяти наблюдениях не доказывает, что риск равен нулю.

Семь успехов из двадцати

Условие. В 20 независимых испытаниях критерий выполнен 7 раз. Рассчитайте двусторонний интервал Клоппера—Пирсона с доверием 95%.

Решение. x=7, n=20. Решения уравнений P(X≥7)=0,025 и P(X≤7)=0,025 равны соответственно pₙ≈0,1539092 и pᵥ≈0,5921885. Проверка подстановкой даёт обе хвостовые вероятности 0,025.

Ответ. [0,1539; 0,5922], или от 15,39% до 59,22%; выборочная доля равна 7/20=35%.

Дополнительные источники

  • https://doi.org/10.1093/biomet/26.4.404
  • https://itl.nist.gov/div898/software/dataplot/refman2/auxillar/exacbici.htm
  • https://stat.ethz.ch/R-manual/R-devel/library/stats/html/binom.test.html

Связанные формулы

Аналитика

Интервал Вильсона для биномиальной доли

$\frac{\hat p+z^2/(2n)\pm z\sqrt{\hat p(1-\hat p)/n+z^2/(4n^2)}}{1+z^2/n}$

Интервал Вильсона оценивает неизвестную вероятность успеха по числу успехов в независимых испытаниях. Его границы получают обращением score-теста, и они остаются в допустимом диапазоне вероятностей.

Аналитика

Доверительный интервал для доли

$\hat p\pm z\sqrt{\frac{\hat p(1-\hat p)}{n}}$

Доверительный интервал для доли: формула \hat p\pm z\sqrt{\frac{\hat p(1-\hat p)}{n}} помогает величины p, z, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

Аналитика

Размер выборки для одной доли

$n=\frac{z^2p(1-p)}{E^2}$

Размер выборки для одной доли: формула n=\frac{z^2p(1-p)}{E^2} помогает величины n, z, p, E заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

Математика

Вероятность в биномиальном распределении

$P(X=k)=C_n^kp^k(1-p)^{n-k}$

Формула «Вероятность в биномиальном распределении» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.