Аналитика / Статистические выводы

Доверительный интервал по профильному правдоподобию

Профильный интервал объединяет значения интересующего параметра, при которых потеря максимального правдоподобия не превышает порог. Для каждого проверяемого значения остальные параметры оценивают заново.

Опубликовано: Обновлено:

Формула

$$\begin{gathered}\ell_p(\psi)=\sup_\eta\ell(\psi,\eta)\\D(\psi)=2[\ell_p(\hat\psi)-\ell_p(\psi)]\\C_{1-\alpha}=\{\psi:D(\psi)\le\chi^2_{1;1-\alpha}\}\end{gathered}$$
Схема Границы по пересечениям с порогом
Профильный девианс D(r)0246810Порог 3,841,143,571234Отношение частот r

Профильная потеря D(r) для примера с 30 и 20 отказами. Пересечения с порогом 3,84 дают границы около 1,14 и 3,57. Минимум D находится при r=2.

Обозначения

$ψ$
скалярный интересующий параметр, единицы параметра
$η$
вспомогательные параметры, допустимые при данном ψ, по модели
$ℓₚ(ψ)$
наибольший логарифм правдоподобия при фиксированном ψ, разность логарифмов безразмерна
$ψ̂$
оценка ψ в полной модели, единицы ψ
$D(ψ)$
удвоенная потеря логарифма правдоподобия при фиксированном ψ, безразмерная
$χ²₁;₁₋α$
квантиль уровня 1−α по левой вероятности для χ² с одной степенью свободы, безразмерный

Условия применения

Один скалярный параметр фиксируют по очереди на всех значениях, которые нужно проверить. Ограниченная модель вложена в полную, истинный параметр является внутренним, модель идентифицируема, информация Фишера невырожденна. Порог χ² применяют как приближение при достаточном объёме информации.

Ограничения

При редких событиях или нулевом счётчике максимум может оказаться на границе, а фактическое покрытие может заметно отличаться от номинального. Профиль иногда даёт разрывное или неограниченное множество: две границы предполагают одну связную область вокруг максимума. Поиск корней требует контролировать сходимость оптимизации по вспомогательным параметрам.

Подробное объяснение

Представьте, что у модели есть общий максимум правдоподобия по всем параметрам. Для каждого значения интересующего параметра ψ допустима лишь часть этой модели. На ней снова ищут максимум по остальным параметрам η. Полученная зависимость максимума от ψ и есть профиль.

Разность максимального и профильного логарифмов показывает потерю подгонки при фиксированном ψ. Удвоенная потеря D равна нулю при оценке ψ̂. Каждое значение ψ включают в множество, если тест отношения правдоподобий для ограничения на ψ не отвергает его при уровне α. Для одного регулярного ограничения при доверии 95% порог около 3,8415.

Для двух независимых пуассоновских счётчиков с экспозициями T₁ и T₂ можно задать частоты как rλ и λ. Фиксация отношения r позволяет заново оценить масштаб λ=(x₁+x₂)/(rT₁+T₂). После подстановки профиль по r сводится к биномиальному логарифму правдоподобия для доли p=rT₁/(rT₁+T₂) среди всех событий.

При сравнимом числе событий по обе стороны от отношения r̂ интервал всё равно может быть асимметричен на исходной шкале. Положительность r и нелинейное преобразование из доли p особенно заметны при больших отношениях. Пересечения кривой D(r) с горизонтальным порогом находят отдельно слева и справа.

Другая задача — оценить одну частоту по одному пуассоновскому счётчику. Для неё точный интервал Гарвуда обращает хвосты распределения счётчика. Здесь параметр — отношение двух частот, а границы задаёт приближённая χ²-калибровка профильного теста.

Как пользоваться формулой

  1. Назовите интересующий параметр ψ и вспомогательные параметры η. Выпишите ограничения области, действующие при каждом ψ.
  2. Найдите полную оценку максимального правдоподобия и сохраните максимальный логарифм как опорное значение.
  3. Фиксируйте ψ на пробных значениях и каждый раз заново максимизируйте логарифм правдоподобия по допустимым η.
  4. Удвойте разность между полным и профильным максимумами. В точке полной оценки должна получаться величина около нуля.
  5. При регулярной модели найдите значения ψ, для которых D(ψ) не превышает квантиль χ² с одной степенью свободы.
  6. Проверьте найденные границы подстановкой в D(ψ) и сообщите, на какой шкале и при каком доверии рассчитано множество.

Историческая справка

В 1938 году Сэмюэл Уилкс связал предельное распределение обобщённого отношения правдоподобий с числом ограничений. При фиксации одного регулярного параметра этот результат даёт шкалу χ² с одной степенью свободы. Обращение таких проверок позволяет построить доверительное множество для параметра.

В 1988 году Д. Венцон и С. Мулгавкар опубликовали в Applied Statistics алгоритм для вычисления границ профильного интервала. Они отметили вычислительную цену многократной максимизации и предложили модифицированную итерацию Ньютона — Рафсона. Она решает совместно условие достижения порога и условия оптимальности по вспомогательным параметрам. Этот подход особенно уместен, когда замкнутого выражения для профиля нет. В примере с двумя пуассоновскими частотами масштаб можно исключить аналитически, после чего остаётся одномерное уравнение.

Историческая линия формулы

Порог в регулярной задаче следует из предельного результата Уилкса 1938 года. Статья Д. Венцона и С. Мулгавкара 1988 года посвящена алгоритму вычисления границ уже известного профильного интервала. Это отдельные вклады в обоснование процедуры и в её численную реализацию.

Пример

На первом участке зарегистрировали 30 отказов за 300 машино-часов, на втором — 20 за 400. Счётчики независимы и пуассоновские. Найдём 95%-й профильный интервал для отношения r=λ₁/λ₂. Оценка r̂=(30/300)/(20/400)=2. При фиксированном r положим λ₁=rλ, λ₂=λ. Подгонка по λ даёт λ̂(r)=50/(300r+400) отказов на машино-час. Подстановка в логарифм правдоподобия даёт D(r)=2[30 ln(0,60/p)+20 ln(0,40/(1−p))], где p=300r/(300r+400). При r=2 имеем p=0,60 и D=0. Решаем D(r)=3,84146 по обе стороны от 2. Для доли получаем p≈0,46172 и 0,72827. Обратное преобразование r=(400/300)·p/(1−p) даёт интервал [1,1437; 3,5734]. Обе границы безразмерны. Подстановка r=1 даёт D≈5,9213, поэтому равенство частот лежит вне интервала.

Частая ошибка

Если держать вспомогательный параметр на его полной оценке, получится сечение правдоподобия. Для профиля нужно найти его максимум при каждом ψ. Если работаете с удвоенной потерей D, используйте полный квантиль χ²; порог, равный половине квантиля относится к неудвоенной потере. Для отношения частот не заменяйте его отношением счётчиков при разных экспозициях. При нескольких пересечениях проверьте всё множество значений.

Практика

Задачи с решением

Одинаковые счётчики и экспозиции

Условие. Два независимых пуассоновских счётчика равны 25. Экспозиции одинаковы. Постройте 95%-й профильный интервал для отношения частот.

Решение. При одинаковых экспозициях p=r/(1+r), а p̂=1/2. Профильная статистика D=50 ln[0,25/(p(1−p))]. Из D=3,84146 получаем p(1−p)=0,25·exp(−3,84146/50)≈0,231512. Решения p≈0,36403 и 0,63597. После преобразования r=p/(1−p) получаем 0,57240 и 1,74703.

Ответ. Приближённый профильный интервал [0,5724; 1,7470]. Границы взаимно обратны с учётом округления.

Проверка значения внутри интервала

Условие. При равных экспозициях по 200 машино-часов зарегистрированы 42 и 30 независимых пуассоновских событий. Входит ли r=1 в 95%-й профильный интервал?

Решение. При r=1 подогнанное среднее в каждой группе равно (42+30)/2=36. В полной модели подогнанные средние равны 42 и 30. Поэтому D(1)=2[42 ln(42/36)+30 ln(30/36)]≈2,00936. Значение ниже порога 3,84146.

Ответ. Да, отношение частот r=1 входит в 95%-й профильный интервал.

Дополнительные источники

  • https://doi.org/10.1214/aoms/1177732360
  • https://rss.onlinelibrary.wiley.com/doi/10.2307/2347496
  • https://support.sas.com/documentation/cdl/en/imlug/68150/HTML/default/imlug_nonlinearoptexpls_sect034.htm
  • https://stat.ethz.ch/R-manual/R-devel/library/stats/html/poisson.test.html

Связанные формулы

Аналитика

Точный интервал Гарвуда для пуассоновской частоты

$\lambda_L=\frac{\chi^2_{2x;\alpha/2}}{2T},\quad \lambda_U=\frac{\chi^2_{2(x+1);1-\alpha/2}}{2T},\quad \chi^2_{0;q}=0$

Интервал Гарвуда оценивает постоянную интенсивность событий λ по счётчику x и суммарной экспозиции T. Границы выражаются квантилями χ²-распределения с 2x и 2(x+1) степенями свободы; при нуле событий нижняя граница равна нулю, а верхняя остаётся положительной.

Аналитика

Интервал Ньюкомба, метод 10, для разности долей

$\begin{aligned}\hat p_i&=x_i/n_i,\\L_i,U_i&=\frac{\hat p_i+z^2/(2n_i)\pm z\sqrt{\hat p_i(1-\hat p_i)/n_i+z^2/(4n_i^2)}}{1+z^2/n_i},\\d_L&=d-\sqrt{(\hat p_1-L_1)^2+(U_2-\hat p_2)^2},\\d_U&=d+\sqrt{(U_1-\hat p_1)^2+(\hat p_2-L_2)^2}.\end{aligned}$

Метод Ньюкомба 10 строит доверительный интервал для разности двух независимых биномиальных долей, сочетая Wilson score границы каждой группы по квадратам отклонений. Он не подменяет неопределённость разности простым Wald стандартным отклонением и сохраняет асимметрию у крайних долей.

Математика

Распределение Пуассона: вероятность числа событий

$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}$

Распределение Пуассона даёт вероятность ровно k событий на фиксированном интервале, если известно их среднее число λ. Модель применяют к независимому потоку с постоянной интенсивностью.