Аналитика / Статистические выводы

Скор-критерий Рао по производной логарифма правдоподобия

Скор-критерий Рао проверяет, насколько сильно логарифм правдоподобия растёт при отходе от нулевого значения параметра. Квадрат производной в этой точке делят на информацию Фишера и сравнивают результат с χ².

Опубликовано: Обновлено:

Формула

$$S=\frac{U(\theta_0)^2}{I(\theta_0)}\ \xrightarrow[H_0]{d}\ \chi^2_1$$
Схема Скор измеряют в нулевой точке
Логарифм правдоподобия относительно p₀-6-30369Касательная U = 48Максимум0,420,50,5750,64Вероятность успеха p

Кривая — биномиальный логарифм правдоподобия относительно его значения при p₀=0,50. Пунктир показывает касательную с наклоном 48 в нулевой точке. Максимум находится при p=0,575.

Обозначения

$θ₀$
проверяемое значение единственного неизвестного параметра, единицы параметра
$U(θ₀)$
производная логарифма правдоподобия всей выборки при θ₀, обратные единицы параметра
$I(θ₀)$
информация Фишера всей выборки, равная дисперсии U при регулярности, квадрат обратных единиц параметра
$S$
квадрат стандартизованной производной, безразмерная статистика
$χ²₁$
предельный закон S при H₀ с одной степенью свободы, безразмерный

Условия применения

Формула записана для одного неизвестного параметра и двусторонней альтернативы. При H₀ параметр находится внутри допустимой области, логарифм правдоподобия дифференцируем, а ожидаемая информация Фишера положительна и конечна. Нормальное приближение для стандартизованного скора требует достаточного объёма информации.

Ограничения

Для модели со вспомогательными параметрами нужна их оценка в ограниченной модели и эффективная информация, учитывающая связь параметров. Односторонняя альтернатива требует учёта знака скора. На границе параметра или при редких исходах распределение S может заметно отличаться от χ²₁. Уровень значимости по этой формуле является асимптотическим.

Подробное объяснение

Скор U(θ₀) показывает наклон логарифма правдоподобия при проверяемом значении. Положительный наклон означает, что небольшое увеличение параметра улучшает подгонку, отрицательный указывает обратное направление. Масштаб наклона зависит от единиц параметра, поэтому для сравнения его стандартизуют.

При выполнении условий регулярности среднее скора под H₀ равно нулю, а дисперсия равна информации Фишера I(θ₀). После деления U на квадратный корень из I получается величина с приближённо стандартным нормальным распределением. Возведение в квадрат даёт предельный закон χ² с одной степенью свободы.

В биномиальной модели U=(x−np₀)/[p₀(1−p₀)], а I=n/[p₀(1−p₀)]. Поэтому S равно квадрату отклонения счётчика x от np₀, делённому на его дисперсию np₀(1−p₀) под H₀. При одной и той же абсолютной разнице долей итог зависит от размера выборки.

Критерий Уилкса сравнивает два максимума, а скор-критерий использует локальный наклон при нулевом ограничении. В регулярных моделях они часто дают близкие выводы для больших выборок, но на конечных данных числа могут расходиться. График показывает точку, в которой вычисляют производную, и отдельно свободный максимум.

Для двусторонней проверки большой положительный и большой отрицательный наклоны дают одинаковое S. Если вопрос заранее односторонний, например важно только повышение доли брака, надо сохранить знак стандартизованного скора и использовать соответствующий хвост.

Как пользоваться формулой

  1. Запишите логарифм правдоподобия всей выборки и укажите нулевое значение θ₀ внутри области параметра.
  2. Вычислите производную логарифма правдоподобия по θ и подставьте θ₀, сохраняя знак полученного скора.
  3. Найдите ожидаемую информацию в той же точке θ₀, используя дисперсию скора под H₀ или ожидаемую кривизну.
  4. Для двусторонней проверки возведите скор в квадрат и разделите его на информацию всей выборки, а не одного наблюдения.
  5. При выполнении регулярности найдите правохвостовую вероятность χ²₁ в точке S и сравните её с заранее выбранным α.

Историческая справка

В 1948 году Кальямпуди Радхакришна Рао опубликовал в Proceedings of the Cambridge Philosophical Society работу о проверке простых и составных гипотез для нескольких параметров. Во введении он связал тестирование ограничений с оцениванием: ограничения могут повысить точность оценок, но ошибочные ограничения вносят смещение. Среди задач он обсуждал оценки долей рекомбинации и разбирал частоты групп крови.

В авторском очерке о скор-критерии Рао вспоминал, что сначала рассмотрел локально мощный тест для одного параметра при односторонней альтернативе. Работа в Кембридже потребовала развить этот подход для нескольких параметров и близких альтернатив. Одномерная формула на этой странице сохраняет его основную идею: сопоставить производную логарифма правдоподобия с разбросом производной при H₀.

Историческая линия формулы

Критерий назван в честь К. Р. Рао по работе 1948 года о проверке гипотез для нескольких параметров. Производную логарифма правдоподобия называют скором Фишера. Вклад Рао состоит в использовании стандартизованного скора для построения критерия, в том числе при ограничениях на часть параметров.

Пример

В 160 независимых испытаниях наблюдали 92 успеха. Проверим H₀:p=0,50 против p≠0,50 при уровне 5%. Под H₀ ожидаем 160·0,50=80 успехов. Логарифм правдоподобия с точностью до постоянной равен 92 ln p+68 ln(1−p). Его производная при 0,50 равна U=92/0,50−68/0,50=48. Информация всей выборки I=160/(0,50·0,50)=640. Получаем S=48²/640=3,60. Можно сверить через дисперсию счётчика: (92−80)²/(160·0,50·0,50)=3,60. Для χ²₁ статистика 3,60 даёт p≈0,05778. Порог 5% равен примерно 3,8415, поэтому H₀ не отвергается. S безразмерна. Положительный скор согласуется с направлением отклонения: наблюдаемая доля 0,575 превышает 0,50.

Частая ошибка

Подставляйте θ₀, а не свободную оценку: в гладком внутреннем максимуме скор равен нулю. Не делите скор всей выборки на информацию одного наблюдения. Используйте ожидаемую информацию в заявленной формуле, либо отдельно обоснуйте замену на наблюдаемую. Квадрат уничтожает знак, поэтому по S нельзя выбирать направление односторонней альтернативы после просмотра данных.

Практика

Задачи с решением

Частота отказов при известной экспозиции

Условие. За 100 машино-часов зарегистрировано 28 независимых пуассоновских событий. Проверьте частоту λ₀=0,20 события на час двусторонним скор-критерием на уровне 5%.

Решение. Для счётчика X логарифм правдоподобия имеет производную U=X/λ−T. При λ₀ получаем 28/0,20−100=40. Информация I=T/λ₀=500, значит S=40²/500=3,20. Правый хвост χ²₁ равен приблизительно 0,07364.

Ответ. S=3,20 и p≈0,07364. Нулевую частоту 0,20 события на час при уровне 5% не отвергаем.

Проверка дисперсии при известном среднем

Условие. Для 50 независимых нормальных наблюдений со средним ноль сумма квадратов равна 132 см². Проверьте гипотезу v₀=2 см² о дисперсии при α=0,05.

Решение. Скор по дисперсии равен U=(132−50v)/(2v²). При v₀=2 получаем U=4 см⁻². Информация I=50/(2v₀²)=6,25 см⁻⁴. Значит, S=16/6,25=2,56, а приближённое p по χ²₁ равно 0,10960.

Ответ. S=2,56 и p≈0,10960. На уровне 5% гипотеза v₀=2 см² не отвергается.

Дополнительные источники

  • https://gwern.net/doc/statistics/1948-rao.pdf
  • https://www.scholarpedia.org/article/Rao%E2%80%99s_Score_Test

Связанные формулы

Аналитика

Интервал Вильсона для биномиальной доли

$\frac{\hat p+z^2/(2n)\pm z\sqrt{\hat p(1-\hat p)/n+z^2/(4n^2)}}{1+z^2/n}$

Интервал Вильсона оценивает неизвестную вероятность успеха по числу успехов в независимых испытаниях. Его границы получают обращением score-теста, и они остаются в допустимом диапазоне вероятностей.

Аналитика

Доверительный интервал для доли

$\hat p\pm z\sqrt{\frac{\hat p(1-\hat p)}{n}}$

Доверительный интервал для доли: формула \hat p\pm z\sqrt{\frac{\hat p(1-\hat p)}{n}} помогает величины p, z, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.

Математика

Распределение Пуассона: вероятность числа событий

$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}$

Распределение Пуассона даёт вероятность ровно k событий на фиксированном интервале, если известно их среднее число λ. Модель применяют к независимому потоку с постоянной интенсивностью.