Аналитика / Статистические выводы
Критерий Уилкса для сравнения вложенных статистических моделей
Критерий Уилкса сравнивает максимальные правдоподобия вложенных моделей. При выполнении условий регулярности удвоенный выигрыш в логарифме правдоподобия сравнивают с χ², а число степеней свободы равно разности размерностей моделей.
Формула
Плотность χ²₂ для примера с тремя цехами. Закрашенная область правее порога 5,99 имеет вероятность 5%. Наблюдаемое значение D=13,59 лежит правее порога.
Обозначения
- $ℓ₀$
- максимум логарифма правдоподобия в ограниченной модели H₀, безразмерная разность с ℓ₁
- $ℓ₁$
- максимум логарифма правдоподобия в полной модели, содержащей H₀, безразмерная разность с ℓ₀
- $D$
- удвоенная разность максимумов логарифма правдоподобия, безразмерная статистика
- d₀, d₁
- число независимо варьируемых параметров в ограниченной и полной моделях, целые числа
- $χ²$
- предельное распределение D при H₀ с d₁−d₀ степенями свободы, безразмерное
Условия применения
Ограниченная модель входит в полную и задаётся гладкими независимыми ограничениями. При H₀ истинное значение лежит внутри области параметров полной модели, параметры идентифицируемы, а информация Фишера невырожденна. Объём информации должен расти в рамках одной модели. Обе подгонки выполняют на одних наблюдениях.
Ограничения
Распределение χ² в теореме предельное. При коротких выборках или редких событиях оценка p может быть неточной. На границе области параметров, в смесях с неидентифицируемыми компонентами и при сравнении невложенных моделей калибровка требует отдельного обоснования. Заметно отрицательное D указывает на проблему сравнения или оптимизации.
Подробное объяснение
Полная модель может воспроизвести любую подгонку ограниченной, поскольку содержит её как частный случай. Поэтому её максимум логарифма правдоподобия не меньше. Статистика D измеряет, насколько улучшается подгонка после снятия ограничений, в одной шкале для обеих моделей.
В окрестности истинного внутреннего параметра при большой выборке логарифм правдоподобия близок к квадратичной функции. После нормировки через информацию Фишера потеря от ограничения приближённо равна сумме квадратов стандартных нормальных компонент, соответствующих независимым ограничениям. Это объясняет число степеней свободы d₁−d₀.
Чем больше D при фиксированных степенях свободы, тем меньше правохвостовая вероятность при H₀. Например, если три цеха получают отдельные пуассоновские частоты вместо одной, добавляются два свободных параметра. Здесь для χ² с двумя степенями свободы правый хвост в точке D равен exp(−D/2).
Подход отличается от точного отношения правдоподобий для двух полностью заданных гипотез: здесь оба значения находят оптимизацией по параметрам. Увеличение максимума происходит и на случайных данных, поэтому сам по себе положительный выигрыш ещё не даёт оснований отвергнуть H₀.
Граница меняет локальную геометрию модели. Например, нулевая пуассоновская частота даёт ноль событий с вероятностью единица, и статистика D при ней вырождается. Проверку условий приближения стоит выполнить до того, как сравнивать наблюдаемое D с таблицей χ².
Как пользоваться формулой
- Задайте полную модель и явно запишите ограничения, при которых она сводится к нулевой модели на тех же наблюдениях.
- Подсчитайте независимые свободные параметры в каждой модели и найдите разность d₁−d₀, учитывая общие параметры.
- Максимизируйте логарифм правдоподобия с ограничениями и без них, сохраняя общую выборку и одинаковый вероятностный закон.
- Вычислите D=2(ℓ₁−ℓ₀). Если разность заметно отрицательная, проверьте сходимость и одинаковость данных.
- При выполнении условий регулярности найдите правый хвост χ² в точке D или сравните D с квантилем уровня 1−α.
- Сообщите D, число степеней свободы, приближённое p и решение об ограничениях при выбранном уровне α.
Историческая справка
В 1938 году Сэмюэл С. Уилкс опубликовал в The Annals of Mathematical Statistics статью о предельном распределении отношения правдоподобий для составных гипотез. В его постановке нулевая гипотеза фиксировала часть параметров, а остальные оценивались. Это позволило связать предельную шкалу теста с количеством наложенных ограничений.
В 1954 году Герман Чернов исследовал случай, когда истинное значение лежит на границе проверяемых областей. Для проверки стороны гладкой поверхности он получил распределение с массой в нуле и компонентой χ² с одной степенью свободы. Такой результат показывает, почему одного подсчёта степеней свободы недостаточно у границы. В современной постановке критерий применяют к вложенным моделям, а гладкость и идентифицируемость проверяют отдельно от вычисления разности логарифмов.
Историческая линия формулы
Название относится к предельному результату Сэмюэла С. Уилкса из статьи 1938 года. Оно обозначает χ²-калибровку обобщённого отношения правдоподобий при регулярных вложенных моделях. Анализ граничных случаев относится к последующей работе Германа Чернова 1954 года.
Пример
Три цеха наблюдали по 100 машино-часов. Счётчики независимы и пуассоновские. Зарегистрировали 40, 60 и 80 отказов. Проверим общую частоту против трёх свободных частот при α=0,05. Под H₀ общая оценка равна 180/300=0,60 отказа на машино-час. Под полной моделью оценки равны 0,40, 0,60 и 0,80. Сумма подогнанных средних в обеих моделях равна 180, поэтому линейные члены в разности логарифмов сокращаются. Остаётся D=2[40 ln(40/60)+60 ln(60/60)+80 ln(80/60)]≈13,5919. Степеней свободы 3−1=2. Для χ²₂ правый хвост равен exp(−13,5919/2)≈0,00112. Статистика безразмерна, оценённые частоты выражены в отказах на машино-час. При выбранном уровне отвергаем общую частоту. Тест проверяет совместное равенство трёх частот, поэтому для ответа о конкретной паре нужен отдельный анализ.
Частая ошибка
Сравнивайте логарифмы на одной выборке: если полная модель теряет строки с пропусками, ограниченную нужно подогнать заново на том же наборе. Используйте разность числа свободных параметров вместо числа наблюдений. Не заменяйте правый хвост левым. Если одно из ограничений ставит истинный параметр на границу, проверьте предельный закон отдельно: приближение χ² может перестать работать.
Практика
Задачи с решением
Два ограничения в регрессии
Условие. Для двух регулярных вложенных моделей на одной выборке получены ℓ₀=−125,7 и ℓ₁=−122,9. В полной модели на два свободных коэффициента больше. Сравните их при α=0,05.
Решение. D=2(−122,9+125,7)=5,6. Разность размерностей равна двум, поэтому p≈exp(−5,6/2)=0,06081. Эквивалентно, D=5,6 ниже 95%-го квантиля χ²₂, равного примерно 5,9915.
Ответ. При 5% ограничения не отвергаются. Приближённое p равно 0,06081.
Нулевая пуассоновская частота
Условие. Пусть X имеет распределение Пуассона со средним λT при фиксированном T>0. Проверяем λ=0 против λ>0 и наблюдаем X=0. Найдите D и его закон при H₀.
Решение. При λ=0 событие X=0 имеет вероятность единица, поэтому максимум логарифма под H₀ равен 0. В полной модели λ≥0 максимум для X=0 также достигается в нуле, поскольку ℓ(λ)=−λT. Значит, D=0. При H₀ иной счётчик невозможен, так что D=0 с вероятностью единица.
Ответ. D=0, а его распределение при H₀ сосредоточено в нуле. Калибровка χ²₁ здесь неприменима.
Дополнительные источники
- https://doi.org/10.1214/aoms/1177732360
- https://klein.mit.edu/~rmd/650/wilks.pdf
- https://www.mathnet.ru/php/archive.phtml?jrnid=mat&option_lang=eng&paperid=289&wshow=paper
Связанные формулы
Аналитика
Критерий χ² согласия: сравнение с распределением
Критерий χ² согласия сравнивает наблюдаемые частоты категорий с ожидаемыми частотами заданного вероятностного распределения. Статистика суммирует нормированные квадраты отклонений и оценивается по правому хвосту распределения χ².
Математика
Распределение Пуассона: вероятность числа событий
Распределение Пуассона даёт вероятность ровно k событий на фиксированном интервале, если известно их среднее число λ. Модель применяют к независимому потоку с постоянной интенсивностью.
Аналитика
Критерий хи-квадрат независимости
Критерий хи-квадрат независимости: формула \chi^2=\sum\frac{(O-E)^2}{E} помогает величины chi, O, E заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.