Математика / Вероятность и статистика

Расстояние Кука: влияние наблюдения на регрессию

Расстояние Кука измеряет изменение всех предсказаний регрессии при удалении одной строки данных. Оно сочетает величину остатка с рычагом наблюдения и выражается в безразмерном масштабе относительно остаточной дисперсии.

Опубликовано: 26 октября 2026 г.Обновлено: 26 октября 2026 г.

Теория вероятностей и математическая статистика Страницы с задачами и решениями Есть историческая справка Анализ данных

Формула

D_i=\frac{e_i^2}{p s^2}\frac{h_{ii}}{(1-h_{ii})^2}=\frac{\sum_j(\hat y_j-\hat y_{j(i)})^2}{p s^2}

Схема Влияние строк: расстояние Кука

Подписи под колонками — значения x; вертикальная шкала: Dᵢ.

Обозначения

$Dᵢ$: расстояние Кука для удаления строки i, 1
$eᵢ$: остаток yᵢ−ŷᵢ полной модели, единица y
$p$: число параметров, включая константу, 1
$s²$: SSE/(n−p) полной модели, квадрат единицы y
$hᵢᵢ$: рычаг строки i, 1
$ŷⱼ₍ᵢ₎$: предсказание в xⱼ после удаления i, единица y

Условия применения

Нужна обычная линейная МНК-модель полного ранга, n>p и положительная остаточная дисперсия. Удаление строки должно сохранять определённость оценки; hᵢᵢ<1. Оба набора предсказаний сравнивают в исходных точках x всех строк, включая удалённую.

Ограничения

Большое Dᵢ не доказывает ошибку или причинную важность наблюдения. Пороги зависят от цели диагностики и размера набора. При нескольких согласованно влияющих строках одиночное удаление может скрывать проблему; для робастной или нелинейной модели нужны соответствующие методы.

Подробное объяснение

Первое определение сравнивает два вектора предсказаний: из полной выборки и после удаления i. Сумма квадратов изменений делится на p s², чтобы получить сопоставимый безразмерный масштаб. Меняются предсказания во всех исходных точках, а не только в удалённой.

Для обычного МНК повторное решение можно заменить формулой через eᵢ и hᵢᵢ. Квадрат остатка показывает несогласие по отклику; дробь с рычагом усиливает эффект строки, стоящей отдельно в пространстве признаков. Если остаток равен нулю и h<1, расстояние тоже равно нулю независимо от величины рычага.

С ростом рычага к единице знаменатель становится мал. Это объясняет, почему небольшой остаток у крайнего наблюдения не гарантирует устойчивости прямой. Одновременно такая ситуация требует осторожности: удаление может оставить слишком мало геометрической информации для оценки коэффициентов.

На практике D используют как повод для исследования. Сравнивают знак и величину изменений коэффициентов, диапазон прогноза и происхождение строки. Автоматическое удаление максимального значения способно убрать наиболее содержательный эксперимент вместо исправления неверной формы модели.

Как пользоваться формулой

Подгоните полную МНК-модель, сохраните остатки, рычаги и оценку дисперсии с числом степеней свободы n−p.
Для выбранной строки проверьте h меньше единицы и вычислите квадрат остатка, делённый на p и дисперсию.
Умножьте результат на h/(1−h)² и сравните значения всех строк в одном и том же масштабе полной модели.
Для наиболее заметного значения удалите строку пробно и сравните предсказания в исходных точках, не меняя набор x.

Историческая справка

Диагностика удаления наблюдений расширила практику МНК: вместо оценки только остатка стали проверять, как одна строка меняет всю подгонку. Расстояние Кука носит имя Р. Денниса Кука и объединяет в одном числе изменения предсказаний, масштаб остаточной ошибки и число параметров.

Документация R связывает семейство диагностик удаления с работами Belsley, Kuh и Welsch 1980 года и Cook и Weisberg 1982 года. В современных вычислениях XX–XXI веков прямое повторение подгонки часто заменяют тождествами через проекционную матрицу. Это ускоряет проверку каждой строки и сохраняет исходный смысл сравнения двух моделей. NIST Dataplot поэтому выводит рядом рычаги, остатки и расстояние Кука: они отвечают на разные вопросы об одном наблюдении.

Историческая линия формулы

Расстояние Кука традиционно связано с Р. Деннисом Куком. Здесь используется обычная МНК-версия из NIST и R. Она измеряет влияние удаления строки, а не достоверность её измерения; другие диагностики удаления развивались как отдельные характеристики.

Пример

Для x=(0,1,2,3,4), y=(1,2,1,4,5) МНК-прямая равна ŷ=0,6+x. Остатки (0,4;0,4;−1,6;0,4;0,4), поэтому SSE=3,2, s²=3,2/3=1,066667 и p=2. В центре x=2 рычаг 0,2. Получаем D=2,56/(2·1,066667)·0,2/0,8²=0,375. Проверим прямым удалением центра: оставшиеся четыре точки лежат на y=1+x. Все пять предсказаний сдвигаются на 0,4, сумма квадратов изменений равна 5·0,4²=0,8. Деление на 2·1,066667 снова даёт 0,375. Квадраты единиц y сокращаются; высокая диагностическая оценка сама по себе не требует удаления точки.

Частая ошибка

Число p включает константу, поэтому для прямой оно равно двум. В знаменателе используют дисперсию полной модели, а не удалённой. Сумму изменений предсказаний считают во всех исходных x. Нельзя заменять расстояние Кука вероятностью ошибки строки или автоматически исключать её из исследования.

Практика

Задачи с решением

Нулевой остаток

Условие. eᵢ=0, hᵢᵢ=0,8 и s²>0. Найдите Dᵢ.

Решение. Числитель eᵢ²=0, знаменатель (1−0,8)² положителен.

Ответ. Dᵢ=0.

Заданные характеристики

Условие. e=1, h=0,5, p=2, s²=2. Найдите D.

Решение. D=1/(2·2)·0,5/(1−0,5)²=0,25·2=0,5.

Ответ. D=0,5.

Дополнительные источники

https://www.itl.nist.gov/div898/software/dataplot/refman1/auxillar/regrdiag.htm
https://stat.ethz.ch/R-manual/R-devel/library/stats/html/influence.measures.html

Связанные формулы

Математика

Рычаг наблюдения в простой линейной регрессии

$h_{ii}=\frac1n+\frac{(x_i-\bar x)^2}{S_{xx}},\qquad S_{xx}=\sum_{j=1}^n(x_j-\bar x)^2$

Рычаг hᵢᵢ показывает, насколько положение наблюдения по признаку x влияет на его собственное предсказание в линейной регрессии. Он зависит только от набора x и не измеряет величину ошибки по отклику y.

Математика

PRESS: ошибка прогноза при поочерёдном удалении

$e_{(i)}=\frac{e_i}{1-h_{ii}},\qquad \mathrm{PRESS}=\sum_{i=1}^n e_{(i)}^2$

PRESS суммирует квадраты ошибок прогноза каждой строки моделью, обученной без этой строки. Для обычной линейной регрессии удалённые остатки вычисляют из одной полной подгонки через остатки и рычаги.

Аналитика

Стандартная ошибка регрессии

$s=\sqrt{\frac{SS_{res}}{n-p}}$

Стандартная ошибка регрессии оценивает типичный разброс остатков вокруг линии модели в единицах целевой переменной. Ее используют рядом с R², чтобы видеть не только долю объясненной вариации, но и размер промаха.