Все формулы РФ

Математика / Вероятность и статистика

Рычаг наблюдения в простой линейной регрессии

Рычаг hᵢᵢ показывает, насколько положение наблюдения по признаку x влияет на его собственное предсказание в линейной регрессии. Он зависит только от набора x и не измеряет величину ошибки по отклику y.

Опубликовано: Обновлено:

Теория вероятностей и математическая статистикаСтраницы с задачами и решениямиЕсть историческая справкаАнализ данных

Формула

$$h_{ii}=\frac1n+\frac{(x_i-\bar x)^2}{S_{xx}},\qquad S_{xx}=\sum_{j=1}^n(x_j-\bar x)^2$$
Схема Рычаг зависит от положения x
Рычаг зависит от положения xРычаг зависит от положения x00.8hᵢᵢ0.60000.30010.20020.30030.6004

Подписи под колонками — значения x; вертикальная шкала: hᵢᵢ.

Обозначения

$hᵢᵢ$
диагональ матрицы проекции, рычаг i-й строки, 1
$n$
число наблюдений, 1
xᵢ, x̄
признак i-й строки и среднее по выборке, единица x
$Sxx$
сумма квадратов центрированных значений x, квадрат единицы x

Условия применения

Формула относится к обычному МНК для одной прямой с константой и одним признаком. Все x известны, не одинаковы, а Sxx положительна. Для матричного обобщения столбцы плана должны быть линейно независимыми; число параметров включает константу.

Ограничения

Высокий рычаг сам по себе не доказывает ошибку измерения или сильное влияние на итоговую прямую. Для взвешенной регрессии и модели без константы формула меняется. Условный порог вроде 2p/n служит сигналом проверки, а не правилом автоматического удаления строки.

Подробное объяснение

МНК-предсказания можно записать как ŷ=Hy, где H — матрица ортогональной проекции на столбцы плана. Диагональный элемент hᵢᵢ — коэффициент при собственном yᵢ в предсказании ŷᵢ. В простой регрессии он раскладывается на одинаковую для всех часть 1/n и добавку за удалённость xᵢ от среднего.

Отклик y в формулу не входит. Две строки с одинаковыми x получают одинаковый рычаг, даже если их остатки резко различаются. У крайней по x точки может быть почти нулевой остаток: подгонка сама подтягивает к ней прямую. Поэтому один график остатков не заменяет проверку геометрии признаков.

Сумма рычагов равна числу оценённых параметров. Для прямой с константой это 2, а среднее равно 2/n. Значение в центре x̄ минимально и равно 1/n. Сдвиг шкалы x или умножение всех x на один ненулевой коэффициент не меняет рычаги: числитель и знаменатель меняются согласованно.

Практический вывод получают вместе с содержанием наблюдения. Необычная точка может быть корректным опытом на краю допустимой области. Сначала проверяют запись и диапазон применимости прямой, затем оценивают изменение коэффициентов и предсказаний при исключении; сам рычаг описывает возможность влияния.

Как пользоваться формулой

  1. Проверьте, что подгоняете прямую с константой по одному признаку и что значения x не совпадают во всех строках.
  2. Найдите среднее x и сумму квадратов отклонений от него; сохраняйте одну точность для всей выборки.
  3. Для каждой строки прибавьте к 1/n квадрат её отклонения, разделённый на общую сумму квадратов Sxx.
  4. Сложите рычаги: для невырожденной прямой сумма равна двум; затем сопоставьте крайние значения с остатками.

Историческая справка

Матричное описание МНК связывает подгонку прямой с проекцией в пространстве наблюдений. Оно превращает геометрию плана эксперимента в вычислимую характеристику каждой строки. Название hat matrix отражает действие H: вектор наблюдённых y превращается в вектор оценённых ŷ.

В регрессионной диагностике XX–XXI веков рычаг рассматривают отдельно от остатка и фактического влияния. Справочник NIST Dataplot и документация R сохраняют это различие: диагональ проекции описывает расположение признаков, а диагностика удаления оценивает изменение подгонки. Такой переход от одной оценки наклона к анализу отдельных строк особенно полезен для разреженных краёв диапазона x. Современная запись рычага не требует приписывать всю геометрию наименьших квадратов одному автору.

Историческая линия формулы

Рычаг относится к матричной геометрии МНК и диагностике регрессии. Английское название hat matrix связано с переходом от y к ŷ. NIST и R описывают его как характеристику плана, которую нужно отличать от остатка и изменения подгонки при удалении наблюдения.

Пример

Даны пять значений признака x=(0,1,2,3,4). Отклики для рычага не нужны. Среднее x̄=2, а Sxx=4+1+0+1+4=10. Для первой строки h₁₁=1/5+(0−2)²/10=0,6. Для центра x=2 получаем 0,2; вся последовательность равна (0,6;0,3;0,2;0,3;0,6). Проверка суммы: 0,6+0,3+0,2+0,3+0,6=2, то есть числу параметров прямой. Размерность сокращается в отношении квадратов x, поэтому рычаг безразмерен. Крайние точки имеют больший рычаг, но без значений y нельзя утверждать, что они меняют модель сильнее всех: для этого нужны остатки или повторная подгонка.

Частая ошибка

Рычаг не равен модулю остатка: первый зависит от x, второй ещё и от y. В сумме рычагов учитывают свободный член как параметр. Нельзя сравнивать численное значение h с размерной величиной x. Выборку не очищают по одному порогу без проверки происхождения и фактического влияния наблюдения.

Практика

Задачи с решением

Три точки

Условие. x=(−1,0,1). Найдите рычаг центральной строки в прямой с константой.

Решение. n=3, x̄=0, Sxx=2. Для x=0: h=1/3+0/2=1/3.

Ответ. 1/3.

Край той же тройки

Условие. Для x=(−1,0,1) найдите рычаг при x=1 и проверьте сумму.

Решение. h=1/3+1/2=5/6. Другой край симметричен: 5/6+1/3+5/6=2.

Ответ. 5/6; сумма рычагов 2.

Дополнительные источники

  • https://www.itl.nist.gov/div898/software/dataplot/refman1/auxillar/regrdiag.htm
  • https://stat.ethz.ch/R-manual/R-devel/library/stats/html/influence.measures.html

Связанные формулы

Аналитика

Линейная регрессия по методу наименьших квадратов

$\hat{\beta}_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2},\quad \hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x}$

OLS подбирает коэффициенты линейной регрессии так, чтобы сумма квадратов остатков была минимальной. Формула нужна, чтобы оценить связь факторов с числовой целью и получить воспроизводимый линейный прогноз.

Математика

Расстояние Кука: влияние наблюдения на регрессию

$D_i=\frac{e_i^2}{p s^2}\frac{h_{ii}}{(1-h_{ii})^2}=\frac{\sum_j(\hat y_j-\hat y_{j(i)})^2}{p s^2}$

Расстояние Кука измеряет изменение всех предсказаний регрессии при удалении одной строки данных. Оно сочетает величину остатка с рычагом наблюдения и выражается в безразмерном масштабе относительно остаточной дисперсии.

Математика

PRESS: ошибка прогноза при поочерёдном удалении

$e_{(i)}=\frac{e_i}{1-h_{ii}},\qquad \mathrm{PRESS}=\sum_{i=1}^n e_{(i)}^2$

PRESS суммирует квадраты ошибок прогноза каждой строки моделью, обученной без этой строки. Для обычной линейной регрессии удалённые остатки вычисляют из одной полной подгонки через остатки и рычаги.