Все формулы РФ

Математика / Вероятность и статистика

Доверительный интервал среднего отклика регрессии

Интервал среднего отклика описывает неопределённость положения генеральной прямой при заданном x₀. Он учитывает оценивание коэффициентов, но не добавляет случайный разброс одного нового наблюдения вокруг этой прямой.

Опубликовано: Обновлено:

Теория вероятностей и математическая статистикаСтраницы с задачами и решениямиЕсть историческая справкаАнализ данных

Формула

$$\hat y_0\pm t_{1-\alpha/2,n-2}s\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}$$
Схема Точечные интервалы среднего: 95%
Точечные интервалы среднего: 95%Точечные интервалы среднего: 95%yx04−28

Учебные данные x=0…4, y=(1,2,1,4,5). Ось x безразмерна; отклик y в условных единицах. Это не одновременная доверительная полоса.

Обозначения

$ŷ₀$
оценка среднего при x₀ по МНК-прямой, единица y
$s$
корень из SSE/(n−2), единица y
$n$
число строк исходной выборки, 1
x₀, x̄
точка оценки и среднее признака, единица x
$Sxx$
сумма квадратов отклонений признака, квадрат единицы x
$t₁₋α/₂,ₙ₋₂$
квантиль t-распределения для уровня 1−α, 1

Условия применения

Для точного t-интервала предполагаются линейное среднее, независимые нормальные ошибки с одинаковой дисперсией и фиксированные значения x. Модель содержит константу и один признак; n>2, Sxx>0. Уровень доверия выбирают до просмотра результата.

Ограничения

Это интервал в одной заданной точке, а не одновременная полоса для всей линии. Нарушение линейности или постоянства дисперсии меняет его надёжность. Экстраполяция за диапазон данных требует дополнительных оснований, даже если формула выдаёт численные границы.

Подробное объяснение

Оценка среднего при x₀ складывается из оценённых свободного члена и наклона. Их неопределённость даёт дисперсию s²[1/n+(x₀−x̄)²/Sxx]. В центре наблюдённого диапазона вклад наклона минимален, поэтому точечный интервал обычно уже.

Множитель t учитывает, что дисперсию ошибок тоже оценивали по данным. Для прямой с константой остаётся n−2 степеней свободы. При малой выборке соответствующий квантиль заметно больше нормального, и подстановка 1,96 без проверки может сильно сузить границы.

Интервал относится к генеральному среднему, а не к будущей строке. Повторные независимые измерения при том же x₀ рассеиваются ещё и вокруг этого среднего. Поэтому дополнительной единицы под корнем здесь нет; она появится в формуле индивидуального прогноза.

Доверительный уровень описывает процедуру при повторении выборок: заданная доля интервалов накрывает истинное среднее при выполнении модели. Для уже вычисленных границ это не вероятность того, что фиксированный неизвестный параметр случайно лежит внутри. Смысл оценки сохраняют вместе с её модельными условиями.

Как пользоваться формулой

  1. Подгоните прямую с константой и проверьте остатки на грубую нелинейность, зависимость и изменение разброса по x.
  2. Вычислите s как корень из SSE/(n−2), затем найдите x̄ и сумму квадратов отклонений признака Sxx.
  3. Для заранее выбранного x₀ найдите прогноз среднего и квантиль t нужного уровня с n−2 степенями свободы.
  4. Умножьте квантиль на s и геометрический корень, прибавьте и вычтите полуширину из оценки среднего.

Историческая справка

Интервальное оценивание регрессии дополнило точечную МНК-прямую вопросом о её статистической неопределённости. Разделение среднего отклика и отдельного наблюдения следует из того, какие случайные компоненты входят в дисперсию. Оценка линии содержит неопределённость коэффициентов, но не новый индивидуальный шум.

В учебной и программной статистике XX–XXI веков это различие закреплено отдельными командами доверительного и прогнозного интервала. Документация R predict.lm предлагает разные режимы confidence и prediction, а изложение МНК в NIST задаёт основу оценивания коэффициентов. Точная t-форма требует нормальной модели ошибок и оценки остаточной дисперсии. История метода поэтому относится к развитию регрессионного вывода, а не к открытию отдельной формулы интервала для каждого нового прикладного сюжета.

Историческая линия формулы

Формула относится к классическому статистическому выводу для простой линейной регрессии. Она объединяет МНК-оценку среднего, остаточную дисперсию и t-квантиль. Современные пакеты сохраняют отдельное название доверительного интервала среднего отклика.

Пример

Для x=(0,1,2,3,4), y=(1,2,1,4,5) получена прямая ŷ=0,6+x, SSE=3,2, n=5, x̄=2, Sxx=10. При x₀=2 оценка среднего равна 2,6. Стандартная ошибка среднего равна √[(3,2/3)·(1/5)]=0,461880. Для 95%-го интервала и трёх степеней свободы t=3,182446305. Полуширина составляет 1,469909, поэтому границы приблизительно [1,130091;4,069909]. Все величины отклика здесь в условных единицах; подкоренная геометрическая часть безразмерна. Проверка: интервал симметричен относительно 2,6 и уже интервала для нового отдельного наблюдения при том же x₀.

Частая ошибка

В знаменателе дисперсии стоят n−2 степени свободы. Интервал среднего нельзя выдавать за диапазон отдельного нового измерения. Нельзя объявлять всю кривую 95%-й одновременной полосой по набору точечных интервалов. Квантиль выбирают для 1−α/2, а не для нижнего хвоста без смены знака.

Практика

Задачи с решением

Готовая стандартная ошибка

Условие. ŷ₀=10, стандартная ошибка среднего 0,5, задан квантиль t=2. Найдите интервал.

Решение. Полуширина 2·0,5=1; границы 10−1 и 10+1.

Ответ. [9;11].

Смена точки оценки

Условие. n=5, Sxx=10. Во сколько раз стандартная ошибка среднего при x₀−x̄=2 больше центральной?

Решение. В центре геометрическая дисперсия 0,2; на расстоянии 2 она 0,2+4/10=0,6. Отношение ошибок √(0,6/0,2)=√3.

Ответ. В √3≈1,732 раза.

Дополнительные источники

  • https://stat.ethz.ch/R-manual/R-devel/library/stats/html/predict.lm.html
  • https://www.itl.nist.gov/div898/handbook/pmd/section4/pmd431.htm

Связанные формулы

Математика

Интервал прогноза нового наблюдения регрессии

$\hat y_0\pm t_{1-\alpha/2,n-2}s\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}$

Прогнозный интервал простой регрессии задаёт диапазон для одного нового наблюдения при известном x₀. Он шире интервала среднего, поскольку учитывает как оценку прямой, так и индивидуальную случайную ошибку нового отклика.

Аналитика

Стандартная ошибка регрессии

$s=\sqrt{\frac{SS_{res}}{n-p}}$

Стандартная ошибка регрессии оценивает типичный разброс остатков вокруг линии модели в единицах целевой переменной. Ее используют рядом с R², чтобы видеть не только долю объясненной вариации, но и размер промаха.

Аналитика

Линейная регрессия по методу наименьших квадратов

$\hat{\beta}_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2},\quad \hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x}$

OLS подбирает коэффициенты линейной регрессии так, чтобы сумма квадратов остатков была минимальной. Формула нужна, чтобы оценить связь факторов с числовой целью и получить воспроизводимый линейный прогноз.