Математика / Вероятность и статистика

Интервал прогноза нового наблюдения регрессии

Прогнозный интервал простой регрессии задаёт диапазон для одного нового наблюдения при известном x₀. Он шире интервала среднего, поскольку учитывает как оценку прямой, так и индивидуальную случайную ошибку нового отклика.

Опубликовано: Обновлено:

Формула

$$\hat y_0\pm t_{1-\alpha/2,n-2}s\sqrt{1+\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}$$
Схема Точечные интервалы нового отклика: 95%
Точечные интервалы нового отклика: 95%Точечные интервалы нового отклика: 95%yx04−28

Учебные данные x=0…4, y=(1,2,1,4,5). Ось x безразмерна; отклик y в условных единицах. Это не одновременная доверительная полоса.

Обозначения

$ŷ₀$
прогноз по прямой при x₀, единица y
$s²$
оценка дисперсии ошибок SSE/(n−2), квадрат единицы y
$n$
число наблюдений обучения, 1
x₀, x̄
новый фиксированный признак и среднее обучающих x, единица x
$Sxx$
сумма квадратов центрированных x, квадрат единицы x
$t₁₋α/₂,ₙ₋₂$
двусторонний t-квантиль при уровне 1−α, 1

Условия применения

Новая ошибка независима от обучающих наблюдений и имеет ту же нормальную дисперсию. Среднее линейно по x, дисперсия постоянна; используется прямая с константой, n>2 и Sxx>0. Новое значение x₀ считается заданным без дополнительной неопределённости измерения.

Ограничения

Формула не учитывает смену режима процесса, ошибки измерения x и произвольную экстраполяцию. Это интервал для одного нового отклика при одной точке x₀. Для серии будущих наблюдений совместная вероятность покрытия не равна указанному точечному уровню.

Подробное объяснение

Новый отклик отличается от оценённой линии по двум причинам. Во-первых, сама линия оценена по конечной выборке. Во-вторых, у нового наблюдения есть собственная ошибка вокруг генерального среднего. Независимость позволяет сложить дисперсии этих двух компонентов.

Геометрическая часть 1/n+(x₀−x̄)²/Sxx относится к оцениванию среднего. Добавленная единица соответствует новому шуму с дисперсией σ². Даже при большом объёме обучения эта единица не исчезает, поэтому индивидуальный прогноз остаётся шире оценки среднего.

Остаточная оценка s² заменяет неизвестную дисперсию ошибок. При нормальной модели отношение ошибки прогноза к её оценённой стандартной ошибке имеет t-распределение с n−2 степенями свободы. Это и определяет множитель для выбранного двустороннего уровня.

Численная ширина не защищает от неверной модели. Если за диапазоном x меняется форма зависимости, красивый симметричный интервал может не накрывать будущие значения. Сначала проверяют правдоподобие линейности и постоянства шума, затем обсуждают прогноз в единицах отклика.

Как пользоваться формулой

  1. Убедитесь, что нужен диапазон одного нового отклика и что новый опыт относится к тому же режиму, что обучающие данные.
  2. Найдите МНК-прямую, остаточную дисперсию с n−2 степенями свободы и геометрические характеристики исходных x.
  3. Вычислите стандартную ошибку прогноза, добавляя единицу под корнем к геометрической части ошибки среднего.
  4. Выберите двусторонний t-квантиль и постройте симметричные границы вокруг ŷ₀, сохраняя единицы исходного отклика.

Историческая справка

Статистический прогноз регрессии потребовал отделить неизвестное среднее от будущего случайного наблюдения. Точечная оценка ŷ у этих задач одинакова, но их ошибки различаются: будущая строка добавляет независимую случайную составляющую. Из сложения дисперсий возникает дополнительная единица под корнем.

В прикладной статистике XX–XXI веков программные средства сделали эту разницу явным выбором. В R predict.lm режим prediction отделён от confidence и допускает задание дисперсии будущих наблюдений. Учебная формула с единицей относится к одинаковой дисперсии будущей и обучающих ошибок. Поэтому история прогнозного интервала связана с уточнением модели наблюдения: выбор диапазона зависит не только от оценённых коэффициентов, но и от того, какой будущий объект предстоит предсказать.

Историческая линия формулы

Прогнозный t-интервал принадлежит классической модели простой линейной регрессии. Его отличие от интервала среднего следует из добавления дисперсии новой ошибки. Современная реализация R отдельно обозначает эти два вида интервалов и их предположения.

Пример

Возьмём x=(0,1,2,3,4), y=(1,2,1,4,5). Прямая ŷ=0,6+x даёт SSE=3,2, s²=3,2/3. При x₀=2 прогноз 2,6, x̄=2, Sxx=10. Стандартная ошибка отдельного прогноза равна √[(3,2/3)·(1+1/5)]=√1,28=1,131371. Для 95% и трёх степеней свободы t=3,182446305. Полуширина равна 3,600527; границы [−1,000527;6,200527]. Для сравнения, полуширина интервала среднего в этой точке составляет лишь 1,469909. Отрицательная граница допустима в выбранной учебной модели непрерывного отклика; для величины с жёстким физическим нулём пригодность нормальной модели нужно оценивать отдельно.

Частая ошибка

Пропущенная единица под корнем превращает прогнозный интервал в интервал среднего. Нельзя заменять s стандартной ошибкой коэффициента наклона. Широкий диапазон не исправляет неверную линейную форму. Если прогнозируют среднее группы новых наблюдений, единичный шум нельзя механически оставить без пересчёта.

Практика

Задачи с решением

Заданные компоненты

Условие. ŷ₀=10, s=2, геометрическая часть ошибки среднего 0,25, квантиль t=2. Найдите интервал отдельного прогноза.

Решение. Стандартная ошибка 2√1,25=√5; полуширина 2√5≈4,472136.

Ответ. [5,527864;14,472136].

Большая обучающая выборка

Условие. При n→∞ геометрическая часть стремится к нулю. Исчезает ли ширина отдельного прогноза при σ>0?

Решение. Стандартная ошибка стремится к σ√1=σ. Новый шум сохраняется при точном знании среднего.

Ответ. Нет; остаётся разброс нового наблюдения.

Дополнительные источники

  • https://stat.ethz.ch/R-manual/R-devel/library/stats/html/predict.lm.html
  • https://www.itl.nist.gov/div898/handbook/pmd/section4/pmd431.htm

Связанные формулы

Математика

Доверительный интервал среднего отклика регрессии

$\hat y_0\pm t_{1-\alpha/2,n-2}s\sqrt{\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}}}$

Интервал среднего отклика описывает неопределённость положения генеральной прямой при заданном x₀. Он учитывает оценивание коэффициентов, но не добавляет случайный разброс одного нового наблюдения вокруг этой прямой.

Аналитика

Стандартная ошибка регрессии

$s=\sqrt{\frac{SS_{res}}{n-p}}$

Стандартная ошибка регрессии оценивает типичный разброс остатков вокруг линии модели в единицах целевой переменной. Ее используют рядом с R², чтобы видеть не только долю объясненной вариации, но и размер промаха.

Математика

PRESS: ошибка прогноза при поочерёдном удалении

$e_{(i)}=\frac{e_i}{1-h_{ii}},\qquad \mathrm{PRESS}=\sum_{i=1}^n e_{(i)}^2$

PRESS суммирует квадраты ошибок прогноза каждой строки моделью, обученной без этой строки. Для обычной линейной регрессии удалённые остатки вычисляют из одной полной подгонки через остатки и рычаги.