Математика / Вероятность и статистика
Интервал прогноза нового наблюдения регрессии
Прогнозный интервал простой регрессии задаёт диапазон для одного нового наблюдения при известном x₀. Он шире интервала среднего, поскольку учитывает как оценку прямой, так и индивидуальную случайную ошибку нового отклика.
Формула
Учебные данные x=0…4, y=(1,2,1,4,5). Ось x безразмерна; отклик y в условных единицах. Это не одновременная доверительная полоса.
Обозначения
- $ŷ₀$
- прогноз по прямой при x₀, единица y
- $s²$
- оценка дисперсии ошибок SSE/(n−2), квадрат единицы y
- $n$
- число наблюдений обучения, 1
- x₀, x̄
- новый фиксированный признак и среднее обучающих x, единица x
- $Sxx$
- сумма квадратов центрированных x, квадрат единицы x
- $t₁₋α/₂,ₙ₋₂$
- двусторонний t-квантиль при уровне 1−α, 1
Условия применения
Новая ошибка независима от обучающих наблюдений и имеет ту же нормальную дисперсию. Среднее линейно по x, дисперсия постоянна; используется прямая с константой, n>2 и Sxx>0. Новое значение x₀ считается заданным без дополнительной неопределённости измерения.
Ограничения
Формула не учитывает смену режима процесса, ошибки измерения x и произвольную экстраполяцию. Это интервал для одного нового отклика при одной точке x₀. Для серии будущих наблюдений совместная вероятность покрытия не равна указанному точечному уровню.
Подробное объяснение
Новый отклик отличается от оценённой линии по двум причинам. Во-первых, сама линия оценена по конечной выборке. Во-вторых, у нового наблюдения есть собственная ошибка вокруг генерального среднего. Независимость позволяет сложить дисперсии этих двух компонентов.
Геометрическая часть 1/n+(x₀−x̄)²/Sxx относится к оцениванию среднего. Добавленная единица соответствует новому шуму с дисперсией σ². Даже при большом объёме обучения эта единица не исчезает, поэтому индивидуальный прогноз остаётся шире оценки среднего.
Остаточная оценка s² заменяет неизвестную дисперсию ошибок. При нормальной модели отношение ошибки прогноза к её оценённой стандартной ошибке имеет t-распределение с n−2 степенями свободы. Это и определяет множитель для выбранного двустороннего уровня.
Численная ширина не защищает от неверной модели. Если за диапазоном x меняется форма зависимости, красивый симметричный интервал может не накрывать будущие значения. Сначала проверяют правдоподобие линейности и постоянства шума, затем обсуждают прогноз в единицах отклика.
Как пользоваться формулой
- Убедитесь, что нужен диапазон одного нового отклика и что новый опыт относится к тому же режиму, что обучающие данные.
- Найдите МНК-прямую, остаточную дисперсию с n−2 степенями свободы и геометрические характеристики исходных x.
- Вычислите стандартную ошибку прогноза, добавляя единицу под корнем к геометрической части ошибки среднего.
- Выберите двусторонний t-квантиль и постройте симметричные границы вокруг ŷ₀, сохраняя единицы исходного отклика.
Историческая справка
Статистический прогноз регрессии потребовал отделить неизвестное среднее от будущего случайного наблюдения. Точечная оценка ŷ у этих задач одинакова, но их ошибки различаются: будущая строка добавляет независимую случайную составляющую. Из сложения дисперсий возникает дополнительная единица под корнем.
В прикладной статистике XX–XXI веков программные средства сделали эту разницу явным выбором. В R predict.lm режим prediction отделён от confidence и допускает задание дисперсии будущих наблюдений. Учебная формула с единицей относится к одинаковой дисперсии будущей и обучающих ошибок. Поэтому история прогнозного интервала связана с уточнением модели наблюдения: выбор диапазона зависит не только от оценённых коэффициентов, но и от того, какой будущий объект предстоит предсказать.
Историческая линия формулы
Прогнозный t-интервал принадлежит классической модели простой линейной регрессии. Его отличие от интервала среднего следует из добавления дисперсии новой ошибки. Современная реализация R отдельно обозначает эти два вида интервалов и их предположения.
Пример
Возьмём x=(0,1,2,3,4), y=(1,2,1,4,5). Прямая ŷ=0,6+x даёт SSE=3,2, s²=3,2/3. При x₀=2 прогноз 2,6, x̄=2, Sxx=10. Стандартная ошибка отдельного прогноза равна √[(3,2/3)·(1+1/5)]=√1,28=1,131371. Для 95% и трёх степеней свободы t=3,182446305. Полуширина равна 3,600527; границы [−1,000527;6,200527]. Для сравнения, полуширина интервала среднего в этой точке составляет лишь 1,469909. Отрицательная граница допустима в выбранной учебной модели непрерывного отклика; для величины с жёстким физическим нулём пригодность нормальной модели нужно оценивать отдельно.
Частая ошибка
Пропущенная единица под корнем превращает прогнозный интервал в интервал среднего. Нельзя заменять s стандартной ошибкой коэффициента наклона. Широкий диапазон не исправляет неверную линейную форму. Если прогнозируют среднее группы новых наблюдений, единичный шум нельзя механически оставить без пересчёта.
Практика
Задачи с решением
Заданные компоненты
Условие. ŷ₀=10, s=2, геометрическая часть ошибки среднего 0,25, квантиль t=2. Найдите интервал отдельного прогноза.
Решение. Стандартная ошибка 2√1,25=√5; полуширина 2√5≈4,472136.
Ответ. [5,527864;14,472136].
Большая обучающая выборка
Условие. При n→∞ геометрическая часть стремится к нулю. Исчезает ли ширина отдельного прогноза при σ>0?
Решение. Стандартная ошибка стремится к σ√1=σ. Новый шум сохраняется при точном знании среднего.
Ответ. Нет; остаётся разброс нового наблюдения.
Дополнительные источники
- https://stat.ethz.ch/R-manual/R-devel/library/stats/html/predict.lm.html
- https://www.itl.nist.gov/div898/handbook/pmd/section4/pmd431.htm
Связанные формулы
Математика
Доверительный интервал среднего отклика регрессии
Интервал среднего отклика описывает неопределённость положения генеральной прямой при заданном x₀. Он учитывает оценивание коэффициентов, но не добавляет случайный разброс одного нового наблюдения вокруг этой прямой.
Аналитика
Стандартная ошибка регрессии
Стандартная ошибка регрессии оценивает типичный разброс остатков вокруг линии модели в единицах целевой переменной. Ее используют рядом с R², чтобы видеть не только долю объясненной вариации, но и размер промаха.
Математика
PRESS: ошибка прогноза при поочерёдном удалении
PRESS суммирует квадраты ошибок прогноза каждой строки моделью, обученной без этой строки. Для обычной линейной регрессии удалённые остатки вычисляют из одной полной подгонки через остатки и рычаги.