Математика / Вероятность и статистика

PRESS: ошибка прогноза при поочерёдном удалении

PRESS суммирует квадраты ошибок прогноза каждой строки моделью, обученной без этой строки. Для обычной линейной регрессии удалённые остатки вычисляют из одной полной подгонки через остатки и рычаги.

Опубликовано: 26 октября 2026 г.Обновлено: 26 октября 2026 г.

Теория вероятностей и математическая статистика Страницы с задачами и решениями Есть историческая справка Анализ данных

Формула

e_{(i)}=\frac{e_i}{1-h_{ii}},\qquad \mathrm{PRESS}=\sum_{i=1}^n e_{(i)}^2

Схема Вклад каждой строки в PRESS

Подписи под колонками — значения x; вертикальная шкала: e₍ᵢ₎².

Обозначения

$e₍ᵢ₎$: ошибка yᵢ−ŷᵢ₍ᵢ₎ после обучения без строки i, единица y
$eᵢ$: остаток полной МНК-модели, единица y
$hᵢᵢ$: рычаг i-й строки, 1
$PRESS$: сумма квадратов удалённых ошибок, квадрат единицы y

Условия применения

Алгебраическое ускорение относится к обычной линейной МНК-модели с фиксированным набором признаков. Для каждого удаления сохраняется полный ранг и hᵢᵢ<1. Преобразования и выбор признаков не должны использовать скрытое значение отклика проверяемой строки.

Ограничения

Поочерёдное удаление не отражает прогноз будущего при временной зависимости данных. Для настройки модели на той же оценке нужна дополнительная проверка. PRESS зависит от масштаба y и размера набора; универсального порога хорошей модели у суммы нет.

Подробное объяснение

Обычный остаток получен после того, как строка уже повлияла на коэффициенты. Удалённый остаток отвечает более строгому вопросу: насколько модель ошибётся на этой строке, если не увидит её при обучении. Для линейного МНК связь выражается множителем 1/(1−hᵢᵢ).

Чем выше рычаг, тем сильнее обычный остаток уменьшен собственной подгонкой. После исключения точки этот эффект исчезает, и прогнозная ошибка возрастает по модулю. При h<1 знак удалённого остатка совпадает со знаком обычного; меняется его величина.

PRESS складывает квадраты таких ошибок. Деление на n даёт среднюю ошибку поочерёдной проверки, а корень из PRESS/n — её среднеквадратический масштаб в единицах y. Сумма SSE полной модели и PRESS измеряют разные режимы: подгонку и проверку с исключением.

Само тождество не требует n независимых переоценок, но прямые переоценки удобны как контроль программы. Для нелинейной процедуры, настройки гиперпараметров или выбора признаков формула автоматически не переносится. Все этапы обучения нужно повторять внутри каждой проверочной части.

Как пользоваться формулой

Зафиксируйте линейную модель и набор признаков до проверки, затем вычислите полные МНК-остатки и рычаги каждой строки.
Проверьте определённость модели после удаления: если h равен единице, обычная формула деления неприменима.
Разделите каждый остаток на 1−h, возведите удалённые ошибки в квадрат и сложите по всем исходным наблюдениям.
Для контроля переоцените несколько моделей с удалением и сравните реальные прогнозы в исключённых точках с формулой.

Историческая справка

Идея проверки с удалением по одному наблюдению отделяет качество подгонки от качества прогноза. В линейном МНК матричная связь между полной и удалённой моделью позволяет получить всю серию проверок без повторного решения каждой задачи. Название PRESS сокращает английское описание суммы квадратов прогнозных ошибок.

В вычислительной статистике XX–XXI веков этот критерий соседствует с диагностикой влияния, но имеет другую цель: каждая строка по очереди играет роль проверочной. Документация R прямо связывает predictive-вариант стандартизованных остатков с поочерёдными ошибками и PRESS. Современная практика сохраняет оговорку о процессе обучения: если признаки выбирались по данным, их выбор тоже входит в каждое исключение. Алгебраическое ускорение относится к фиксированной линейной модели.

Историческая линия формулы

PRESS относится к прогнозной проверке линейных моделей с поочерёдным исключением строк. Документация R задаёт его связь с predictive-остатками. Тождество через рычаги следует из МНК; оно не заменяет повторение более сложного алгоритма обучения.

Пример

Для x=(0,1,2,3,4), y=(1,2,1,4,5) полная прямая ŷ=0,6+x даёт остатки (0,4;0,4;−1,6;0,4;0,4). Рычаги равны (0,6;0,3;0,2;0,3;0,6). После деления на 1−h получаем удалённые ошибки (1;4/7;−2;4/7;1). Поэтому PRESS=1+16/49+4+16/49+1=326/49≈6,653061. Это больше SSE=3,2 полной подгонки. Проверка центра: без него четыре точки лежат на y=1+x, при x=2 прогноз равен 3, а наблюдение равно 1; удалённый остаток 1−3=−2. Квадраты ошибок имеют единицы y²; число PRESS нельзя сравнивать между разными шкалами отклика без пересчёта.

Частая ошибка

Нельзя складывать обычные остатки вместо удалённых: получится SSE, а не PRESS. Рычаг не возводят в квадрат внутри 1−h. Обучение с подбором признаков на всей выборке до удаления создаёт утечку данных. Малый PRESS не доказывает точность прогноза за пределами диапазона x или в будущий период.

Практика

Задачи с решением

Одна удалённая ошибка

Условие. Обычный остаток 3, рычаг 0,25. Найдите удалённый остаток и вклад в PRESS.

Решение. e₍ᵢ₎=3/0,75=4; квадрат равен 16.

Ответ. Удалённый остаток 4, вклад 16.

Средняя ошибка проверки

Условие. Для n=5 получено PRESS=20. Найдите средний квадрат ошибки и его корень.

Решение. PRESS/n=20/5=4; корень из 4 равен 2.

Ответ. Средний квадрат 4, среднеквадратическая ошибка 2 в единицах y.

Дополнительные источники

https://stat.ethz.ch/R-manual/R-devel/library/stats/html/influence.measures.html
https://www.itl.nist.gov/div898/software/dataplot/refman1/auxillar/regrdiag.htm

Связанные формулы

Математика

Рычаг наблюдения в простой линейной регрессии

$h_{ii}=\frac1n+\frac{(x_i-\bar x)^2}{S_{xx}},\qquad S_{xx}=\sum_{j=1}^n(x_j-\bar x)^2$

Рычаг hᵢᵢ показывает, насколько положение наблюдения по признаку x влияет на его собственное предсказание в линейной регрессии. Он зависит только от набора x и не измеряет величину ошибки по отклику y.

Математика

Расстояние Кука: влияние наблюдения на регрессию

$D_i=\frac{e_i^2}{p s^2}\frac{h_{ii}}{(1-h_{ii})^2}=\frac{\sum_j(\hat y_j-\hat y_{j(i)})^2}{p s^2}$

Расстояние Кука измеряет изменение всех предсказаний регрессии при удалении одной строки данных. Оно сочетает величину остатка с рычагом наблюдения и выражается в безразмерном масштабе относительно остаточной дисперсии.

Аналитика

Линейная регрессия по методу наименьших квадратов

$\hat{\beta}_1=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2},\quad \hat{\beta}_0=\bar{y}-\hat{\beta}_1\bar{x}$

OLS подбирает коэффициенты линейной регрессии так, чтобы сумма квадратов остатков была минимальной. Формула нужна, чтобы оценить связь факторов с числовой целью и получить воспроизводимый линейный прогноз.