Математика / Матрицы, определители

Наименьшие квадраты через QR

После QR-раскладывания задача минимизации сводится к решению треугольной системы. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

Опубликовано: 12 мая 2026 г.Обновлено: 12 мая 2026 г.

Линейная алгебра Ортогональная проекция

Формула

\hat{x}=R^{-1}Q^{\top}b,\quad A=QR

projection-subspace-orthonormal QR для LS

Ортонормирование переносит задачу в удобное треугольное пространство.

Решение сводится к R x = Q^T b.

Обозначения

$A$: матрица модели, матрица
$b$: наблюдения, вектор
$Q$: ортонормированная матрица, матрица
$R$: верхнетреугольная, матрица
$\hat{x}$: решение LS, вектор

Условия применения

A имеет полный столбцовый ранг
все шаги QR корректно посчитаны

Ограничения

если A плохо обусловлена, решать может быть неустойчиво
при вырождении нужны модификации

Подробное объяснение

Так как A=QR, уравнение Ax≈b превращается в QRx≈b, а после умножения на Q^T получаем верхнетреугольную систему.

В задаче наименьших квадратов вектор b обычно не лежит точно в столбцовом пространстве A. Поэтому ищут не точное решение Ax=b, а такую точку Ax, которая является ближайшей к b среди всех линейных комбинаций столбцов A. Ортогональный остаток r=b-Ax служит признаком оптимальности: он должен быть перпендикулярен каждому столбцу A. QR-разложение делает эту геометрию вычислительно удобной. Матрица Q задает ортонормированный базис столбцового пространства, поэтому проекция b на это пространство находится без искажения длины, а верхнетреугольная матрица R позволяет получить коэффициенты обратным ходом. Для "Наименьшие квадраты через QR" важно видеть связь между формулой, ортогональной проекцией и устойчивым алгоритмом.

Еще один смысловой слой для "Наименьшие квадраты через QR" - связь с проекцией на подпространство. Решение не обязано удовлетворять Ax=b точно; оно выбирает ближайшую точку в образе A. Поэтому любая проверка ответа должна смотреть не только на коэффициенты, но и на геометрию остатка, иначе можно получить численно аккуратный, но концептуально неверный результат.

Как пользоваться формулой

Получите QR-разложение.
Найдите Q^Tb.
Решите R x = Q^T b обратной подстановкой.
Проверьте оптимальность через остаток: он должен быть ортогонален столбцам A или, в QR-записи, давать Q^T r=0.

Историческая справка

Практически QR-решение LS применяется в вычислительных пакетах из-за лучшей устойчивости по сравнению с нормальными уравнениями.

Метод наименьших квадратов исторически связан с обработкой астрономических и геодезических наблюдений, где измерений было больше, чем параметров. Позже матричная запись и QR-разложение дали более устойчивый язык для той же идеи. В вычислительной линейной алгебре XX века QR-подход стал стандартным ответом на проблему численной неустойчивости нормальных уравнений при плохо обусловленных матрицах.

Исторически этот переход от нормальных уравнений к ортогональным методам отражает изменение требований к математике: стало недостаточно получить формально правильную формулу, нужно было гарантировать надежность вычисления на реальных измерениях и больших таблицах данных.

Историческая линия формулы

Распространено в инженерной математике и статистике для регрессионных оценок. Идеи наименьших квадратов обычно связывают с Гауссом и Лежандром, а QR-реализацию - с развитием численной линейной алгебры. Конкретная формула является результатом этой линии, а не изолированным открытием.

Пример

A=[[2,0],[0,1],[0,1]], b=(4,1,1): Q=(1,0,0)^T,(0,1/√2,1/√2)^T, R=diag(2,√2), x_hat=(2,1). Для проверки результата в теме "Наименьшие квадраты через QR" полезно не ограничиваться найденным вектором коэффициентов. Нужно вычислить предсказанный вектор A x, затем остаток r=b-Ax и проверить его ортогональность столбцовому пространству A. В QR-подходе это удобно делать через Q: если Q^T r близко к нулю, решение действительно является ортогональной проекцией b на пространство столбцов. Такой контроль особенно важен в прикладных данных, где небольшой числовой ответ может выглядеть правдоподобно, но не быть оптимальным по методу наименьших квадратов.

Частая ошибка

Решать x=A^Tb напрямую без Q и R может привести к потере точности. Распространенная ошибка - решать задачу наименьших квадратов как обычную квадратную систему. Если A прямоугольная, точного решения может не быть, и смысл имеет минимум нормы остатка. Еще одна ошибка - без необходимости строить A^T A: это удваивает показатель обусловленности и может резко ухудшить точность. QR-подход как раз нужен для того, чтобы сохранить геометрию проекции и уменьшить численные риски.

Практика

Задачи с решением

Базовая задача LS

Условие. A=[[2,0],[0,1],[0,1]], b=(4,1,1)

Решение. Q^Tb=(4,√2), x_hat=(2,1)

Ответ. x_hat=(2,1)

Порядок действий

Условие. В каком порядке решают LS через QR?

Решение. Сначала формируется Q,R, затем x=R^{-1}Q^T b.

Ответ. A=QR -> x=R^{-1}Q^Tb

Дополнительные источники

Golub & Van Loan, Matrix Computations
MIT OCW 18.06SC Least Squares
NIST Regression Handbook

Связанные формулы

Математика

Проектор на span(Q)

$P=QQ^{\top},\quad P^2=P,\quad P^{\top}=P$

Проецирование на пространство столбцов Q удобно через матрицу QQ^T. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

Математика

Формула QR-разложения

$A = QR,\quad Q^{\top}Q=I_r,\quad R \text{ верхнетреугольная}$

Матрица A раскладывается в произведение ортонормированной матрицы Q и верхнетреугольной R. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

Математика

Коэффициенты R через скалярные произведения

$R_{ij}=q_i^{\top}a_j,\quad a_j=\sum_{i=1}^{j}R_{ij}q_i,\quad R_{ij}=0\ (i>j)$

После построения Q каждую колонку a_j раскладывают по уже найденным q_i. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

Математика

Нормальные уравнения в QR-форме

$A^T A x = A^T b,\quad R^T R x = R^T Q^T b$

Из A=QR получаем эквивалентное равенство через R, сохраняя идею нормальных уравнений. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.