Математика / Матрицы, определители
Нормальные уравнения в QR-форме
Из A=QR получаем эквивалентное равенство через R, сохраняя идею нормальных уравнений. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
Формула
Структура R^T R заменяет A^T A и делает связь с Q явной.
Это эквивалентная форма, а не обязательный вычислительный шаг.
Обозначения
- $A^T A$
- грамовская матрица, матрица
- $R^T R$
- матрица из QR, матрица
- $x$
- параметр модели, вектор
- $b$
- наблюдения, вектор
Условия применения
- A=QR с Q^TQ=I
- R невырожденна для стандартного случая
Ограничения
- на практике напрямую лучше не решать A^T A для точности
- вырожденность нарушает обратимость R
Подробное объяснение
Данная форма удобна для доказательств и показывает происхождение нормальных уравнений от ортогональности остатка к span(A).
В задаче наименьших квадратов вектор b обычно не лежит точно в столбцовом пространстве A. Поэтому ищут не точное решение Ax=b, а такую точку Ax, которая является ближайшей к b среди всех линейных комбинаций столбцов A. Ортогональный остаток r=b-Ax служит признаком оптимальности: он должен быть перпендикулярен каждому столбцу A. QR-разложение делает эту геометрию вычислительно удобной. Матрица Q задает ортонормированный базис столбцового пространства, поэтому проекция b на это пространство находится без искажения длины, а верхнетреугольная матрица R позволяет получить коэффициенты обратным ходом. Для "Нормальные уравнения в QR-форме" важно видеть связь между формулой, ортогональной проекцией и устойчивым алгоритмом.
Еще один смысловой слой для "Нормальные уравнения в QR-форме" - связь с проекцией на подпространство. Решение не обязано удовлетворять Ax=b точно; оно выбирает ближайшую точку в образе A. Поэтому любая проверка ответа должна смотреть не только на коэффициенты, но и на геометрию остатка, иначе можно получить численно аккуратный, но концептуально неверный результат.
Как пользоваться формулой
- Запишите A=QR.
- Подставьте в A^T A x=A^T b.
- Используйте Q^T Q=I и получите R^T R x = R^T Q^T b.
- Проверьте оптимальность через остаток: он должен быть ортогонален столбцам A или, в QR-записи, давать Q^T r=0.
Историческая справка
Сейчас это базовая формула для доказательства корректности ортогонального LS-решения.
Метод наименьших квадратов исторически связан с обработкой астрономических и геодезических наблюдений, где измерений было больше, чем параметров. Позже матричная запись и QR-разложение дали более устойчивый язык для той же идеи. В вычислительной линейной алгебре XX века QR-подход стал стандартным ответом на проблему численной неустойчивости нормальных уравнений при плохо обусловленных матрицах.
Исторически этот переход от нормальных уравнений к ортогональным методам отражает изменение требований к математике: стало недостаточно получить формально правильную формулу, нужно было гарантировать надежность вычисления на реальных измерениях и больших таблицах данных.
Историческая линия формулы
Систематизировалась в численных методах при развитии линейной регрессии и аппроксимации. Идеи наименьших квадратов обычно связывают с Гауссом и Лежандром, а QR-реализацию - с развитием численной линейной алгебры. Конкретная формула является результатом этой линии, а не изолированным открытием.
Пример
При A=QR имеем A^T A = R^T R; условие A^T r=0 эквивалентно R^T Q^T(b-Ax)=0. Для проверки результата в теме "Нормальные уравнения в QR-форме" полезно не ограничиваться найденным вектором коэффициентов. Нужно вычислить предсказанный вектор A x, затем остаток r=b-Ax и проверить его ортогональность столбцовому пространству A. В QR-подходе это удобно делать через Q: если Q^T r близко к нулю, решение действительно является ортогональной проекцией b на пространство столбцов. Такой контроль особенно важен в прикладных данных, где небольшой числовой ответ может выглядеть правдоподобно, но не быть оптимальным по методу наименьших квадратов.
Частая ошибка
Путать порядок множителей: A^T b = R^T Q^T b, а не Q^T R^T b. Распространенная ошибка - решать задачу наименьших квадратов как обычную квадратную систему. Если A прямоугольная, точного решения может не быть, и смысл имеет минимум нормы остатка. Еще одна ошибка - без необходимости строить A^T A: это удваивает показатель обусловленности и может резко ухудшить точность. QR-подход как раз нужен для того, чтобы сохранить геометрию проекции и уменьшить численные риски.
Практика
Задачи с решением
Упростить левую часть
Условие. A=QR
Решение. A^T A = R^T Q^T Q R = R^T R
Ответ. A^T A = R^T R
Правая часть
Условие. A=QR
Решение. A^T b = R^T Q^T b
Ответ. R^T Q^T b
Дополнительные источники
- Golub & Van Loan, Matrix Computations
- Strang, Linear Algebra
- MIT OCW 18.06SC Least Squares
Связанные формулы
Математика
Наименьшие квадраты через QR
После QR-раскладывания задача минимизации сводится к решению треугольной системы. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
Математика
Формула QR-разложения
Матрица A раскладывается в произведение ортонормированной матрицы Q и верхнетреугольной R. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
Математика
Остаток в задаче ЛС и его ортогональность
Оптимальный LS-решение дает остаток, перпендикулярный всем столбцам A (и столбцам Q). Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
Математика
Проекция вектора на ненормированный вектор
Проекция вектора v на направление u вычисляется через скалярное произведение с нормированием на длину u. Эта формула связывает вычисление с геометрическим смыслом ортогонального разложения: она показывает, какая часть вектора идет вдоль выбранного направления, а какая остается поперек него.