Математика / Матрицы, определители
Ортогональность невязки
Ортогональность невязки означает, что в оптимальном МНК-решении остаток r=b-Ax перпендикулярен каждому столбцу A и не содержит направления, которое можно еще улучшить моделью.
Формула
Невязка перпендикулярна каждому столбцу A, а значит и всему Col(A).
A^\top r=0 как геометрический критерий.
Обозначения
- $r$
- вектор невязки, вектор
- $A$
- матрица наблюдений, m×n матрица
- $\hat x$
- решение МНК, вектор
Условия применения
- A^\top A\,\hat x=A^\top b.
- Столбцы A заданы во внутреннем произведении \langle u,v\rangle=u^\top v.
- Решение берут как минимум квадратичной задачи.
Ограничения
- При численной погрешности вместо точного 0 будет малое значение порядка машинной точности.
- Нарушение условия обычно сигнализирует о неверной сборке модели.
- Для регрессионного шума проверка A^\top r≈0 не заменяет диагностику выбросов.
Подробное объяснение
Пространство всех возможных предсказаний Ax — это столбцовое пространство матрицы A. МНК выбирает точку Ax в этом пространстве, ближайшую к b. В евклидовой геометрии отрезок от точки b до ее ближайшей точки на подпространстве должен быть перпендикулярен подпространству; иначе можно было бы сдвинуться вдоль подпространства и уменьшить расстояние. Поэтому r=b-Ax ортогонален каждому столбцу A, что записывается как A^T r=0. Эта идея связывает минимизацию, нормальные уравнения и матрицу ортогональной проекции в одну картину. Важно видеть эту формулу в общей цепочке: исходные данные задают матрицу наблюдений A и правую часть b, затем выбирается способ приблизить b в пространстве столбцов A. Ортогональность невязки отвечает за прикладная задача наименьших квадратов, поэтому она не существует отдельно от ранга матрицы, ортогональности остатка и устойчивости вычислений. Если столбцы A хорошо различимы и данные имеют умеренный шум, нормальные уравнения могут дать понятный ручной путь. Если столбцы почти зависимы, лучше пользоваться QR или SVD, потому что они меньше усиливают ошибки округления. После вычисления результата полезно проверить три вещи: размерности всех матриц, величину остатка и связь с соседними формулами раздела. Такой подход превращает формулу из механической записи в рабочий инструмент анализа данных, регрессии, инженерных измерений и численной математики.
Как пользоваться формулой
- Найдите невязку r=b-A\hat x.
- Вычислите A^\top r.
- Если компонентами много и есть шум, проверяйте норму A^\top r.
- Используйте результат как диагностический критерий.
Историческая справка
Геометрическое объяснение МНК стало особенно распространено после того, как линейная алгебра начала преподаваться через векторные пространства и ортогональные проекции. В ранней теории ошибок тот же факт был записан аналитически через условия минимума суммы квадратов, а современная форма A^T r=0 делает геометрию явной. В XX веке эта тема стала частью стандартной численной линейной алгебры: вычислительные машины сделали возможной массовую обработку переопределенных систем, но одновременно показали, что алгебраически эквивалентные формулы могут вести себя по-разному из-за округления. Поэтому учебники начали разделять теоретический вывод МНК, геометрическое объяснение через проекции и практические алгоритмы QR, Холецкого и SVD. Такой исторический сдвиг важен для пользователя: он объясняет, почему на странице рядом стоят не только “красивая формула”, но и условия применимости, ограничения и типичные ошибки.
Историческая линия формулы
Условие ортогональности является современной геометрической формулировкой классического метода Гаусса-Лежандра; оно не принадлежит одному автору, а выросло из соединения МНК и теории евклидовых пространств. Современная запись является результатом развития метода наименьших квадратов, матричной алгебры и численных методов; поэтому атрибуция здесь распределенная: классические идеи связаны с Гауссом и Лежандром, а устойчивые вычислительные формы — с более поздней численной линейной алгеброй.
Пример
В задаче с A=[[1,0],[1,1],[1,2]] и решением x=(7/6,1/2)^T получаем Ax=(7/6,5/3,13/6)^T. Остаток r=b-Ax=(-1/6,1/3,-1/6)^T. Первый столбец A равен (1,1,1)^T, его скалярное произведение с r равно -1/6+1/3-1/6=0. Второй столбец равен (0,1,2)^T, и произведение равно 0+1/3-2/6=0. Значит остаток действительно ортогонален обоим столбцам, а улучшить приближение внутри выбранной линейной модели уже нельзя. Дополнительная проверка: после получения численного ответа всегда подставь найденный вектор обратно в Ax, вычисли остаток r=b-Ax и сравни его норму с нормой остатка для соседнего пробного решения. Если речь идет о МНК, маленькое изменение параметров не должно уменьшать критерий; если оно уменьшает сумму квадратов, значит нормальные уравнения, QR-шаг или ручное исключение выполнены с ошибкой. Такой контроль особенно полезен в учебных задачах, где итоговое число легко получить, но трудно заметить неверный знак или перепутанный порядок умножения.
Частая ошибка
Не путай ортогональность остатка со свойством самих ошибок быть независимыми или нормально распределенными. Условие A^T r=0 является алгебраическим следствием МНК, а статистические предположения нужны уже для доверительных интервалов и оценок неопределенности.
Практика
Задачи с решением
Проверить условие
Условие. A=\begin{bmatrix}1&1\\1&2\end{bmatrix}, x=(1,0)^\top, b=(1,3)^\top.
Решение. r=(0,1)^\top, A^\top r=(1,2)^\top.
Ответ. A^\top r \ne 0: это не решение МНК.
Идеальный случай
Условие. A=\begin{bmatrix}1&1\\1&2\end{bmatrix}, x=(1,1)^\top, b=(2,3)^\top.
Решение. r=0 \Rightarrow A^\top r=0.
Ответ. Условия ортогональности выполнены.
Дополнительные источники
- Golub, Van Loan, Matrix Computations, Ch. 5
- Strang, Introduction to Linear Algebra
- NPTEL Linear Algebra Notes
Связанные формулы
Математика
Остаток в задаче ЛС и его ортогональность
Оптимальный LS-решение дает остаток, перпендикулярный всем столбцам A (и столбцам Q). Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
Математика
Нормальные уравнения для МНК
Нормальные уравнения A^T A x = A^T b задают стационарное условие задачи МНК и позволяют найти параметры, при которых остаток ортогонален всем столбцам матрицы A.
Математика
Матрица ортогональной проекции
Если столбцы Q образуют ортонормированный базис подпространства W, то матрица P=QQ^T переводит любой вектор в его ортогональную проекцию на W.