Линейная алгебра и статистика

Метод наименьших квадратов

Аппроксимация, нормальные уравнения, остатки и матричные решения задач МНК.

10 формул

Таблица формул

Формула	Запись	Тема	Для чего нужна
Критерий наименьших квадратов	$\hat x_{\mathrm{LS}}=\arg\min_{x\in\mathbb R^n} \\|Ax-b\\|_2^2 = \arg\min_x (Ax-b)^\top (Ax-b).$	Матрицы, определители	Критерий наименьших квадратов измеряет суммарную квадратичную ошибку между наблюдаемым вектором b и моделью Ax, поэтому превращает переопределенную систему в задачу минимизации.
Нормальные уравнения для МНК	$A^\top A\,\hat x = A^\top b.$	Матрицы, определители	Нормальные уравнения A^T A x = A^T b задают стационарное условие задачи МНК и позволяют найти параметры, при которых остаток ортогонален всем столбцам матрицы A.
Ортогональность невязки	$r=b-A\hat x,\quad A^\top r=0.$	Матрицы, определители	Ортогональность невязки означает, что в оптимальном МНК-решении остаток r=b-Ax перпендикулярен каждому столбцу A и не содержит направления, которое можно еще улучшить моделью.
Явная формула решения МНК через обратную матрицу	$\hat x=(A^\top A)^{-1}A^\top b,\qquad A^\top A\ \text{невырождена}.$	Матрицы, определители	Если столбцы A линейно независимы, решение МНК можно записать явно как x=(A^T A)^{-1}A^T b, потому что матрица A^T A становится обратимой.
Холѐцкое разложение нормальных уравнений	$A^\top A = LL^\top,\; L y=A^\top b,\; L^\top \hat x = y.$	Матрицы, определители	Разложение Холецкого применяет положительную определенность A^T A и заменяет решение нормальных уравнений двумя треугольными системами.
Число обусловленности для задачи МНК	$\kappa_2(A^\top A)=\frac{\sigma_{\max}^2}{\sigma_{\min}^2}=\kappa_2(A)^2.$	Матрицы, определители	При переходе к нормальным уравнениям число обусловленности фактически возводится в квадрат, поэтому ошибки округления и шум в данных могут заметно усилиться.
QR-разложение для задачи МНК	$A=QR,\quad Q^\top Q=I,\quad \\|Ax-b\\|_2^2=\\|Rx-Q^\top b\\|_2^2+\\|Q_\perp^\top b\\|_2^2.$	Матрицы, определители	QR-разложение решает задачу МНК без формирования A^T A: если A=QR, то параметры находятся из треугольной системы R x = Q^T b.
Псевдообратная для решения МНК	$\hat x=A^+b,\qquad A^+=(A^\top A)^{-1}A^\top\ (\operatorname{rank}(A)=n).$	Матрицы, определители	Псевдообратная матрица A^+ записывает МНК-решение как x=A^+b и обобщает обратную матрицу на прямоугольные и вырожденные системы.
Проекционный оператор и оценка МНК	$\hat b = A\hat x = A A^+ b,\qquad P=AA^+,\ P^\top=P,\ P^2=P.$	Матрицы, определители	Матрица P=A(A^T A)^{-1}A^T проецирует b на пространство столбцов A, а вектор Pb является предсказанием модели МНК. Эта запись важна не как отдельный трюк, а как часть практического языка линейных моделей и обработки измерений.
2×2 нормальные уравнения без полной инверсии	$\begin{aligned} \begin{bmatrix}c_{11} & c_{12}\\ c_{12} & c_{22}\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}d_1\\d_2\end{bmatrix},\;\Delta=c_{11}c_{22}-c_{12}^2,\\ x_1=\frac{c_{22}d_1-c_{12}d_2}{\Delta},\quad x_2=\frac{-c_{12}d_1+c_{11}d_2}{\Delta}. \end{aligned}$	Матрицы, определители	Малую систему нормальных уравнений 2×2 можно решить вручную через определитель или исключение, не строя полную обратную матрицу.