Собственный вектор матрицы A - это ненулевой вектор, который после умножения на A остается на той же прямой. Собственное значение lambda показывает, во сколько раз этот вектор растягивается, сжимается или меняет направление.
$Av=\lambda v,\quad v\ne0$
Характеристическое уравнение det(A-lambda I)=0 находит те значения lambda, при которых у системы (A-lambda I)v=0 появляется ненулевое решение. Именно эти lambda являются собственными значениями матрицы.
$\det(A-\lambda I)=0$
Характеристический многочлен квадратной матрицы A - это многочлен det(lambda I-A). Его корни являются собственными значениями A с учетом алгебраической кратности.
$p_A(\lambda)=\det(\lambda I-A)$
Собственное пространство E_lambda - это множество всех векторов, которые удовлетворяют Av=lambda v, вместе с нулевым вектором. Оно равно ядру матрицы A-lambda I.
$E_\lambda=\ker(A-\lambda I)$
Алгебраическая кратность собственного значения lambda0 - это степень, с которой множитель lambda-lambda0 входит в характеристический многочлен.
$p_A(\lambda)=(\lambda-\lambda_0)^k q(\lambda),\quad q(\lambda_0)\ne0$
Геометрическая кратность собственного значения - это размерность его собственного пространства. Она показывает, сколько независимых собственных направлений соответствует данному lambda.
$g(\lambda)=\dim E_\lambda=\dim\ker(A-\lambda I)$
Спектр матрицы - это множество ее собственных значений. Для конечной квадратной матрицы он состоит из корней характеристического уравнения.
$\sigma(A)=\{\lambda:\det(A-\lambda I)=0\}$
Сумма собственных значений квадратной матрицы, взятых с алгебраическими кратностями, равна следу матрицы. След не меняется при смене базиса.
$\lambda_1+\cdots+\lambda_n=\operatorname{tr}(A)$
Произведение собственных значений квадратной матрицы, взятых с алгебраическими кратностями, равно определителю матрицы. Нулевое собственное значение означает нулевой определитель.
$\lambda_1\cdots\lambda_n=\det(A)$
Диагонализация представляет квадратную матрицу A в виде A=PDP^{-1}, где D диагональна, а столбцы P являются собственными векторами A. Это переводит действие оператора в собственный базис.
$A=PDP^{-1}$
Базис из собственных векторов - это базис пространства, каждый вектор которого является собственным для оператора A. В таком базисе матрица оператора становится диагональной.
$B=(v_1,\ldots,v_n),\quad Av_i=\lambda_i v_i$
Матрица n x n диагонализируема тогда и только тогда, когда сумма размерностей всех ее собственных пространств равна n. Это означает, что собственных векторов хватает на базис.
$A\text{ диагонализируема}\Longleftrightarrow \sum_{\lambda\in\sigma(A)}\dim E_\lambda=n$
Если матрица n x n имеет n различных собственных значений, то она диагонализируема. Разным собственным значениям соответствуют линейно независимые собственные векторы.
$\lambda_1,\ldots,\lambda_n\text{ различны}\Longrightarrow A\text{ диагонализируема}$
Матрица 2x2 диагонализируется, если для нее можно найти два линейно независимых собственных вектора. При двух различных собственных значениях это выполняется автоматически.
$A=P\begin{pmatrix}\lambda_1&0\\0&\lambda_2\end{pmatrix}P^{-1}$
Если A=PDP^{-1}, то степень A^k вычисляется как PD^kP^{-1}. Диагональную матрицу D возводят в степень по диагональным элементам.
$A^k=PD^kP^{-1},\quad D^k=\operatorname{diag}(\lambda_1^k,\ldots,\lambda_n^k)$
Если A диагонализируема, функцию от матрицы можно вычислить через функцию от ее собственных значений. Для диагональной D функция применяется к каждому диагональному элементу.
$f(A)=P f(D) P^{-1},\quad f(D)=\operatorname{diag}(f(\lambda_1),\ldots,f(\lambda_n))$
Жорданов блок 2x2 с единицей над диагональю имеет одно собственное значение lambda алгебраической кратности 2, но только одно независимое собственное направление. Поэтому он не диагонализируем.
$J=\begin{pmatrix}\lambda&1\\0&\lambda\end{pmatrix},\quad \dim E_\lambda=1<2$
Если B - базис из собственных векторов оператора T, то матрица T в этом базисе диагональна. На диагонали стоят собственные значения, соответствующие векторам базиса.
$[T]_B=\operatorname{diag}(\lambda_1,\ldots,\lambda_n)$
Два вектора ортогональны, если их скалярное произведение равно нулю. В евклидовом пространстве это означает взаимную перпендикулярность направлений и дает алгебраический способ проверять прямые углы.
$u\cdot v=0$
Длина вектора в евклидовом пространстве равна квадратному корню из его скалярного произведения с самим собой. Формула связывает геометрическую длину с алгебраической операцией над координатами.
$\|v\|=\sqrt{v\cdot v}$
Базис называется ортонормированным, если его векторы имеют длину 1 и попарно ортогональны. Краткая запись e_i*e_j=delta_ij объединяет оба условия в одной формуле.
$e_i\cdot e_j=\delta_{ij}$
В ортонормированном базисе коэффициент при базисном векторе равен скалярному произведению x с этим вектором. Поэтому разложение вектора строится без решения системы уравнений.
$x=\sum_{i=1}^{n}(x\cdot e_i)e_i$
Ортогональная проекция вектора v на прямую, заданную ненулевым вектором u, равна такому кратному u, что остаток v-proj_u v перпендикулярен прямой.
$\operatorname{proj}_{u}v=\frac{v\cdot u}{u\cdot u}u$
Если q_1,...,q_k образуют ортонормированный базис подпространства W, то проекция x на W равна сумме его компонент вдоль этих базисных направлений.
$\operatorname{proj}_{W}x=\sum_{i=1}^{k}(x\cdot q_i)q_i$
Если столбцы Q образуют ортонормированный базис подпространства W, то матрица P=QQ^T переводит любой вектор в его ортогональную проекцию на W.
$P=QQ^{T},\quad Q^{T}Q=I$
Ортогональное дополнение W^perp состоит из всех векторов, перпендикулярных каждому вектору подпространства W. В R^n его размерность дополняет размерность W до n.
$W^{\perp}=\{x:\ x\cdot w=0\ \text{для всех }w\in W\},\quad \dim W+\dim W^{\perp}=n$
Квадратная матрица Q ортогональна, если ее столбцы образуют ортонормированный базис. Тогда обратная матрица равна транспонированной, а преобразование сохраняет длины и углы.
$Q^{T}Q=I,\quad Q^{-1}=Q^{T}$
Расстояние от вектора x до подпространства W равно длине ортогонального остатка после проекции x на W. Проекция дает ближайший вектор внутри W.
$\operatorname{dist}(x,W)=\|x-\operatorname{proj}_{W}x\|$
Проекция вектора v на направление u вычисляется через скалярное произведение с нормированием на длину u. Эта формула связывает вычисление с геометрическим смыслом ортогонального разложения: она показывает, какая часть вектора идет вдоль выбранного направления, а какая остается поперек него.
$\operatorname{proj}_{u}(v)=\frac{u^{\top}v}{u^{\top}u}\,u$
Любой вектор раскладывается на компоненту вдоль u и ортогональную остаточную часть. Эта формула связывает вычисление с геометрическим смыслом ортогонального разложения: она показывает, какая часть вектора идет вдоль выбранного направления, а какая остается поперек него.
$v=\operatorname{proj}_{u}(v)+\left(v-\operatorname{proj}_{u}(v)\right),\quad u^{\top}\left(v-\operatorname{proj}_{u}(v)\right)=0$
Нормировка первого столбца задает первый ортонормированный вектор. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
$q_1=\frac{a_1}{\|a_1\|}$
Для каждого нового столбца убирают вклад уже построенных ортонормированных направлений, затем нормируют остаток. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
$u_k=a_k-\sum_{j=1}^{k-1}(q_j^{\top}a_k)\,q_j,\quad q_k=\frac{u_k}{\|u_k\|}$
После построения Q каждую колонку a_j раскладывают по уже найденным q_i. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
$R_{ij}=q_i^{\top}a_j,\quad a_j=\sum_{i=1}^{j}R_{ij}q_i,\quad R_{ij}=0\ (i>j)$
Матрица A раскладывается в произведение ортонормированной матрицы Q и верхнетреугольной R. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
$A = QR,\quad Q^{\top}Q=I_r,\quad R \text{ верхнетреугольная}$
Проецирование на пространство столбцов Q удобно через матрицу QQ^T. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.
$P=QQ^{\top},\quad P^2=P,\quad P^{\top}=P$
После QR-раскладывания задача минимизации сводится к решению треугольной системы. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
$\hat{x}=R^{-1}Q^{\top}b,\quad A=QR$
Из A=QR получаем эквивалентное равенство через R, сохраняя идею нормальных уравнений. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
$A^T A x = A^T b,\quad R^T R x = R^T Q^T b$
Оптимальный LS-решение дает остаток, перпендикулярный всем столбцам A (и столбцам Q). Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.
$r=b-A\hat{x},\quad A^T r=0,\quad Q^T r=0$
Любая квадратичная форма задаётся симметричной (или эквивалентно любая) матрицей A через скалярное произведение вектора x с образом A x.
$q(x)=x^T A x = \sum_{i=1}^{n}\sum_{j=1}^{n} a_{ij}x_i x_j, \quad x \in \mathbb R^n.$
В x^T A x участвуют только симметричные коэффициенты, поэтому любую матрицу A можно заменить симметричной частью без изменения квадратичной формы.
$x^T A x = x^T \frac{A+A^T}{2} x = x^T A_{\mathrm{sym}} x.$
Любую квадратичную форму двух- и трёхпеременных можно записать через матрицу, где коэффициенты при смешанных членах делятся пополам и переносятся в симметричные ячейки.
$q(x,y,z)=a x^2+2bxy+2cxz+d y^2+2eyz+f z^2=\begin{bmatrix}x&y&z\end{bmatrix}\begin{bmatrix}a&b&c\\ b&d&e\\ c&e&f\end{bmatrix}\begin{bmatrix}x\\y\\z\end{bmatrix}.$
При обратимой линейной замене x = S y матрица формы меняется по сопряжённому преобразованию, а сама квадратичная форма остаётся той же величиной.
$x=S y, \quad Q(y)=x^T A x = y^T (S^T A S) y = y^T B y.$
Если у квадратичной формы есть линейная часть, её удобно убрать сдвигом переменных x→x+x₀ и затем сводить оставшуюся чистую квадратичную часть к главным осям.
$x^T A x+2b^T x+c=(x+x_0)^T A (x+x_0)+c-b^T A^{-1} b, \quad x_0=-A^{-1}b, \ (A \text{ nonsingular}).$
В плоскости поворот координат на θ (u,v) убирает смешанный член q. Главные оси соответствуют направлениям, где кросс-термин исчезает.
$q(x,y)=ax^2+2bxy+cy^2, \quad \tan 2\theta=\frac{2b}{a-c}, \quad q = \lambda_1 u^2 + \lambda_2 v^2.$
Для симметричной A всегда существует ортогональная матрица собственных векторов, которая переводит квадратичную форму в диагональный вид и задаёт главные оси.
$A=Q\Lambda Q^T, \quad Q^TQ=I, \quad Q=[q_1\dots q_n], \; q(x)=x^T A x=(Q^Tx)^T \Lambda (Q^Tx).$
В координатах главных осей квадратичная форма становится суммой квадратов с весами-коэффициентами λ_i, что упрощает классификацию многообразий.
$q(x)=x^T A x = z^T\Lambda z = \sum_{i=1}^{n}\lambda_i z_i^2, \quad x=Qz.$
Критерий Сильвестра даёт практичный способ определить знак квадратичной формы через детерминанты ведущих главных миноров симметрической матрицы.
$A\succ 0 \iff \Delta_k>0 \ \forall k, \quad \Delta_k=\det(A_k), \quad A_k \in \mathbb R^{k\times k}.$
На единичной сфере максимум и минимум квадратичной формы достигаются на собственных векторах, соответствующих λ_max и λ_min.
$\lambda_{\min} \le \frac{x^T A x}{x^T x} \le \lambda_{\max}, \quad A=A^T.$
Критерий наименьших квадратов измеряет суммарную квадратичную ошибку между наблюдаемым вектором b и моделью Ax, поэтому превращает переопределенную систему в задачу минимизации.
$\hat x_{\mathrm{LS}}=\arg\min_{x\in\mathbb R^n} \|Ax-b\|_2^2 = \arg\min_x (Ax-b)^\top (Ax-b).$
Нормальные уравнения A^T A x = A^T b задают стационарное условие задачи МНК и позволяют найти параметры, при которых остаток ортогонален всем столбцам матрицы A.
$A^\top A\,\hat x = A^\top b.$
Ортогональность невязки означает, что в оптимальном МНК-решении остаток r=b-Ax перпендикулярен каждому столбцу A и не содержит направления, которое можно еще улучшить моделью.
$r=b-A\hat x,\quad A^\top r=0.$
Если столбцы A линейно независимы, решение МНК можно записать явно как x=(A^T A)^{-1}A^T b, потому что матрица A^T A становится обратимой.
$\hat x=(A^\top A)^{-1}A^\top b,\qquad A^\top A\ \text{невырождена}.$
Разложение Холецкого применяет положительную определенность A^T A и заменяет решение нормальных уравнений двумя треугольными системами.
$A^\top A = LL^\top,\; L y=A^\top b,\; L^\top \hat x = y.$
При переходе к нормальным уравнениям число обусловленности фактически возводится в квадрат, поэтому ошибки округления и шум в данных могут заметно усилиться.
$\kappa_2(A^\top A)=\frac{\sigma_{\max}^2}{\sigma_{\min}^2}=\kappa_2(A)^2.$
QR-разложение решает задачу МНК без формирования A^T A: если A=QR, то параметры находятся из треугольной системы R x = Q^T b.
$A=QR,\quad Q^\top Q=I,\quad \|Ax-b\|_2^2=\|Rx-Q^\top b\|_2^2+\|Q_\perp^\top b\|_2^2.$
Псевдообратная матрица A^+ записывает МНК-решение как x=A^+b и обобщает обратную матрицу на прямоугольные и вырожденные системы.
$\hat x=A^+b,\qquad A^+=(A^\top A)^{-1}A^\top\ (\operatorname{rank}(A)=n).$
Матрица P=A(A^T A)^{-1}A^T проецирует b на пространство столбцов A, а вектор Pb является предсказанием модели МНК. Эта запись важна не как отдельный трюк, а как часть практического языка линейных моделей и обработки измерений.
$\hat b = A\hat x = A A^+ b,\qquad P=AA^+,\ P^\top=P,\ P^2=P.$
Малую систему нормальных уравнений 2×2 можно решить вручную через определитель или исключение, не строя полную обратную матрицу.
$\begin{aligned} \begin{bmatrix}c_{11} & c_{12}\\ c_{12} & c_{22}\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}d_1\\d_2\end{bmatrix},\;\Delta=c_{11}c_{22}-c_{12}^2,\\ x_1=\frac{c_{22}d_1-c_{12}d_2}{\Delta},\quad x_2=\frac{-c_{12}d_1+c_{11}d_2}{\Delta}. \end{aligned}$
Сингулярное разложение представляет матрицу как произведение двух ортогональных матриц и диагональной матрицы сингулярных чисел. Это универсальная форма разложения, которая работает для прямоугольных матриц и показывает главные направления действия линейного отображения.
$A=U\Sigma V^T,\quad U^TU=I,\quad V^TV=I$
Ранг матрицы равен количеству ненулевых сингулярных чисел. Эта формула связывает алгебраическое понятие размерности образа с численной диагностикой зависимости строк и столбцов.
$\operatorname{rank}(A)=\#\{i:\sigma_i>0\}$