Математика / Матрицы, определители

Проектор на span(Q)

Проецирование на пространство столбцов Q удобно через матрицу QQ^T. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

Опубликовано: Обновлено:

Формула

$$P=QQ^{\top},\quad P^2=P,\quad P^{\top}=P$$
projection-subspace-orthonormal Геометрия проектатора

Проектор отбрасывает компоненту перпендикулярно span(Q).

Px лежит в span(Q).

Обозначения

$P$
ортогональный проектор, матрица
$Q$
ортонормированная матрица, матрица

Условия применения

  • Q^TQ=I

Ограничения

  • если Q неортонормальна, свойство проекторности нарушается

Подробное объяснение

P проектирует любой вектор на span(Q), при этом повторная проекция ничего не меняет из-за P^2=P.

QR-разложение превращает столбцы исходной матрицы в ортонормированный базис того же столбцового пространства. Матрица Q хранит направления, а R показывает, как каждый исходный столбец выражается через уже построенные ортонормированные направления. Верхнетреугольная форма R появляется потому, что j-й столбец зависит только от первых j направлений, если процесс идет слева направо. Это делает разложение удобным для решения систем: ортогональное умножение не усиливает длину ошибки, а треугольную систему с R можно решить обратным ходом. Для страницы "Проектор на span(Q)" ключевая польза не в механическом запоминании формулы, а в понимании роли двух частей: Q отвечает за устойчивую геометрию, R - за координаты в этой геометрии.

Дополнительно важно различать теоретическую и вычислительную сторону темы "Проектор на span(Q)". В точной алгебре достаточно записать ортогональность и треугольную структуру, но в численном расчете проверяют потерю ортогональности, масштаб столбцов и устойчивость к почти линейной зависимости. Поэтому корректная страница должна объяснять не только саму формулу, но и то, почему она предпочтительнее прямого обращения матрицы.

Как пользоваться формулой

  1. Соберите Q из QR.
  2. Постройте P=QQ^T.
  3. Вычислите Px и проверьте P^T=P.
  4. После вычисления проверьте одновременно два равенства: Q^T Q=I и QR=A с допустимой численной погрешностью.

Историческая справка

Матрицы вида QQ^T — стандартный инструмент ортогональной геометрии и линейных регрессий.

Ортогонализация как вычислительная идея выросла из работ по векторам, проекциям и методу наименьших квадратов. В современном виде QR-разложение стало особенно важным после появления машинных вычислений, когда стало ясно, что нормальные уравнения могут ухудшать обусловленность. Методы Грама-Шмидта, Хаусхолдера и Гивенса дали разные способы получить ту же структуру Q и R, но с разной численной устойчивостью.

В послевоенной численной математике ортогональные разложения стали одним из ответов на ограниченную точность машинных вычислений. QR-разложение оказалось удобным компромиссом: оно сохраняет геометрию задачи и приводит ее к треугольной системе, которую можно надежно решать.

Историческая линия формулы

Формы проекторов применяются начиная с теории ортогональных преобразований. Связь с процессом Грама-Шмидта относится к построению ортонормированного базиса. Современная вычислительная роль QR-разложения сформировалась в численной линейной алгебре XX века и не сводится к одному автору.

Пример

Q=(3/5,4/5)^T. P=[[9/25,12/25],[12/25,16/25]], Px=(2,-1)= (6/25,8/25). В вычислительном примере для "Проектор на span(Q)" важно контролировать два свойства одновременно. Во-первых, столбцы Q должны иметь единичную длину и быть попарно ортогональны, то есть Q^T Q близко к единичной матрице. Во-вторых, произведение QR должно восстанавливать исходную матрицу A с допустимой погрешностью. Если первое свойство выполнено, но A не восстанавливается, ошибка вероятна в коэффициентах R. Если A восстанавливается, но Q^T Q заметно отличается от I, разложение может быть непригодным для устойчивых расчетов.

Частая ошибка

Использовать Q^TQ вместо QQ^T при вычислении проекции. Частая ошибка - воспринимать QR как обычное разложение на любые две матрицы. Смысл QR именно в ортонормированности Q и верхнетреугольности R. Также нельзя забывать, что классический процесс Грама-Шмидта может быть численно нестабилен для почти зависимых столбцов; в практических вычислениях часто используют модифицированный вариант, отражения Хаусхолдера или вращения Гивенса.

Практика

Задачи с решением

Проверить идемпотентность

Условие. P=[[1,0],[0,0]]

Решение. P^2=P.

Ответ. идентично P

Проекция на линию

Условие. Q=(0,1)^T, x=(3,2)

Решение. P=diag(0,1), Px=(0,2)

Ответ. (0,2)

Дополнительные источники

  • Strang, Linear Algebra and Its Applications
  • Golub & Van Loan, Matrix Computations
  • MIT OCW 18.06SC Projections

Связанные формулы

Математика

Формула QR-разложения

$A = QR,\quad Q^{\top}Q=I_r,\quad R \text{ верхнетреугольная}$

Матрица A раскладывается в произведение ортонормированной матрицы Q и верхнетреугольной R. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

Математика

Наименьшие квадраты через QR

$\hat{x}=R^{-1}Q^{\top}b,\quad A=QR$

После QR-раскладывания задача минимизации сводится к решению треугольной системы. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

Математика

Остаток в задаче ЛС и его ортогональность

$r=b-A\hat{x},\quad A^T r=0,\quad Q^T r=0$

Оптимальный LS-решение дает остаток, перпендикулярный всем столбцам A (и столбцам Q). Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

Математика

Расстояние до подпространства через проекцию

$\operatorname{dist}(x,W)=\|x-\operatorname{proj}_{W}x\|$

Расстояние от вектора x до подпространства W равно длине ортогонального остатка после проекции x на W. Проекция дает ближайший вектор внутри W.