Все формулы РФ

Математика / Матрицы, определители

Псевдообратная для решения МНК

Псевдообратная матрица A^+ записывает МНК-решение как x=A^+b и обобщает обратную матрицу на прямоугольные и вырожденные системы.

Опубликовано: Обновлено:

Линейная алгебра

Формула

$$\hat x=A^+b,\qquad A^+=(A^\top A)^{-1}A^\top\ (\operatorname{rank}(A)=n).$$
table Псевдообратная как линейный оператор

Матрица A^+ напрямую строит оценку параметров из данных b.

На полном ранге формула сводится к обычному (A^T A)^(-1)A^T.

Обозначения

$A^+$
псевдообратная (Moore–Penrose) матрица, n×m матрица
$b$
вектор измерений, вектор
$\hat x$
решение МНК, вектор

Условия применения

  • A имеет полный столбцовый ранг n.
  • В общем случае для вырожденных рангов используется формула через SVD.
  • Размерности должны согласовываться: A^+b\in\mathbb R^n.

Ограничения

  • При плохой обусловленности вычисление через (A^\top A)^{-1} может быть нестабильным.
  • Для rank-deficient лучше применять SVD-реализацию псевдообратной.
  • В больших задачах хранение плотной A^+ не всегда практично.

Подробное объяснение

Псевдообратная Мура-Пенроуза расширяет понятие обратной матрицы на ситуации, где обычная обратная не существует: матрица может быть прямоугольной, иметь зависимые столбцы или строки. В полном столбцовом ранге она совпадает с формулой нормальных уравнений. В общем случае ее удобно строить через сингулярное разложение A=UΣV^T: ненулевые сингулярные числа заменяют обратными, а нулевые оставляют нулевыми. Тогда x=A^+b является МНК-решением минимальной нормы. Это особенно важно в статистике, обработке сигналов и машинном обучении. Важно видеть эту формулу в общей цепочке: исходные данные задают матрицу наблюдений A и правую часть b, затем выбирается способ приблизить b в пространстве столбцов A. Псевдообратная для решения МНК отвечает за обобщенное решение через псевдообратную, поэтому она не существует отдельно от ранга матрицы, ортогональности остатка и устойчивости вычислений. Если столбцы A хорошо различимы и данные имеют умеренный шум, нормальные уравнения могут дать понятный ручной путь. Если столбцы почти зависимы, лучше пользоваться QR или SVD, потому что они меньше усиливают ошибки округления. После вычисления результата полезно проверить три вещи: размерности всех матриц, величину остатка и связь с соседними формулами раздела. Такой подход превращает формулу из механической записи в рабочий инструмент анализа данных, регрессии, инженерных измерений и численной математики.

Как пользоваться формулой

  1. Постройте A^+ по формуле или через устойчивый пакетный алгоритм.
  2. Перемножьте A^+ на b.
  3. Проверьте результат по условию A^\top(b-A\hat x)=0.
  4. Проверьте оптимальность через остаток: он должен быть ортогонален столбцам A или, в QR-записи, давать Q^T r=0.

Историческая справка

Понятие обобщенной обратной развивалось в XX веке; важные вклады связаны с Элиакимом Муром и Роджером Пенроузом. С появлением SVD псевдообратная стала не только теоретическим объектом, но и практическим инструментом численных методов. В XX веке эта тема стала частью стандартной численной линейной алгебры: вычислительные машины сделали возможной массовую обработку переопределенных систем, но одновременно показали, что алгебраически эквивалентные формулы могут вести себя по-разному из-за округления. Поэтому учебники начали разделять теоретический вывод МНК, геометрическое объяснение через проекции и практические алгоритмы QR, Холецкого и SVD. Такой исторический сдвиг важен для пользователя: он объясняет, почему на странице рядом стоят не только “красивая формула”, но и условия применимости, ограничения и типичные ошибки.

Историческая линия формулы

Название Мура-Пенроуза отражает вклад Элиакима Мура и Роджера Пенроуза; использование в МНК связано с общей теорией обобщенных обратных и сингулярного разложения. Современная запись является результатом развития метода наименьших квадратов, матричной алгебры и численных методов; поэтому атрибуция здесь распределенная: классические идеи связаны с Гауссом и Лежандром, а устойчивые вычислительные формы — с более поздней численной линейной алгеброй.

Пример

Если A имеет полный столбцовый ранг, то A^+=(A^T A)^{-1}A^T. Для A=[[1,0],[1,1],[1,2]] и b=(1,2,2)^T это дает тот же x=(7/6,1/2)^T. Если же столбцы зависимы, формула через обратную A^T A неприменима, но псевдообратная, построенная через SVD, все равно задает одно выделенное решение — обычно решение минимальной евклидовой нормы среди всех минимизаторов. Дополнительная проверка: после получения численного ответа всегда подставь найденный вектор обратно в Ax, вычисли остаток r=b-Ax и сравни его норму с нормой остатка для соседнего пробного решения. Если речь идет о МНК, маленькое изменение параметров не должно уменьшать критерий; если оно уменьшает сумму квадратов, значит нормальные уравнения, QR-шаг или ручное исключение выполнены с ошибкой. Такой контроль особенно полезен в учебных задачах, где итоговое число легко получить, но трудно заметить неверный знак или перепутанный порядок умножения.

Частая ошибка

Нельзя считать псевдообратную обычной обратной матрицей. Для прямоугольной A равенства AA^+=I и A^+A=I выполняются только в специальных случаях и обычно заменяются свойствами ортогональных проекторов. Отдельно проверяй размерности: произведения A^T A, A^T b, Q^T b и R x допустимы только при согласованных числах строк и столбцов. Ошибка размерности часто маскируется в ручной записи, но сразу ломает смысл формулы.

Практика

Задачи с решением

Вычислить оценку через A^+

Условие. A=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix},\ A^+=\frac16\begin{bmatrix}4&1&-2\\-3&0&3\end{bmatrix},\ b=(1,1,2)^\top.

Решение. x_1=1/3,\ x_2=1/2.

Ответ. \hat x=(1/3,1/2)^\top.

Второй пример

Условие. b=(1,1,2)^\top,\ x=(1/3,1/2)^\top,\ A=\begin{bmatrix}1&1\\1&2\\1&3\end{bmatrix}.

Решение. A x=(10/3,11/3,13/3)^\top.

Ответ. Вектор оценки корректен для данной A^+ и выбранного b.

Дополнительные источники

  • Aitken, Introduction to Linear Algebra
  • Ben-Israel, Greville, Generalized Inverses

Связанные формулы

Математика

Нормальные уравнения для МНК

$A^\top A\,\hat x = A^\top b.$

Нормальные уравнения A^T A x = A^T b задают стационарное условие задачи МНК и позволяют найти параметры, при которых остаток ортогонален всем столбцам матрицы A.

Математика

QR-разложение для задачи МНК

$A=QR,\quad Q^\top Q=I,\quad \|Ax-b\|_2^2=\|Rx-Q^\top b\|_2^2+\|Q_\perp^\top b\|_2^2.$

QR-разложение решает задачу МНК без формирования A^T A: если A=QR, то параметры находятся из треугольной системы R x = Q^T b.