Математика / Начала анализа

Метод Ньютона для минимума: шаг через матрицу Гессе

Метод Ньютона выбирает шаг по квадратичной модели целевой функции: матрица Гессе учитывает кривизну, а градиент задаёт линейную часть. Решение системы даёт направление, но длину шага иногда приходится уменьшать.

Опубликовано: 28 октября 2026 г.Обновлено: 28 октября 2026 г.

Математический анализ Алгебра Страницы с задачами и решениями Есть историческая справка

Формула

H_k d_k=-g_k,\qquad x_{k+1}=x_k+\alpha_k d_k

Схема Квадратичная модель и точный шаг

Для f=(x−1)²+2(y+2)² показаны уровни и переход из (3,0) в минимум (1,−2).

Обозначения

$xₖ$: текущий вектор переменных, безразмерная
$gₖ$: градиент f в xₖ, безразмерная
$Hₖ$: матрица вторых производных f в xₖ, безразмерная
$dₖ$: ньютоновское направление, безразмерная
$αₖ$: множитель длины шага, безразмерная

Условия применения

Функция дважды непрерывно дифференцируема в окрестности текущей точки; Hₖ невырождена. Для гарантированного направления спуска достаточно положительной определённости Hₖ и ненулевого градиента. Все координаты в учебных примерах безразмерны.

Ограничения

Невырожденность Гессе сама по себе не гарантирует минимум: при отрицательной кривизне направление может увеличивать функцию. Далеко от решения полный шаг бывает неудачным. При вырожденной или плохо обусловленной матрице нужны регуляризация, иная модель либо устойчивый решатель.

Подробное объяснение

Пусть около x функция заменена моделью m(d)=f(x)+gᵀd+dᵀHd/2. Её стационарная точка удовлетворяет g+Hd=0. Если H положительно определена, модель имеет единственный минимум и система Hd=−g определяет направление Ньютона. Явно вычислять H⁻¹ для этого не требуется.

Скалярная формула d=−f′/f″ делит производную на кривизну. При большом f″ одно и то же значение производной приводит к меньшему перемещению. В нескольких измерениях матрица учитывает также смешанные производные, поэтому направление обычно не параллельно отрицательному градиенту.

Для положительно определённой H имеем gᵀd=−dᵀHd<0 при d≠0. Это локальное свойство: достаточно малый положительный шаг уменьшает функцию. Равенство не доказывает успешность α=1 на произвольном расстоянии. Проверка убывания или правило Армихо защищает от слишком смелого полного шага.

На строго выпуклой квадратичной функции Гессе постоянна и полный шаг решает задачу за одну итерацию в точной арифметике. На нелинейной функции такая точность исчезает: близость квадратичной модели зависит от положения. Квадратичная локальная сходимость требует дополнительных условий гладкости Гессе и достаточно близкого старта.

Как пользоваться формулой

Вычислите градиент и симметричную матрицу вторых производных в одной текущей точке; смешанные производные должны совпасть.
Решите систему Hₖdₖ=−gₖ численным методом; проверьте невязку и положительную определённость матрицы до выбора шага.
Проверьте знак скалярного произведения gₖᵀdₖ; для направления спуска при ненулевом градиенте он должен быть отрицательным.
Начните с полного шага и при необходимости уменьшайте его по условию убывания; после перехода пересчитайте производные.

Историческая справка

Ньютоновский подход к оптимизации связан с применением метода решения уравнений к условию стационарности ∇f=0. Современный учебный вывод использует квадратичную модель и линейную алгебру, поэтому его не следует смешивать с историей одной скалярной формулы поиска корня.

В книге Boyd и Vandenberghe «Convex Optimization» 2004 года метод изложен как основной алгоритм гладкой выпуклой оптимизации. Отдельно обсуждаются направление, выбор длины шага и локальное поведение. Такое разделение объясняет, почему вычисление ньютоновского направления ещё не завершает алгоритм.

На практике задача со вторыми производными сводится к системе линейных уравнений. Именно эта запись позволяет использовать разреженность и устойчивые факторизации. Современное обозначение Hd=−g подчёркивает вычислительную операцию, а не необходимость хранить обратную матрицу.

Историческая линия формулы

Название отражает ньютоновскую традицию решения нелинейных уравнений. Матричный алгоритм минимизации, его анализ и стратегии выбора шага принадлежат развитию численной оптимизации; полный современный метод нельзя приписывать одной исторической записи Ньютона.

Пример

Рассмотрим f(x,y)=(x−1)²+2(y+2)² из точки (3,0). Здесь g=(2(x−1),4(y+2))=(4,8), H=diag(2,4). Решаем 2d₁=−4 и 4d₂=−8: d=(−2,−2). Полный шаг α=1 даёт (1,−2). Значение цели уменьшилось с 4+8=12 до нуля. Проверим направление: gᵀd=−8−16=−24; одновременно dᵀHd=8+16=24, как и требует тождество. Градиент в новой точке нулевой, положительная диагональ H подтверждает единственный глобальный минимум. Здесь один шаг точен именно из-за квадратичности, а не из-за универсального свойства любого метода второго порядка.

Частая ошибка

Не заменяйте решение Hd=−g покоординатным делением при ненулевых смешанных производных. Не считайте всякую стационарную точку минимумом. Не переносите результат «один шаг» с квадратичной функции на любую гладкую. Если gᵀd≥0, уменьшение α не исправляет отсутствие направления спуска: сначала исправьте модель.

Практика

Задачи с решением

Одномерная нелинейная цель

Условие. Для f(x)=x⁴/4+x²/2 и x₀=1 найдите полный ньютоновский шаг.

Решение. f′(1)=2, f″(1)=4; d=−1/2. x₁=1/2. f(1)=3/4, f(1/2)=1/64+1/8=9/64.

Ответ. x₁=0,5; f(x₁)=0,140625.

Отрицательная кривизна

Условие. Для f(x)=−x²/2, x=1 вычислите направление и определите его смысл.

Решение. g=−1, H=−1; (−1)d=1, поэтому d=−1. Полный шаг ведёт в 0, где f=0 вместо−1/2. Это максимум, не минимум.

Ответ. Направление увеличивает f; критерий спуска нарушен.

Дополнительные источники

https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf
https://www.cs.cornell.edu/courses/cs4780/2021fa/lectures/Opt.html

Связанные формулы

Математика

Метод Ньютона: приближение корня по касательной

$x_{k+1}=x_k-\frac{f(x_k)}{f'(x_k)}$

Метод Ньютона заменяет функцию касательной в текущем приближении и берёт нуль этой прямой как следующий шаг. Вблизи простого корня сходимость может быть квадратичной.

Математика

Правило Армихо: обратный поиск длины шага спуска

$f(x+\alpha p)\le f(x)+c\alpha\nabla f(x)^Tp,\quad \nabla f(x)^Tp<0,\quad \alpha\leftarrow\beta\alpha,\quad 0<c<1,\ 0<\beta<1$

Обратный поиск по правилу Армихо уменьшает пробный шаг, пока функция не снизится на заданную долю линейного прогноза. Он выбирает длину движения вдоль уже найденного направления спуска.

Математика

Критерий Гессе для двух переменных

$D=f_{xx}(a,b)f_{yy}(a,b)-f_{xy}(a,b)^2; D>0, f_{xx}>0 \Rightarrow min; D>0, f_{xx}<0 \Rightarrow max; D<0 \Rightarrow saddle$

Критерий Гессе для двух переменных: формула D=f_{xx}(a,b)f_{yy}(a,b)-f_{xy}(a,b)^2; D>0, f_{xx}>0 \Rightarrow min; D>0, f_{xx}<0 \Rightarrow max; D<0 \Rightarrow saddle помогает разобрать функцию через пределы, производные, интегралы или ряды. В тексте есть условия, пример, ошибки и проверка результата.