Математика / Вероятность и статистика

Стационарное распределение цепи Маркова и условие сходимости

Стационарное распределение сохраняется после одного шага цепи. Для конечной неприводимой цепи оно единственно, но сходимость распределений из любого старта дополнительно требует апериодичности.

Опубликовано: 28 октября 2026 г.Обновлено: 28 октября 2026 г.

Формула

\pi P=\pi,\qquad \sum_i\pi_i=1,\quad \pi_i\ge0

Схема Баланс потоков в стационарной смеси

Для π=(2/3,1/3) переходы A→B и B→A несут одинаковую массу 1/6 за шаг; самопереходы остаются внутри состояний.

Обозначения

$π$: строка стационарных вероятностей, безразмерная
$P$: матрица условных переходов со стохастическими строками, безразмерная
$πᵢ$: долгосрочная доля состояния i в неприводимой конечной цепи, безразмерная
$pₙ$: распределение на конкретном шаге n, безразмерная

Условия применения

P — матрица конечной однородной цепи. Для единственности и положительности всех компонент π достаточно неприводимости. Чтобы p₀Pⁿ→π для любого p₀, дополнительно нужна апериодичность. Нормировка и неотрицательность входят в определение искомого распределения.

Ограничения

У приводимой цепи возможны несколько стационарных распределений и зависимость предела от старта. У периодической неприводимой цепи единственный π существует, но обычный предел pₙ может отсутствовать. Решение только однородной линейной системы без нормировки не определяет вероятности.

Подробное объяснение

Равенство πP=π означает баланс вероятностной массы каждого состояния за один переход. Для компоненты j входящая масса ∑ᵢπᵢPᵢⱼ должна совпасть с πⱼ. При этом отдельные потоки между парами могут различаться: детальный баланс πᵢPᵢⱼ=πⱼPⱼᵢ является дополнительным, более сильным свойством.

Уравнения(I−Pᵀ)πᵀ=0 линейно зависимы, поскольку строки P суммируются в 1. Одно из них заменяют условием∑πᵢ=1 и проверяют оставшиеся. Для конечной неприводимой цепи получается единственное распределение со строго положительными компонентами.

Инвариантность не говорит, насколько быстро меняется распределение из другого старта. Простейший контрпример — два состояния с обязательным чередованием. Смесь(1/2,1/2) инвариантна, но старт(1,0) в неё никогда не превращается. Апериодичность устраняет именно это препятствие для конечной неприводимой цепи.

Долгосрочная доля времени и предел распределения на фиксированном шаге также различаются. Даже при чередовании средняя частота посещения обоих состояний равна 1/2. Поэтому при интерпретации ответа следует сказать, нужна ли доля наблюдений за длинный период или вероятность состояния в далёкий определённый момент.

Как пользоваться формулой

Составьте уравнение πP=π в принятом порядке состояний; одно линейно зависимое равенство замените нормировкой суммы компонент.
Решите систему, проверьте неотрицательность и подставьте найденную строку в исходное произведение, не только в выбранные уравнения.
Исследуйте сообщаемость и период цепи, если нужно утверждать единственность или сходимость из произвольного начального состояния.
Разделите в выводе стационарную смесь, долгосрочные доли и предел pₙ; для периодического примера обычный предел может отсутствовать.

Историческая справка

Стационарное распределение входит в матричную теорию конечных цепей Маркова как инвариантная вероятностная мера. Учебное изложение отличает его от предельного распределения, поскольку существование решения линейного уравнения и сходимость степеней матрицы — разные утверждения.

Книга Kemeny и Snell «Finite Markov Chains», впервые изданная в 1960 году и переизданная Springer в 1976 году, систематизирует конечные модели через классы состояний и матрицы. В таком языке периодичность становится конкретным препятствием для обычного предела, а не арифметической ошибкой поиска π.

Глава 11 учебника Grinstead и Snell отдельно рассматривает эргодические цепи и предельную теорему. Современная вычислительная запись решает линейную систему для π и проверяет её невязку. Эта операция удобна, но теоретические условия сходимости по-прежнему требуют анализа графа переходов.

Историческая линия формулы

Инвариантные распределения относятся к общей теории марковских процессов и линейных операторов. Название цепи связано с А. А. Марковым; условия единственности и предела здесь приведены по современной учебной традиции, без назначения единственного автора всей совокупности результатов.

Пример

Пусть P=((3/4,1/4),(1/2,1/2)), π=(a,1−a). Из первого компонента a=(3/4)a+(1/2)(1−a), откуда(3/4)a=1/2 и a=2/3. Значит π=(2/3,1/3). Прямая подстановка даёт первый компонент 1/2+1/6=2/3, второй 1/6+1/6=1/3. Обе вероятности положительны и суммируются в 1. Переходы между состояниями возможны в обе стороны, а самопереходы имеют положительную вероятность, поэтому цепь неприводима и апериодична. Здесь допустимо утверждать pₙ→π из любого старта. Число 2/3 не означает, что каждое третье посещение обязано приходиться на B: это вероятностная доля, а не расписание.

Частая ошибка

Не называйте любой собственный вектор для числа 1 распределением: нужны нормировка и знак. Не выводите сходимость только из πP=π. Не требуйте детального баланса для любой цепи. Не путайте вероятность через n шагов с усреднённой долей времени, особенно при периодическом движении.

Практика

Задачи с решением

Период два

Условие. P=((0,1),(1,0)). Найдите π и решите, сходится ли pₙ из(1,0).

Решение. a=1−a даёт a=1/2. Из(1,0) распределения чередуются(0,1),(1,0), поэтому обычного предела нет.

Ответ. π=(1/2,1/2); сходимости из этого старта нет.

Два поглощающих состояния

Условие. P=I₂. Сколько стационарных распределений?

Решение. Любая строка(a,1−a),0≤a≤1, удовлетворяет πI=π. Каждый старт остаётся собой.

Ответ. Бесконечно много; единственности нет.

Дополнительные источники

https://math.dartmouth.edu/~prob/prob/prob.pdf
https://link.springer.com/book/9780387901923

Связанные формулы

Математика

Распределение цепи Маркова через n шагов: матрица переходов

$p_n=p_0P^n,\qquad p_{n+1,j}=\sum_i p_{n,i}P_{ij}$

Распределение конечной однородной цепи после n шагов получается умножением начальной строки вероятностей на степень матрицы переходов. Элементы Pⁿ суммируют вероятности всех траекторий нужной длины между состояниями.

Математика

Среднее время первого возвращения: обратная стационарная доля

$T_i^+=\min\{n\ge1:X_n=i\},\qquad \mathbb E_iT_i^+=\frac1{\pi_i}$

В конечной неприводимой цепи среднее число шагов до первого возвращения в состояние i равно 1/πᵢ. Самопереход на первом шаге считается возвращением; апериодичность для этого равенства не требуется.

Математика

Собственное значение и собственный вектор

$Av=\lambda v,\quad v\ne0$

Собственный вектор матрицы A - это ненулевой вектор, который после умножения на A остается на той же прямой. Собственное значение lambda показывает, во сколько раз этот вектор растягивается, сжимается или меняет направление.