Математика / Вероятность и статистика

Среднее время первого возвращения: обратная стационарная доля

В конечной неприводимой цепи среднее число шагов до первого возвращения в состояние i равно 1/πᵢ. Самопереход на первом шаге считается возвращением; апериодичность для этого равенства не требуется.

Опубликовано: 28 октября 2026 г.Обновлено: 28 октября 2026 г.

Формула

T_i^+=\min\{n\ge1:X_n=i\},\qquad \mathbb E_iT_i^+=\frac1{\pi_i}

Схема Циклы между последовательными визитами

Пример траектории A,A,B,B,A: первый цикл длины 1 включает самопереход, следующий — длины 3. Это иллюстрация, не среднее по двум циклам.

Обозначения

$Tᵢ⁺$: первый положительный номер шага возвращения в i, шаг
$πᵢ$: стационарная вероятность состояния i, безразмерная
$Eᵢ$: математическое ожидание при старте X₀=i, безразмерная
$Pᵢᵢ$: вероятность непосредственного самоперехода, безразмерная

Условия применения

Цепь конечна, однородна и неприводима, поэтому имеет единственное стационарное распределение с πᵢ>0 и конечное среднее возвращение. Старт находится в i, отсчёт первого возвращения начинается с n=1. Периодичность цепи не нарушает это равенство.

Ограничения

Время достижения из другого состояния не равно 1/πᵢ в общем случае. Если разрешить n=0, ответ при старте в i станет нулевым и вопрос изменится. Для бесконечных цепей нужны дополнительные условия возвратности; конечная формула не переносится без проверки. Среднее не задаёт гарантированную длительность цикла.

Подробное объяснение

Представим длинную траекторию, разбитую визитами в i на циклы возвращения. Каждый цикл даёт один новый визит, а его средняя длина определяет плотность этих визитов во времени. В неприводимой конечной цепи долгосрочная доля моментов в i равна πᵢ, поэтому средняя длина цикла равна обратной доле.

Начальный момент не считается возвращением. При этом выходить из i перед возвратом не требуется: если X₁=i, то Tᵢ⁺=1. Удаление самопереходов изменяет процесс и среднее. Это особенно заметно в цепи с большой вероятностью остаться на месте, где многие циклы имеют длину один шаг.

Равенство не требует сходимости pₙ к π. Например, детерминированное чередование двух состояний имеет период 2 и среднее возвращение ровно 2; его стационарная смесь(1/2,1/2) даёт тот же ответ. Период ограничивает возможные длины циклов, но не отменяет среднее соотношение.

Проверять формулу можно через уравнения достижения i из остальных состояний. Сначала находят hⱼ=Eⱼτᵢ для j≠i и hᵢ=0; затем EᵢTᵢ⁺=1+∑ⱼ≠ᵢPᵢⱼhⱼ. Дополнительная единица учитывает первый переход, включая случаи немедленного самовозвращения.

Как пользоваться формулой

Проверьте конечность и неприводимость цепи, затем найдите нормированную стационарную строку с положительными компонентами.
Для нужного состояния i возьмите обратную величину 1/πᵢ и назовите результат средним числом дискретных переходов.
Независимо решите уравнения времени достижения i из других состояний с граничным hᵢ=0, если нужен контроль результата.
Добавьте первый шаг как 1+∑ⱼ≠ᵢPᵢⱼhⱼ; самопереход уже учтён и не требует предварительного выхода из исходного состояния.

Историческая справка

Связь среднего возвращения со стационарной частотой принадлежит общей теории возвратов в марковских моделях. Она соединяет два взгляда на одну траекторию: распределение доли времени по состояниям и разбиение времени на циклы между повторными посещениями.

В матричной традиции конечных цепей, представленной книгой Kemeny и Snell1960 года, времена посещения и стационарные вероятности изучаются вместе, но не отождествляются. Springer переиздал эту книгу в 1976 году с дополнительным приложением о фундаментальных матрицах.

Раздел 11.5 Grinstead и Snell посвящён средним временам первого достижения и возвращения. В нём обратная стационарная вероятность появляется как следствие линейных балансов. Современная краткая запись EᵢTᵢ⁺=1/πᵢ сохраняет смысл положительного времени возврата; потеря знака«+» способна подменить задачу тривиальным нулевым временем.

Историческая линия формулы

Используется стандартное равенство теории возвратов для конечной неприводимой цепи. Оно приведено по учебной традиции Grinstead, Snell и Kemeny, без заявления о единоличном авторстве. Название «цепь Маркова» относится к классу моделей, а не автоматически ко всем позднейшим теоремам о нём.

Пример

Для P=((3/4,1/4),(1/2,1/2)) стационарная строка(2/3,1/3). Поэтому среднее возвращение в A равно 3/2 шага, в B —3 шага. Проверим без стационарной формулы. Из B время достижения A удовлетворяет h_B=1+(1/2)h_B, значит h_B=2. Из A первое возвращение имеет ожидание 1+(1/4)·2=1,5; самопереход с вероятностью 3/4 заканчивает цикл за 1 шаг. Аналогично время достижения B из A равно 4, а возвращение из B:1+(1/2)·4=3. Все четыре числа различаются по смыслу:2 и 4 относятся к достижению из другого старта,1,5 и 3 — к возвращению.

Частая ошибка

Не начинайте поиск возвращения с n=0. Не требуйте сначала покинуть i: самопереход уже является возвратом через один шаг. Не выдавайте 1/πᵢ за время достижения из произвольного j. Не вводите апериодичность как обязательное условие этого равенства; она нужна для другого утверждения о пределе распределений.

Практика

Задачи с решением

Периодическое возвращение

Условие. Цепь детерминированно движется по циклу A→B→C→A. Найдите среднее возвращение в A.

Решение. π=(1/3,1/3,1/3). Обратная доля 3. Прямо каждая траектория возвращается ровно через 3 шага.

Ответ. 3 шага; периодичность не мешает.

Самопереходы и геометрия

Условие. Все строки P равны(1/2,1/2). Каково время возвращения в A из A?

Решение. На каждом положительном шаге шанс A равен 1/2 независимо от прошлого. Геометрическое ожидание 1/(1/2)=2; π_A=1/2 подтверждает результат.

Ответ. 2 шага в среднем.

Дополнительные источники

https://math.dartmouth.edu/~prob/prob/prob.pdf
https://stats.libretexts.org/Bookshelves/Probability_Theory/Introductory_Probability_%28Grinstead_and_Snell%29/11%253A_Markov_Chains/11.05%253A_Mean_First_Passage_Time_for_Ergodic_Chains

Связанные формулы

Математика

Стационарное распределение цепи Маркова и условие сходимости

$\pi P=\pi,\qquad \sum_i\pi_i=1,\quad \pi_i\ge0$

Стационарное распределение сохраняется после одного шага цепи. Для конечной неприводимой цепи оно единственно, но сходимость распределений из любого старта дополнительно требует апериодичности.

Математика

Распределение цепи Маркова через n шагов: матрица переходов

$p_n=p_0P^n,\qquad p_{n+1,j}=\sum_i p_{n,i}P_{ij}$

Распределение конечной однородной цепи после n шагов получается умножением начальной строки вероятностей на степень матрицы переходов. Элементы Pⁿ суммируют вероятности всех траекторий нужной длины между состояниями.

Математика

Фундаментальная матрица поглощения и среднее число шагов

$N=(I-Q)^{-1}=\sum_{n=0}^{\infty}Q^n,\qquad t=N\mathbf1$

Фундаментальная матрица поглощающей цепи считает ожидаемые посещения переходных состояний до поглощения. Сумма строки даёт среднее число шагов до выхода из временной части цепи, включая возможные повторные визиты.