Математика / Вероятность и статистика

Закон полной дисперсии: внутри и между группами

Закон полной дисперсии раскладывает общий разброс X на средний разброс внутри групп и разброс условных средних между группами. Группы задаёт Y. Формула помогает понять источник неопределённости, а не только получить одно число.

Опубликовано: Обновлено:

Формула

$$\operatorname{Var}(X)=E[\operatorname{Var}(X\mid Y)]+\operatorname{Var}(E[X\mid Y])$$
Схема Полная дисперсия: два источника разброса
Полная дисперсия: два источника разбросаE[Var(X|Y)]внутри группVar(E[X|Y])между средними+Var(X) = внутри групп + между средними групп

Var(X) = внутри групп + между средними групп

Обозначения

$X$
величина, разброс которой измеряют, единица X
$Y$
группа, режим или информация, зависит от модели
$Var(X|Y)$
условная дисперсия внутри группы, квадрат единицы X
$E[X|Y]$
условное среднее группы, единица X

Условия применения

Требуется конечный второй момент E[X²], чтобы все дисперсии были определены и конечны. Условные ожидание и дисперсию берут относительно одной переменной Y или одного разбиения. В дискретном разбиении группы покрывают все исходы, а веса равны вероятностям. Независимость X и Y не требуется; второй член полезен именно когда средние групп различаются.

Ограничения

Разложение не говорит, что наблюдения независимы, и не заменяет анализ причинности: Y может быть только меткой группы. Если неверно посчитать условные средние, второй член неверен даже при точных внутригрупповых дисперсиях. Нельзя сложить обычную среднюю дисперсий без весов. Закон неприменим как численная формула при бесконечной дисперсии; сначала проверяют существование E[X²].

Подробное объяснение

Общий разброс можно увидеть на двух уровнях. Первый — случайность внутри конкретной группы Y: даже зная тип клиента или режим машины, X меняется. Второй — различие средних между группами: если сами группы имеют разные типичные значения, незнание группы добавляет разброс. Закон полной дисперсии точно складывает эти две части.

Алгебра начинается с Var(X)=E[X²]−(E[X])². Условное равенство Var(X|Y)=E[X²|Y]−(E[X|Y])² усредняют по Y, затем используют закон полного ожидания. После прибавления Var(E[X|Y])=E[(E[X|Y])²]−(E[X])² промежуточные квадраты сокращаются, и остаётся Var(X).

Оба слагаемых неотрицательны, поэтому Var(X)≥E[Var(X|Y)]: знание Y в среднем не увеличивает остаточную неопределённость X. Равенство возможно, если условные средние не меняются с Y. Если внутри каждой группы X почти постоянна, первая часть нулевая, а весь разброс создают различия средних.

Для двух групп с вероятностями p и 1−p сначала находят m₁,m₂ и v₁,v₂. Тогда внутригрупповая часть pv₁+(1−p)v₂, а межгрупповая p(m₁−m)²+(1−p)(m₂−m)², где m=pm₁+(1−p)m₂. Такая запись помогает не потерять веса.

Формула связана с законом полного ожидания, но отвечает на другой вопрос: не «каково среднее?», а «из каких уровней состоит разброс?». Игнорирование разброса средних систематически занижает общую дисперсию смеси.

Как пользоваться формулой

  1. Выберите разбиение Y и для каждой группы выпишите вероятность, условное среднее mᵢ и условную дисперсию vᵢ в согласованных единицах.
  2. Найдите общий уровень m=Σpᵢmᵢ по закону полного ожидания; он нужен для вычисления разброса групповых средних.
  3. Сложите Σpᵢvᵢ и Σpᵢ(mᵢ−m)²; обе части измеряются в квадрате единицы исходной величины.
  4. Проверьте неотрицательность обоих слагаемых и сравните результат с прямым расчётом Var(X), если известно полное распределение.

Историческая справка

Формула полной дисперсии относится к развитию условных распределений и правил моментов, а не к одиночному открытию. В задачах о смесях и группах использовали идею отделять внутригрупповой разброс от разности средних. По мере развития современной теории вероятностей условное ожидание и условная дисперсия получили общий строгий язык, позволяющий формулировать правило не только для конечного числа случаев, но и для общей информации. В статистике разложение близко по смыслу к разложению сумм квадратов в анализе вариации: там также различают изменчивость внутри и между группами, хотя условия могут отличаться. Современные курсы выводят закон из определения дисперсии и итерационных ожиданий, подчёркивая, что это тождество при конечном втором моменте, а не эмпирическое предположение. Такая интерпретация особенно полезна в прикладных моделях смесей, где обе части имеют самостоятельный содержательный смысл.

Историческая линия формулы

Общепринятого персонального автора у закона полной дисперсии нет: это следствие определений условного ожидания и дисперсии. Его исторический контекст — развитие условных распределений и моментов; связь с анализом вариации объясняет интерпретацию «внутри и между группами», но не делает формулы одним и тем же результатом.

Пример

Пусть Y обозначает две смены. Первая встречается с вероятностью 0,6, имеет среднее X=10 минут и дисперсию 4 мин²; вторая — с вероятностью 0,4, среднее 16 минут и дисперсию 9 мин². Общее m=12,4. Внутригрупповая часть 0,6·4+0,4·9=6 мин². Межгрупповая: 0,6(10−12,4)²+0,4(16−12,4)²=3,456+5,184=8,64 мин². Значит Var(X)=14,64 мин². Проверка: средние заметно различаются, поэтому общая дисперсия больше средней условной 6 мин². Если оставить только 6 мин², исчезнет вариация от перехода между сменами. Обе части имеют единицу мин², поэтому их складывают.

Частая ошибка

Нельзя писать Var(X)=E[Var(X|Y)] без второго слагаемого: так теряется разброс средних групп. Не путайте Var(E[X|Y]) с E[X|Y] — первая величина измеряется в квадрате единицы X. Не усредняйте vᵢ без вероятностных весов. Не применяйте формулу при неизвестной или бесконечной дисперсии, полагаясь только на существование среднего: нужен конечный второй момент.

Практика

Задачи с решением

Смесь двух режимов

Условие. Группа A имеет вероятность 0,5, среднее 4 и дисперсию 1; группа B имеет вероятность 0,5, среднее 8 и дисперсию 1. Найдите Var(X).

Решение. m=6. Средняя условная дисперсия равна 1. Дисперсия условных средних: 0,5(4−6)²+0,5(8−6)²=4. Сумма равна 5.

Ответ. Var(X)=5.

Нулевая внутригрупповая часть

Условие. Y равновероятно принимает 0 и 1, а X=3+4Y. Найдите Var(X).

Решение. При фиксированном Y величина X постоянна, поэтому Var(X|Y)=0. Условные средние 3 и 7 имеют среднее 5 и дисперсию 4.

Ответ. Var(X)=4.

Дополнительные источники

  • https://ocw.mit.edu/courses/18-600-probability-and-random-variables-fall-2019/pages/lecture-notes/
  • https://ocw.mit.edu/courses/6-436j-fundamentals-of-probability-fall-2018/resources/lecture-notes/

Связанные формулы

Математика

Дисперсия дискретной случайной величины

$D(X)=\sum_i (x_i-M(X))^2p_i$

Формула «Дисперсия дискретной случайной величины» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.

Математика

Среднеквадратическое отклонение случайной величины

$\sigma=\sqrt{D(X)}$

Формула «Среднеквадратическое отклонение случайной величины» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.

Математика

Закон полного ожидания и условное среднее

$E[X]=E[E[X\mid Y]],\qquad E[X]=\sum_iE[X\mid H_i]P(H_i)$

Закон полного ожидания говорит: сначала можно найти среднее X внутри каждой группы, заданной Y или разбиением Hᵢ, а затем усреднить эти условные средние по вероятностям групп. Результат равен общему математическому ожиданию X.

Математика

Неравенство Маркова для хвостовой вероятности

$P(X\ge a)\le\frac{E[X]}{a},\qquad X\ge0,\ a>0$

Неравенство Маркова даёт верхнюю границу вероятности большого значения неотрицательной случайной величины через её среднее. Оно работает без знания точного распределения, поэтому граница может быть грубой, но остаётся гарантированной при выполнении условий.