Аналитика / Статистические выводы

Расстояние полной вариации дискретных распределений

Расстояние полной вариации равно наибольшему расхождению вероятностей одного события по двум распределениям. Для конечного алфавита его считают как половину суммы модулей разностей.

Опубликовано: 6 ноября 2026 г.Обновлено: 6 ноября 2026 г.

Формула

d_{\mathrm{TV}}(P,Q)=\frac12\sum_i|p_i-q_i|=\max_A|P(A)-Q(A)|

Схема Общая и перемещённая масса

Для P=(0,50;0,30;0,20), Q=(0,20;0,40;0,40). Обе величины безразмерны.

Обозначения

P, Q: два распределения на одном конечном наборе исходов
$p_i, q_i$: вероятности i-го исхода, доля
$A$: любое подмножество исходов, то есть событие
$d_TV$: максимальное расхождение вероятностей события, доля

Условия применения

Оба вектора относятся к одним и тем же исходам; каждый содержит неотрицательные числа с суммой единица. Если некоторый исход есть только в одном списке, во втором ему назначают нулевую вероятность. Здесь используется соглашение с множителем 1/2.

Ограничения

Близость по полной вариации не сообщает, на каких именно исходах расходятся модели; это видно только из разностей. Некоторые источники называют полной вариацией удвоенную величину, поэтому соглашение нужно проверять. Для эмпирических частот малая дистанция сама по себе не доказывает качество оценки на новых данных.

Подробное объяснение

Для каждого исхода найдём избыток p_i−q_i. Сумма всех разностей равна нулю: обе модели распределяют ровно единицу вероятности. Значит, положительные избытки по величине равны суммарным отрицательным дефицитам. Сумма модулей учитывает оба направления переноса, а множитель 1/2 оставляет только перенесённую массу.

Наибольшую положительную разность вероятностей даёт событие A, составленное из всех исходов с p_i>q_i. Добавление исхода с отрицательной разностью уменьшило бы выигрыш, а исключение положительного — потеряло бы часть выигрыша. Поэтому сумма положительных разностей совпадает с максимумом по событиям.

Из этой интерпретации сразу следует диапазон от нуля до единицы. Нуль получается при одинаковых распределениях, единица — при непересекающихся носителях. Если расстояние равно 0,07, то ни одно событие не может иметь расхождение вероятностей больше 0,07, хотя отдельные события могут иметь гораздо меньшую разность.

В отличие от дивергенции Кульбака — Лейблера это симметричное расстояние, определённое и при нулевых вероятностях. Оно не использует логарифмы и не выражается в битах. При перестановке моделей меняются знаки разностей, но их модули и ответ сохраняются.

Для конечного алфавита можно проверить результат без перебора всех подмножеств: сложить только положительные p_i−q_i или вычислить 1−Σmin(p_i,q_i). Последнее выражение показывает, какая общая масса остаётся после сопоставления совпадающих частей двух распределений.

Как пользоваться формулой

Составьте единый список исходов для обеих моделей; для отсутствующих позиций добавьте нули и проверьте нормировку отдельно.
Вычтите q_i из p_i для каждой позиции, сохраняя знаки; общая сумма разностей должна равняться нулю с учётом точности.
Сложите модули разностей и разделите итог пополам либо отдельно сложите только положительные разности вероятностей.
Постройте событие из позиций с p_i>q_i и проверьте, что разность его вероятностей совпала с вычисленным расстоянием.

Историческая справка

Полная вариация в этой задаче относится к математической традиции сравнения мер: разность двух вероятностных законов рассматривают через её положительную и отрицательную части. У рассматриваемой конечной формулы не выделяют единственного автора; её можно вывести непосредственно из нормировки вероятностей и определения максимального расхождения по событиям.

В современных курсах стохастических процессов расстояние используют при изучении перемешивания цепей Маркова. Например, курс Durham 2021/22 включает его в раздел о связывании распределений, а лекция Stanford о временах перемешивания сопоставляет сумму модулей с максимумом по событиям. Это учебные свидетельства применения, а не даты открытия. Запись d_TV и множитель 1/2 позволяют отличить вероятностное расстояние от некоторых соглашений о норме знакопеременной меры.

Историческая линия формулы

Формула относится к общей теории вероятностных мер; приписывать её одному исследователю без специального исторического основания некорректно. Ссылки на современные университетские курсы подтверждают определение и применение к цепям Маркова, но не устанавливают авторство.

Пример

Три исхода имеют вероятности P=(0,50;0,30;0,20) и Q=(0,20;0,40;0,40). Нужно оценить максимальное расхождение в вероятности события при замене P на Q. Разности по позициям равны 0,30; −0,10; −0,20. Сумма модулей составляет 0,60, значит d_TV=0,60/2=0,30. Событие A из одного первого исхода имеет P(A)=0,50, Q(A)=0,20 и даёт разность 0,30. Оно достигает найденного максимума. Ответ: 0,30, то есть 30 процентных пунктов вероятности. Проверка общей массы: min(0,50;0,20)+min(0,30;0,40)+min(0,20;0,40)=0,70; дополнение 1−0,70=0,30 совпало с ответом. Расстояние безразмерно и не является относительным процентом ошибки.

Частая ошибка

Не пропускайте множитель 1/2: без него максимальная сумма модулей равна двум. Не берите модуль после суммирования разностей — нормировка обнулит такую сумму при любых распределениях. Не сопоставляйте вероятности разных категорий по порядку строк: исходы должны совпадать по смыслу. Не путайте 0,30 вероятности с относительным ростом на 30 процентов: разность вероятностей измеряют в процентных пунктах.

Практика

Задачи с решением

Два бернуллиевских закона

Условие. P=(0,8;0,2), Q=(0,5;0,5). Найдите полную вариацию.

Решение. d_TV=(|0,8−0,5|+|0,2−0,5|)/2=(0,3+0,3)/2=0,3. Максимум достигается на первом исходе.

Ответ. 0,3.

Непересекающиеся носители

Условие. P=(1,0,0), Q=(0,0,1). Найдите расстояние и событие, достигающее максимума.

Решение. Сумма модулей равна |1−0|+0+|0−1|=2, расстояние равно 1. Событие из первого исхода имеет вероятности 1 и 0.

Ответ. d_TV=1; максимальное различие достигается на первом исходе.

Дополнительные источники

https://web.stanford.edu/class/cs265/Lectures/Lecture15/l15.pdf
https://www.maths.dur.ac.uk/users/ellen.g.powell/SPnotes.html
https://faculty.washington.edu/yenchic/26A_stat581/Lec2_large.html

Связанные формулы

Информатика

Дивергенция Кульбака—Лейблера для дискретных распределений

$D_{KL}(P\|Q)=\sum_i p_i\log_2\frac{p_i}{q_i}$

Дивергенция Кульбака—Лейблера для дискретных распределений даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.

Информатика

Энтропия Шеннона: средняя информация дискретного источника

$H(X)=-\sum_{i=1}^{m}p_i\log_2p_i$

Энтропия Шеннона измеряет среднюю неопределённость исхода по его вероятностям. При двоичном логарифме результат выражают в битах на символ; редкие и частые символы вносят разный вклад.

Математика

Стационарное распределение цепи Маркова и условие сходимости

$\pi P=\pi,\qquad \sum_i\pi_i=1,\quad \pi_i\ge0$

Стационарное распределение сохраняется после одного шага цепи. Для конечной неприводимой цепи оно единственно, но сходимость распределений из любого старта дополнительно требует апериодичности.