Информатика / Кодирование информации

Взаимная информация двух дискретных величин

Взаимная информация двух дискретных величин даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.

Опубликовано: 1 ноября 2026 г.Обновлено: 1 ноября 2026 г.

Формула

I(X;Y)=\sum_{x,y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}

Схема Информация двух связанных битов

Совместные вероятности: p₀₀=p₁₁=(1−p)/2, p₀₁=p₁₀=p/2. Маргинальные биты честные.

Обозначения

$x$: аргумент, состояние или вектор данных конкретной задачи, единицы исходной модели
$n,k,i,j$: целые индексы узла, шага либо компоненты, безразмерные
$ε / err$: допуск или оценка вычислительной ошибки, если она используется, единицы результата

Условия применения

Совместные вероятности должны быть неотрицательны и суммироваться к 1, а p(x) и p(y) получают суммированием по другой переменной. Нулевые клетки не дают вклада; логарифм применяют только там, где p(x,y)>0, и используют одну систему единиц.

Ограничения

Результат нельзя переносить на похожую по словам, но другую модель. Оценка ошибки может быть локальной, а сходимость — зависеть от гладкости, обусловленности или начальных данных. Округление, вырождение матрицы и нарушения ограничений меняют смысл вычисления. Число после знака равенства не заменяет проверку: следует показать, какая именно формула применена, в каких единицах получен ответ и почему условия выполнены. Для информационных величин особенно важно не смешивать биты и натуральные единицы.

Подробное объяснение

Взаимная информация сравнивает совместное распределение p(x,y) с тем, каким оно было бы при независимости p(x)p(y). Логарифм равен нулю ровно там, где конкретная пара не несёт избытка связи.

Суммирование по всем парам делает величину симметричной: I(X;Y)=I(Y;X). При этом отдельные вклады могут быть отрицательны, но их взвешенная сумма неотрицательна.

Для одинаковых честных битов наблюдение Y полностью определяет X, поэтому остаётся один бит информации. Для независимых битов знание Y не меняет распределение X, и ответ нулевой.

Взаимная информация выявляет зависимость, в том числе нелинейную, но не устанавливает причинность и чувствительна к способу оценивания вероятностей по конечной выборке.

У совпадающих битов две ненулевые пары: (0,0) и (1,1). Для каждой p(x,y)/(p(x)p(y))=0,5/0,25=2, поэтому вклад 0,5 бита; сумма равна одному. Для независимых четырёх пар отношение равно единице, log₂1=0 и все вклады исчезают.

Как пользоваться формулой

Выпишите I(X;Y)=\sum_{x,y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)} и отметьте искомую величину; не заменяйте её одноимённым параметром из другой модели.
Подготовьте данные в требуемой форме: проверьте индексы, знак, область аргумента, нормировку либо размерность.
Выполните первое задание по действиям и сохраните промежуточные значения каждого коэффициента, отношения или суммы.
Проверьте результат естественным способом: симметрией, точным частным случаем, невязкой или исходным ограничением.
Разберите второе задание: изменённые данные показывают границу применимости и предупреждают типичную ошибку метода.

Историческая справка

Понятие взаимной информации было введено Клодом Шенноном в статье 1948 года как симметричная мера статистической связи источника и получателя. В отличие от корреляции она определена для произвольных дискретных распределений и измеряется в битах при логарифме по основанию два. Формула объединяет совместное распределение с его произведением маргиналей: при независимости они совпадают, и логарифмический множитель исчезает. Позднее взаимная информация стала важна в кодировании, статистике и анализе зависимостей.

В разделе «The Discrete Noiseless Channel» статьи 1948 года Шеннон ввёл меры неопределённости и передачи информации между переменными. Современная формула взаимной информации является симметричной формой его идеи уменьшения неопределённости после наблюдения.

Историческая линия формулы

Взаимная информация корректно относится к шенноновской теории связи 1948 года. Её нельзя путать с причинным влиянием: положительное значение показывает статистическую зависимость распределений, но не устанавливает направление причины. Источник в карточке указан для различения исторического имени, публикации и современной вычислительной формы; эти уровни не следует смешивать.

Пример

Пусть X=Y — честный бит: p(0,0)=p(1,1)=0,5, маргинальные вероятности по 0,5. Каждый ненулевой вклад равен 0,5log₂2=0,5; I(X;Y)=1 бит. У совпадающих битов две ненулевые пары: (0,0) и (1,1). Для каждой p(x,y)/(p(x)p(y))=0,5/0,25=2, поэтому вклад 0,5 бита; сумма равна одному. Для независимых четырёх пар отношение равно единице, log₂1=0 и все вклады исчезают. Взаимная информация сравнивает совместное распределение p(x,y) с тем, каким оно было бы при независимости p(x)p(y). Логарифм равен нулю ровно там, где конкретная пара не несёт избытка связи.

Частая ошибка

Нельзя вычислять I только из маргинальных вероятностей: нужна совместная таблица. Нельзя считать отрицательный отдельный вклад ошибкой. Не следует трактовать I>0 как доказательство причинной связи. И нельзя сравнивать величины в битах и натах без пересчёта основания логарифма. В разборе «Взаимная информация двух дискретных величин» проверяют именно обозначения и условия данной записи.

Практика

Задачи с решением

Независимые честные биты

Условие. Проверьте независимые честные биты.

Решение. p(x,y)=0,25=p(x)p(y), отношение равно 1, каждый вклад 0, сумма 0.

Ответ. I(X;Y)=0.

Постоянная случайная величина

Условие. Проверьте постоянную Y=0.

Решение. H(Y)=0 и I(X;Y)≤H(Y); либо в сумме отношение для единственного y сокращается до 1.

Ответ. I(X;Y)=0 бит.

Дополнительные источники

https://onlinelibrary.wiley.com/doi/pdf/10.1002/j.1538-7305.1948.tb01338.x
https://ocw.mit.edu/courses/6-050j-information-and-entropy-spring-2008/80c7258fd6bc5780797975eabb6fd747_MIT6_050JS08_textbook.pdf

Связанные формулы

Информатика

Дивергенция Кульбака—Лейблера для дискретных распределений

$D_{KL}(P\|Q)=\sum_i p_i\log_2\frac{p_i}{q_i}$

Дивергенция Кульбака—Лейблера для дискретных распределений даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.

Информатика

Ёмкость двоичного симметричного канала

$C=1-H_2(p),\quad H_2(p)=-p\log_2p-(1-p)\log_2(1-p)$

Ёмкость двоичного симметричного канала даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.

Информатика

Перекрёстная энтропия дискретного распределения

$H(P,Q)=-\sum_i p_i\log_2q_i$

Перекрёстная энтропия дискретного распределения даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.