Информатика / Кодирование информации

Условная энтропия дискретных случайных величин

Условная энтропия показывает, какая средняя неопределённость о X остаётся после наблюдения Y. Она усредняет энтропии условных распределений с учётом вероятностей наблюдений.

Опубликовано: 6 ноября 2026 г.Обновлено: 6 ноября 2026 г.

Формула

H(X\mid Y)=-\sum_{x,y:p(x,y)>0}p(x,y)\log_2 p(x\mid y)

Схема Неопределённость до и после наблюдения

Для примера с весами наблюдений 3/4 и 1/4. Высоты выражены в битах.

Обозначения

X, Y: дискретные случайные величины
$p(x,y)$: совместная вероятность пары значений, доля
$p(x|y)$: условная вероятность X=x при Y=y, доля
$H(X|Y)$: средняя остаточная неопределённость X, бит

Условия применения

Нужен совместный закон двух дискретных величин. Для каждого y с положительной вероятностью условные вероятности определяются делением p(x,y) на p(y). В этой статье алфавиты конечны, логарифмы двоичные, а нулевые совместные вероятности дают нулевые слагаемые.

Ограничения

Условная энтропия — среднее по наблюдениям Y, а не значение для одной выбранной строки таблицы. Она несимметрична относительно X и Y. Утверждение о неотрицательности относится к дискретной энтропии и не переносится без изменений на дифференциальную энтропию.

Подробное объяснение

После получения конкретного сообщения Y=y вероятности X обычно меняются. Условное распределение p(x|y) описывает эту новую задачу. Его энтропия может оказаться как меньше, так и больше исходной H(X) для отдельного y. Но средняя по всем наблюдениям остаточная неопределённость не превышает H(X).

Усреднение проходит в два этапа: сначала для каждой строки y вычисляют −Σ_x p(x|y)log₂p(x|y), затем умножают этот результат на p(y) и складывают. Произведение p(y)p(x|y) равно совместной вероятности, поэтому двойная сумма в основной формуле объединяет оба этапа в один.

Если Y однозначно определяет X, в каждой допустимой строке таблицы стоит одна единица. Её энтропия равна нулю, и H(X|Y)=0. Обратное определение Y по X при этом вовсе не обязательно: один и тот же X может соответствовать нескольким значениям Y.

Если X и Y независимы, каждая условная строка повторяет распределение X. Тогда наблюдение Y не меняет неопределённость и H(X|Y)=H(X). Между этими крайними случаями уменьшение H(X)−H(X|Y) равно взаимной информации I(X;Y).

Для проверки удобно цепное правило H(X,Y)=H(Y)+H(X|Y). Сначала можно описать Y, затем остаток X, либо кодировать пару как единый символ. Равенство относится к энтропийным характеристикам распределения и не утверждает, что любой реальный короткий код достигает этих идеальных средних длин.

Как пользоваться формулой

Запишите совместную таблицу p(x,y) и убедитесь, что сумма всех её ячеек равна единице, а отрицательных вероятностей нет.
Сложите ячейки по X для каждого y, найдите p(y) и исключите строки с нулевой вероятностью из дальнейшего усреднения.
Разделите каждую допустимую строку на её сумму p(y); по полученным условным вероятностям вычислите энтропию строки.
Умножьте каждую энтропию строки на p(y), сложите результаты и проверьте неравенства 0≤H(X|Y)≤H(X).

Историческая справка

Условная энтропия входит в математический аппарат теории информации, сложившийся в работах Клода Шеннона о связи. Его статья «A Mathematical Theory of Communication» вышла в 1948 году. Условная постановка необходима потому, что приёмник располагает результатом наблюдения, но переданный символ при наличии шума может оставаться неизвестным.

В учебном изложении эту величину удобно вводить через обычные условные вероятности, а затем связывать с совместной энтропией и взаимной информацией. Так становится видно различие между неопределённостью пары и остатком неопределённости одного её компонента. Запись H(X|Y) подчёркивает направление доступных сведений, тогда как симметричная запись I(X;Y) описывает общий информационный выигрыш.

Историческая линия формулы

Понятие рассматривается в традиции теории информации Шеннона, а не как отдельная формула условной вероятности Байеса. Современное определение является средним энтропий условных распределений; связь с теорией связи не ограничивает его применение только передачей сообщений.

Пример

Пусть P(Y=0)=3/4, P(Y=1)=1/4. При Y=0 величина X принимает два значения с равными вероятностями, а при Y=1 всегда равна нулю. Нужно найти среднюю неопределённость X после наблюдения Y. Первая условная энтропия равна −2·(1/2)log₂(1/2)=1 биту, вторая равна −1·log₂1=0. Усреднение: H(X|Y)=(3/4)·1+(1/4)·0=0,75 бита. Совместные ненулевые вероятности составляют 3/8, 3/8 и 1/4; их сумма равна единице. Ответ: 0,75 бита. Проверка: маргинальное распределение X равно (5/8,3/8), его энтропия приблизительно 0,9544 бита. Остаточная неопределённость меньше исходной, но положительна: наблюдение Y=0 не раскрывает X полностью.

Частая ошибка

Не усредняйте условные энтропии простым средним, если значения Y не равновероятны: веса p(y) обязательны. Не подставляйте совместную вероятность внутрь логарифма вместо условной: получится совместная энтропия. Не объявляйте H(X|Y)=H(Y|X): порядок задаёт, что известно и что неизвестно. Не требуйте уменьшения неопределённости для каждого отдельного наблюдения — гарантируется среднее неравенство.

Практика

Задачи с решением

Независимые биты

Условие. X — равновероятный бит, независимый от Y. Найдите H(X|Y).

Решение. Для каждого допустимого y распределение X равно (1/2,1/2), поэтому каждая условная энтропия равна 1. Их взвешенная сумма также равна 1.

Ответ. 1 бит.

Восстановление по чётности

Условие. X равномерна на {0,1,2,3}, Y — остаток X при делении на 2. Найдите H(X|Y).

Решение. Оба значения Y имеют вероятность 1/2. При каждом остаются два равновероятных значения X; H(X|Y)=0,5·1+0,5·1=1.

Ответ. 1 бит, при исходной энтропии H(X)=2 бита.

Дополнительные источники

https://ocw.mit.edu/courses/6-441-information-theory-spring-2016/2243edffb30f57181ed97dcb77691580_MIT6_441S16_chapter_1.pdf
https://web.stanford.edu/class/ee376a/files/lecture_notes.pdf
https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

Связанные формулы

Информатика

Энтропия Шеннона: средняя информация дискретного источника

$H(X)=-\sum_{i=1}^{m}p_i\log_2p_i$

Энтропия Шеннона измеряет среднюю неопределённость исхода по его вероятностям. При двоичном логарифме результат выражают в битах на символ; редкие и частые символы вносят разный вклад.

Информатика

Взаимная информация двух дискретных величин

$I(X;Y)=\sum_{x,y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}$

Взаимная информация двух дискретных величин даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.

Информатика

Неравенство Фано: связь ошибки и условной энтропии

$H(X|Y)\le h_2(P_e)+P_e\log_2(|\mathcal X|-1)$

Неравенство Фано сверху оценивает условную энтропию дискретного X через вероятность ошибки декодера X-hat=g(Y). Оно формализует: если X почти удаётся восстановить из наблюдения Y, неопределённость H(X|Y) не может быть большой.