Информатика / Кодирование информации

Энтропия Реньи: порядок и вероятность совпадения

Энтропия Реньи — семейство мер неопределённости с параметром порядка α. При α=2 она определяется вероятностью совпадения двух независимых выборок из одного распределения.

Опубликовано: 6 ноября 2026 г.Обновлено: 6 ноября 2026 г.

Формула

H_\alpha(P)=\frac{1}{1-\alpha}\log_2\sum_i p_i^\alpha,\qquad \alpha>0,\quad\alpha\ne1

Схема Три меры одного распределения

P=(1/2,1/4,1/4). Последний столбец — предел при α→∞. Все значения в битах.

Обозначения

$p_i$: вероятность i-го исхода конечного алфавита, доля
$α$: положительный порядок энтропии, отличный от единицы
$H_α$: энтропия Реньи выбранного порядка, бит
$Σ p_i²$: вероятность совпадения двух независимых исходов, доля

Условия применения

Вероятности неотрицательны и суммируются в единицу. Рассматривается конечный алфавит и положительный порядок α, отличный от единицы; логарифм имеет основание два. Для интерпретации суммы квадратов как совпадения нужны две независимые выборки из одного закона.

Ограничения

Разные значения α отвечают на разные вопросы, поэтому числа без указания порядка неоднозначны. При α=1 исходная дробь не определена: нужна предельная формула Шеннона. Энтропия порядка два не равна вероятности совпадения и не измеряет среднюю длину произвольного реального кода.

Подробное объяснение

Энтропия Шеннона усредняет логарифмическую информацию. Энтропия Реньи сначала складывает степени вероятностей, а затем берёт логарифм и нормирует результат множителем 1/(1−α). Изменение порядка меняет чувствительность к большим и малым вероятностям, сохраняя единую шкалу для равномерных законов.

Для n равновероятных исходов сумма степеней равна n·(1/n)^α=n^(1−α). После логарифма и деления получается log₂n при любом допустимом α. Следовательно, различие между порядками проявляется именно при неравномерности распределения, а не при изменении размера равномерного алфавита.

Особенно нагляден порядок два: H₂=−log₂Σp_i². Два независимых результата совпадают в i-м исходе с вероятностью p_i², а несовместимые события совпадения складываются. Чем чаще случаются совпадения, тем меньше энтропия второго порядка.

Для распределения (1/2,1/4,1/4) вероятность совпадения равна 1/4+1/16+1/16=3/8. Поэтому H₂=log₂(8/3), приблизительно 1,4150 бита. Энтропия Шеннона того же распределения равна 1,5 бита: это другой способ измерить неопределённость, а не ошибка округления.

С увеличением α энтропия не возрастает. При α, стремящемся к бесконечности, остаётся −log₂p_max, а при α, стремящемся к единице, получается H(P). Эти пределы полезны для проверки вычислений, но в численном коде около единицы прямое деление двух малых величин может терять точность.

Как пользоваться формулой

Проверьте нормировку исходных вероятностей и явно выберите порядок α; сравнивайте распределения при одном и том же порядке.
Возведите каждую вероятность в степень α и сложите результаты без предварительного округления малых слагаемых.
Вычислите двоичный логарифм суммы и разделите его на 1−α, сохранив знак знаменателя и полученного логарифма.
Для α=2 отдельно найдите вероятность совпадения; проверьте равенство H₂=−log₂ суммы квадратов и единицы результата.

Историческая справка

Альфред Реньи изложил обобщение энтропии в работе «On Measures of Entropy and Information», вошедшей в материалы Четвёртого симпозиума Беркли по математической статистике и теории вероятностей. Публикация датируется 1961 годом; сам симпозиум проходил в 1960 году. Различие этих дат важно при библиографическом описании.

Реньи рассматривал, какие требования к мере неопределённости выделяют формулу Шеннона и какие обобщения возможны при изменении этих требований. Параметр порядка образует семейство, а не просто переименование прежней энтропии. В современной учебной записи H_α индекс сразу сообщает, какую меру вычисляют; для α=2 её можно связать с элементарной вероятностью совпадения независимых выборок.

Историческая линия формулы

Семейство названо в честь Альфреда Реньи; первичный источник — его работа 1961 года в материалах симпозиума Беркли. Энтропия Шеннона получается как предел при α→1, поэтому новые порядки продолжают исходную идею, но не заменяют её во всех задачах кодирования.

Пример

Из источника независимо получают два символа. Вероятности трёх символов равны 1/2, 1/4 и 1/4. Требуется найти энтропию второго порядка и объяснить связь с совпадением. Сначала считаем вероятность одинаковых символов: c=(1/2)²+(1/4)²+(1/4)²=1/4+1/16+1/16=3/8=0,375. Далее H₂=−log₂(0,375)=log₂(8/3)=1,415037499 бита. Ответ: приблизительно 1,4150 бита. Проверка по равномерному закону на тех же трёх символах дала бы log₂3≈1,5850 бита; неравномерный источник менее неопределён. Обратная проверка 2^(−H₂)=0,375 возвращает именно вероятность совпадения, а не вероятность конкретного символа.

Частая ошибка

Не забывайте минус при α=2: логарифм суммы квадратов неположителен, а энтропия неотрицательна. Не заменяйте сумму квадратов квадратом суммы — последняя величина всегда равна единице и теряет информацию о распределении. Не подставляйте α=1 в дробь: это предельный переход. Не сравнивайте H₂ одного закона с H₃ другого как будто порядок не влияет на ответ.

Практика

Задачи с решением

Равномерный алфавит

Условие. Восемь исходов равновероятны. Найдите H₂ и H₃.

Решение. Σp_i²=8/64=1/8, H₂=3. Σp_i³=8/512=1/64, H₃=−(1/2)log₂(1/64)=3.

Ответ. Оба значения равны 3 битам.

Двоичный источник

Условие. Для P=(3/4,1/4) найдите H₂ и вероятность совпадения.

Решение. c=9/16+1/16=10/16=5/8. H₂=−log₂(5/8)=log₂(8/5)=0,6780719051.

Ответ. c=0,625; H₂≈0,6781 бита.

Дополнительные источники

https://static.renyi.hu/renyi_cikkek/1961_on_measures_of_entropy_and_information.pdf
https://digicoll.lib.berkeley.edu/record/112906
https://ocw.mit.edu/courses/6-441-information-theory-spring-2016/2243edffb30f57181ed97dcb77691580_MIT6_441S16_chapter_1.pdf

Связанные формулы

Информатика

Энтропия Шеннона: средняя информация дискретного источника

$H(X)=-\sum_{i=1}^{m}p_i\log_2p_i$

Энтропия Шеннона измеряет среднюю неопределённость исхода по его вероятностям. При двоичном логарифме результат выражают в битах на символ; редкие и частые символы вносят разный вклад.

Информатика

Перекрёстная энтропия дискретного распределения

$H(P,Q)=-\sum_i p_i\log_2q_i$

Перекрёстная энтропия дискретного распределения даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.

Информатика

Дивергенция Кульбака—Лейблера для дискретных распределений

$D_{KL}(P\|Q)=\sum_i p_i\log_2\frac{p_i}{q_i}$

Дивергенция Кульбака—Лейблера для дискретных распределений даёт не только вычислительную запись, но и правило, какие данные определяют результат и как проверить его численно. Формула применяется к строго указанной модели; ниже разобраны предпосылки, два решённых задания и границы корректной интерпретации.