Предмет

Информатика, страница 2

Формулы и правила по системам счисления, логике, кодированию, алгоритмам и анализу данных.

62 формулы

Все формулы раздела

Показаны 61-62 из 62. Остальные формулы доступны на соседних страницах раздела.

Условная энтропия дискретных случайных величин

Условная энтропия показывает, какая средняя неопределённость о X остаётся после наблюдения Y. Она усредняет энтропии условных распределений с учётом вероятностей наблюдений.

$H(X\mid Y)=-\sum_{x,y:p(x,y)>0}p(x,y)\log_2 p(x\mid y)$

Энтропия Реньи: порядок и вероятность совпадения

Энтропия Реньи — семейство мер неопределённости с параметром порядка α. При α=2 она определяется вероятностью совпадения двух независимых выборок из одного распределения.

$H_\alpha(P)=\frac{1}{1-\alpha}\log_2\sum_i p_i^\alpha,\qquad \alpha>0,\quad\alpha\ne1$