Информатика / Кодирование информации

Функция скорость—искажение для гауссовского источника

Для независимого гауссовского источника с дисперсией sigma² и средней квадратичной ошибкой D функция скорость—искажение задаёт минимальную асимптотическую скорость кодирования: R(D)=max{0, 1/2 log_2(sigma²/D)} бит на отсчёт.

Опубликовано: 3 ноября 2026 г.Обновлено: 3 ноября 2026 г.

Формула

R(D)=\max\left\{0,\frac12\log_2\frac{\sigma^2}{D}\right\},\quad D>0

Схема Гауссов источник: σ²=4

Для D≥σ² нулевая скорость достижима постоянным воспроизведением среднего.

Обозначения

X, sigma²: гауссовский отсчёт и его дисперсия, sigma² имеет квадрат единиц X
$X-hat, D$: восстановленный отсчёт и допустимая средняя квадратичная ошибка, D имеет квадрат единиц X
$R(D)$: минимальная асимптотическая скорость кодирования, биты на отсчёт при log_2

Условия применения

Результат относится к безынерционному (i.i.d.) гауссовскому источнику с дисперсией sigma² и квадратичной мерой искажения E[(X−X-hat)²]≤D. Для 0<D<sigma² верно R(D)=1/2 log_2(sigma²/D); для D≥sigma² R(D)=0. sigma² и D обязаны быть выражены в одинаковых квадратных единицах, чтобы отношение под логарифмом было безразмерным. Это асимптотический предел для длинных блоков.

Ограничения

Формула не является точным битрейтом конечного кодека или файла. Она меняется при зависимости отсчётов, негауссовском распределении, иной метрике качества или ограничениях задержки. При D≤0 постановка среднеквадратичного искажения в этой записи некорректна; отрицательная скорость при D>sigma² не возникает, потому что берётся максимум с нулём.

Подробное объяснение

Скорость—искажение отвечает на вопрос, сколько информации на отсчёт необходимо в пределе, если разрешить среднюю квадратичную ошибку D. Для гауссовского источника вся нужная шкала задаётся дисперсией sigma²: существенным становится отношение sigma²/D, а не единицы измерения сами по себе.

При D<sigma² уменьшение допустимой ошибки повышает R(D) логарифмически. Например, для sigma²=4 и D=1 отношение равно 4, поэтому R=1 бит на отсчёт. При D=2 скорость равна 0.5 бита на отсчёт.

На границе D=sigma² постоянное восстановление уже удовлетворяет ограничению, поэтому можно передавать ноль бит на отсчёт. При ещё большем D логарифм стал бы отрицательным, но операционный смысл минимальной скорости оставляет R(D)=0.

Теорема опирается на длинные блоки, гауссовость и MSE. У изображения с перцептивной метрикой, у речи с памятью или у дискретного источника своя функция скорость—искажение; совпадение числа sigma² не делает эту формулу применимой.

Как пользоваться формулой

Проверьте, что источник моделируется независимыми гауссовскими отсчётами и выбрана MSE.
Найдите дисперсию sigma² и допустимое D в одинаковых квадратных единицах.
Если 0<D<sigma², вычислите 0.5 log_2(sigma²/D) и укажите ответ в битах на отсчёт.
Если D≥sigma², поставьте R(D)=0, не продолжая логарифм в отрицательные значения.
Подпишите ответ как теоретический предел в битах на отсчёт, а не как размер конкретного файла.

Историческая справка

Теория скорость—искажение выросла из работ Клода Шеннона о фундаментальных пределах представления источника при заданном качестве. В статье 1959 года о дискретном источнике с критерием верности он оформил общий теоретический язык; гауссовский источник с квадратичной мерой стал классическим аналитическим примером. Последующая теория кодирования связала эти пределы с длинноблочным сжатием, но не превратила их в рецепт отдельного формата файла. В отличие от безошибочного кодирования, новая постановка допускает контролируемую потерю и спрашивает о минимальном числе битов при фиксированной средней стоимости восстановления. Гауссовский пример стал каноническим из-за замкнутой формулы и связи с дисперсией, а не потому, что реальные источники всегда гауссовы. Позднейшие результаты для источников с памятью, векторного квантования и практических кодеков расширили теорию, сохранив различие между пределом модели и реализацией.

Историческая линия формулы

Функция скорость—искажение относится к шенноновской теории информации. Короткая гауссовская формула — частный случай при i.i.d. модели и MSE, а не универсальное выражение для изображений, речи или конечных алфавитов; её исторический источник относится к теории предельного, а не прикладного кодирования.

Пример

Для источника с дисперсией σ²=4 и допустимым среднеквадратичным искажением D=1 получаем R=0,5log₂4=1 бит на отсчёт. При D=2 скорость равна 0,5 бита. При σ²=4 и D=1 отношение равно 4, log₂4=2, половина даёт 1 бит. При D=2 отношение 2 и ответ 0,5. На границе D=σ² логарифм равен нулю; при большем D берут максимум с нулём, а не отрицательную скорость. Функция R(D) отвечает не «сколько займёт конкретный файл», а какова наименьшая асимптотическая скорость кодирования, если средняя квадратичная ошибка не превосходит D. Для гауссовского источника ответ зависит только от отношения σ²/D.

Частая ошибка

Не подставляйте стандартное отклонение sigma вместо sigma². Не смешивайте MSE с абсолютной ошибкой. Не применяйте формулу при D≤0. Не выдавайте асимптотическую границу для i.i.d. гауссовской модели за измеренный битрейт кодека. Не используйте разные единицы для D и sigma².

Практика

Задачи с решением

Скорость при заданной MSE

Условие. Вычислите R(D) при σ²=9, D=1.

Решение. R=0,5log₂(9/1)=0,5log₂9≈1,584963.

Ответ. R≈1,584963 бита на отсчёт.

Нулевая скорость на границе D=sigma²

Условие. Проверьте D=σ²=4.

Решение. σ²/D=1, log₂1=0, max{0;0}=0.

Ответ. R=0.

Дополнительные источники

https://ee.stanford.edu/~gray/sourcecodingtheory_rmg.pdf
https://ocw.mit.edu/courses/6-441-information-theory-spring-2016/5d8f16adc3385c9ff2975b121bd620e4_MIT6_441S16_course_notes.pdf

Связанные формулы

Информатика

Неравенство Фано: связь ошибки и условной энтропии

$H(X|Y)\le h_2(P_e)+P_e\log_2(|\mathcal X|-1)$

Неравенство Фано сверху оценивает условную энтропию дискретного X через вероятность ошибки декодера X-hat=g(Y). Оно формализует: если X почти удаётся восстановить из наблюдения Y, неопределённость H(X|Y) не может быть большой.

Информатика

Энтропия Шеннона: средняя информация дискретного источника

$H(X)=-\sum_{i=1}^{m}p_i\log_2p_i$

Энтропия Шеннона измеряет среднюю неопределённость исхода по его вероятностям. При двоичном логарифме результат выражают в битах на символ; редкие и частые символы вносят разный вклад.

Информатика

Информационный объем сообщения по мощности алфавита

$I=K\cdot \lceil\log_2 q\rceil$

Информационный объем сообщения по мощности алфавита: формула I=K\cdot \lceil\log_2 q\rceil помогает величины I, K, q заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.