Математика / Вероятность и статистика
Неравенство Йенсена для ожидания функции
Неравенство Йенсена сравнивает значение выпуклой функции от среднего со средним её значений: φ(E[X])≤E[φ(X)]. Для вогнутой функции знак меняется. Это формальный способ учесть, что разброс влияет на нелинейное преобразование.
Формула
На x = 3 точка параболы имеет высоту 9, а середина хорды между (1,1) и (5,25) — высоту 13.
Обозначения
- $X$
- интегрируемая случайная величина, зависит от модели
- $φ$
- выпуклая или вогнутая функция на нужном интервале, задаётся преобразованием
- $E[X]$
- математическое ожидание X, единица X
- $E[φ(X)]$
- среднее преобразованной величины, единица φ(X)
Условия применения
Значения X почти наверное должны лежать в интервале, на котором φ выпукла либо вогнута. E[X] должно существовать, а φ(X) — быть интегрируемой. Для выпуклой φ действует φ(E[X])≤E[φ(X)], для вогнутой — обратное неравенство. Если φ строго выпукла на этом интервале, то при данных условиях равенство тогда и только тогда, когда X постоянна почти наверное.
Ограничения
Йенсен не вычисляет E[φ(X)] точно, а задаёт одностороннюю границу. Нельзя определить направление по названию функции: log x вогнута лишь при x>0, а x² выпукла на всей прямой. Подстановка среднего в нелинейную функцию не равна усреднению. Не применяйте формулу, когда φ(X) не определена или её ожидание не существует; для логарифма нужны положительность X и корректность E[log X].
Подробное объяснение
Среднее сначала смешивает значения X, а нелинейная функция реагирует на смешивание не так, как прямая. У выпуклого графика хорда между двумя точками лежит выше графика, поэтому функция от взвешенного среднего не превышает взвешенного среднего функций. Ожидание — такое, возможно бесконечное, взвешивание; отсюда φ(E[X])≤E[φ(X)].
Геометрическое доказательство для дифференцируемой выпуклой функции использует касательную в m=E[X]. Выпуклость даёт φ(x)≥φ(m)+φ′(m)(x−m). Подстановка X и взятие ожидания убирают последний член, потому что E[X−m]=0. Это объясняет, почему линейная функция даёт равенство: у неё график и касательная совпадают.
Для φ(x)=x² формула превращается в (E[X])²≤E[X²]. Разность правой и левой частей равна Var(X), поэтому направление видно алгебраически. Для φ(x)=log x при X>0 функция вогнута: E[log X]≤log E[X]. Среднее логарифмов нельзя заменять логарифмом среднего.
Неравенство показывает роль разброса, но не измеряет его величину. При одинаковом среднем более изменчивая величина часто увеличивает среднее выпуклой функции, однако для точного сравнения нужны сведения о распределении. В анализе риска это объясняет, почему квадратичный штраф реагирует на редкие большие отклонения сильнее линейного.
В вероятности Йенсен служит основой многих оценок; в статистике он предупреждает о смещении при нелинейных преобразованиях. Его нельзя смешивать с Марковым: там есть неотрицательная величина и событие превышения, а здесь — выпуклость функции и два ожидания.
Как пользоваться формулой
- Найдите интервал значений X и проверьте на нём знак второй производной либо определение выпуклости; локального свойства около среднего недостаточно.
- Проверьте существование E[X] и E[φ(X)]; для log X отдельно зафиксируйте положительность X почти наверное.
- Если φ выпукла, поставьте φ(E[X]) слева и E[φ(X)] справа; для вогнутой функции измените направление неравенства.
- Проверьте равенство: для линейной φ оно возможно всегда, а для строго выпуклой при непостоянной X обычно получается строгая граница.
Историческая справка
Неравенство названо в честь датского математика Йохана Людвига Вильгельма Йенсена (1859–1925). Его работа «Sur les fonctions convexes et les inégalités entre les valeurs moyennes» вышла в 1906 году и связала выпуклость с неравенствами между средними. Идея выросла из анализа выпуклых функций и средних величин, а не из одной прикладной задачи теории вероятностей. Вероятностная форма стала естественной позже, когда ожидание стали рассматривать как интеграл относительно вероятностной меры: конечная взвешенная сумма переходит в среднее по исходам. В XX веке неравенство стало стандартным инструментом в вероятности, статистике, теории информации и оптимизации. Современные учебные изложения сначала формулируют его для интегрируемой величины, затем уточняют область определения функции и условия строгого неравенства. Это сохраняет историческую связь с выпуклостью и не создаёт ложного впечатления, будто Йенсен использовал современную запись E[φ(X)].
Историческая линия формулы
Имя Йенсена связано с публикацией 1906 года о выпуклых функциях и неравенствах средних. Вероятностная формула φ(E[X])≤E[φ(X)] — современная форма той же идеи, где веса заменены распределением. Для вогнутой функции применяют результат к −φ, поэтому отдельного автора для обратного знака не выделяют.
Пример
Пусть X принимает 1 и 5 с вероятностями 1/2 и 1/2. Тогда E[X]=3. Для выпуклой φ(x)=x² имеем φ(E[X])=3²=9, а E[φ(X)]=(1²+5²)/2=13. Йенсен даёт 9≤13; разность 4 равна Var(X). Если X измеряется в метрах, обе стороны имеют м². Нельзя писать, будто средняя площадь квадрата со стороной X равна площади квадрата со средней стороной: равенство было бы верно лишь без разброса. Здесь именно переход от 1 и 5 к среднему 3 создаёт зазор. Если бы X всегда равнялась 3, обе стороны стали бы 9. Для вогнутой функции, например корня на положительных значениях, направление было бы противоположным.
Частая ошибка
Частая ошибка — перепутать направление для log x и √x: обе функции вогнуты на положительной полуоси, значит E[φ(X)]≤φ(E[X]). Нельзя проверять выпуклость по двум числам; нужна вся область значений. Не забывайте существование E[φ(X)]: подстановка в экспоненту при тяжёлом хвосте может быть недопустима. Не считайте Йенсена формулой равенства: заменять среднее функции функцией от среднего можно для линейной функции, но не вообще.
Практика
Задачи с решением
Квадрат и среднее
Условие. X принимает 2 и 6 с равными вероятностями. Сравните (E[X])² и E[X²].
Решение. E[X]=4, поэтому квадрат среднего равен 16. E[X²]=(4+36)/2=20. Квадрат выпуклый, следовательно 16≤20.
Ответ. (E[X])²=16, E[X²]=20.
Логарифм положительной величины
Условие. X принимает 1 и 9 с вероятностями 1/2. Укажите границу для E[ln X].
Решение. ln x вогнута при x>0. E[X]=5, поэтому E[ln X]≤ln 5. Фактически E[ln X]=ln3, что меньше ln5.
Ответ. E[ln X]≤ln5; фактически E[ln X]=ln3.
Дополнительные источники
- https://www.statlect.com/fundamentals-of-probability/Jensen-inequality
- https://mathshistory.st-andrews.ac.uk/Biographies/Jensen/
- https://ocw.mit.edu/courses/18-600-probability-and-random-variables-fall-2019/pages/lecture-notes/
Связанные формулы
Математика
Неравенство Маркова для хвостовой вероятности
Неравенство Маркова даёт верхнюю границу вероятности большого значения неотрицательной случайной величины через её среднее. Оно работает без знания точного распределения, поэтому граница может быть грубой, но остаётся гарантированной при выполнении условий.
Математика
Математическое ожидание дискретной случайной величины
Формула «Математическое ожидание дискретной случайной величины» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.
Математика
Закон полного ожидания и условное среднее
Закон полного ожидания говорит: сначала можно найти среднее X внутри каждой группы, заданной Y или разбиением Hᵢ, а затем усреднить эти условные средние по вероятностям групп. Результат равен общему математическому ожиданию X.
Математика
Производящая функция вероятностей дискретной величины
Производящая функция вероятностей кодирует распределение неотрицательной целочисленной величины X в степенном ряде. Коэффициент при zᵏ равен P(X=k), а независимая сумма превращает произведение функций. Она удобна для счётчиков событий и дискретных распределений.