Математика / Вероятность и статистика

Производящая функция вероятностей дискретной величины

Производящая функция вероятностей кодирует распределение неотрицательной целочисленной величины X в степенном ряде. Коэффициент при zᵏ равен P(X=k), а независимая сумма превращает произведение функций. Она удобна для счётчиков событий и дискретных распределений.

Опубликовано: Обновлено:

Формула

$$G_X(z)=E[z^X]=\sum_{k=0}^{\infty}P(X=k)z^k,\qquad X\in\{0,1,2,\ldots\}$$
Схема PGF: распределение двух испытаний
PGF: распределение двух испытаний00,250,500,490,420,09k=0k=1k=2Коэффициенты: 0,49; 0,42; 0,09

Коэффициенты: 0,49; 0,42; 0,09

Обозначения

$X$
неотрицательная целочисленная случайная величина, счётчик, безразмерна
$z$
аргумент степенного ряда, безразмерен
$G_X(z)$
производящая функция вероятностей X, безразмерна
$P(X=k)$
коэффициент при степени zᵏ, безразмерна

Условия применения

Подходит только для распределения на неотрицательных целых числах. Ряд конечен по модулю при |z|≤1, потому что ΣP(X=k)=1; за пределами единичного круга он может расходиться. Чтобы использовать G′(1)=E[X], нужно конечное ожидание; для второй производной и дисперсии нужны соответствующие моменты. Формула G_{X+Y}=G_XG_Y требует независимости X и Y.

Ограничения

PGF не предназначена для величин с отрицательными или произвольными действительными значениями: там выбирают другие преобразования. Нельзя считать, что любая степенная функция — распределение: коэффициенты должны быть неотрицательны и суммироваться к единице, то есть G(1)=1. Производная в 1 может не существовать конечной при тяжёлом хвосте. Для зависимой суммы произведение функций неверно, хотя распределение суммы существует.

Подробное объяснение

Производящая функция вероятностей собирает всю таблицу P(X=0),P(X=1),… в степенной ряд. Степень z хранит значение счётчика, а коэффициент хранит вероятность. Поэтому G_X(0)=P(X=0), а k-я вероятность восстанавливается как G_X^(k)(0)/k!, если функция задана рядом. Подстановка z=1 даёт сумму всех вероятностей: G_X(1)=1.

Связь с ожиданием появляется после дифференцирования: G′_X(z)=ΣkP(X=k)z^(k−1), поэтому при z=1 получается E[X], если сумма конечна. Вторая производная в 1 даёт E[X(X−1)], то есть факториальный, а не обычный второй момент. Из него восстанавливают E[X²]=G″(1)+G′(1) и дисперсию.

Главная вычислительная выгода относится к независимой сумме S=X+Y. Тогда z^S=z^Xz^Y, а независимость позволяет разложить ожидание: G_S(z)=E[z^X]E[z^Y]. Обычная свёртка коэффициентов становится умножением функций. Для n независимых одинаково распределённых величин G_S(z)=G_X(z)^n.

У Бернулли (p) функция равна 1−p+pz. Возведение её в n-ю степень даёт биномиальное распределение и объясняет биномиальную формулу. Для Пуассона с параметром λ PGF равна exp(λ(z−1)); произведение таких функций снова имеет тот же вид с суммой параметров.

Не путайте PGF с моментной производящей M_X(t)=E[e^{tX}]. Здесь переменная z, область применения — счётчики, а коэффициенты непосредственно являются вероятностями. Значения PGF полезны только вместе с условиями на область и существование производных.

Как пользоваться формулой

  1. Проверьте, что X принимает только 0,1,2,…; для отрицательных значений не сдвигайте модель без пересмотра смысла.
  2. Запишите ряд ΣP(X=k)zᵏ и проверьте G(1)=1: это быстрая проверка нормировки коэффициентов распределения.
  3. Для независимой суммы перемножьте PGF слагаемых, затем извлеките нужный коэффициент или узнаваемую форму получившейся функции.
  4. Дифференцируйте в z=1 только после проверки конечности момента; G′(1) даёт среднее, G″(1) — факториальный второй момент.

Историческая справка

Производящие функции пришли в вероятность из алгебраической техники степенных рядов. Когда вероятности дискретного счётчика записывают коэффициентами ряда, операции над распределениями становятся операциями над функциями; это сделало метод удобным для сумм независимых величин. В вероятностной литературе такие ряды применялись для распределений, ветвящихся процессов и случайных блужданий. Строгое определение PGF как E[z^X] для X=0,1,2,… объединило алгебраическую запись с ожиданием и выделило условия на область z и существование производных. Современные курсы противопоставляют PGF моментной и характеристической функциям: каждая кодирует распределение по-своему и подходит для своей области. У метода нет одного общепринятого автора, потому что общая техника степенных рядов возникла вне одной вероятностной работы, а её использование для распределений развивалось во многих задачах. В университетских курсах XXI века этот инструмент излагают вместе с условиями существования ожиданий и соответствующих моментов.

Историческая линия формулы

Термин «производящая функция вероятностей» описывает применение более старой техники степенных рядов к распределению счётчика. У него нет одного бесспорного автора. Современная запись G_X(z)=E[z^X] объединяет алгебраический ряд и вероятностное ожидание; её корректная интерпретация зависит от того, что X принимает неотрицательные целые значения.

Пример

Пусть X — число успехов в двух независимых испытаниях, вероятность успеха p=0,3. Для одного испытания G_B(z)=0,7+0,3z. Тогда G_X(z)=G_B(z)²=(0,7+0,3z)²=0,49+0,42z+0,09z². Коэффициенты дают P(X=0)=0,49, P(X=1)=0,42 и P(X=2)=0,09; они суммируются к 1. Производная G′_X(z)=0,42+0,18z, поэтому G′_X(1)=0,60 — ожидаемое число успехов. Здесь z безразмерна, как и число успехов; коэффициенты — вероятности. Результат согласуется с прямым ожиданием двух Бернулли: 2·0,3=0,6. Возведение в квадрат разрешено именно благодаря независимости испытаний.

Частая ошибка

Не используйте PGF для непрерывной величины или переменной со значениями −1,0,1 без отдельного преобразования и проверки. Не путайте коэффициент zᵏ с вероятностью «не менее k»: это P(X=k). Нельзя перемножать функции зависимых величин. Не объявляйте G′(1) средним автоматически: у распределения с бесконечным средним производная в 1 может не быть конечной. Не заменяйте PGF на MGF: у них разные аргументы и области существования.

Практика

Задачи с решением

Коэффициент биномиальной PGF

Условие. Для Bernoulli(p=0,2) выполнены три независимых испытания. Найдите P(X=2) через производящую функцию.

Решение. G_X(z)=(0,8+0,2z)³. Коэффициент при z² равен C(3,2)·0,2²·0,8=0,096.

Ответ. P(X=2)=0,096.

Среднее из производной

Условие. G(z)=0,25+0,5z+0,25z². Найдите E[X].

Решение. G′(z)=0,5+0,5z, поэтому G′(1)=1. Коэффициенты нормированы: 0,25+0,5+0,25=1.

Ответ. E[X]=1.

Дополнительные источники

  • https://ocw.mit.edu/courses/18-366-random-walks-and-diffusion-fall-2006/pages/lecture-notes/
  • https://ocw.mit.edu/courses/18-200-principles-of-discrete-applied-mathematics-spring-2024/resources/mit18_200_s24_lec07-08_pdf/

Связанные формулы

Математика

Вероятность в биномиальном распределении

$P(X=k)=C_n^kp^k(1-p)^{n-k}$

Формула «Вероятность в биномиальном распределении» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.

Математика

Распределение Пуассона: вероятность числа событий

$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}$

Распределение Пуассона даёт вероятность ровно k событий на фиксированном интервале, если известно их среднее число λ. Модель применяют к независимому потоку с постоянной интенсивностью.

Математика

Математическое ожидание дискретной случайной величины

$M(X)=\sum_i x_i p_i$

Формула «Математическое ожидание дискретной случайной величины» задает численную характеристику вероятностной модели. Она переводит исходы, вероятности или наблюдения в показатель, который удобно считать, сравнивать и проверять.

Математика

Неравенство Йенсена для ожидания функции

$\varphi(E[X])\le E[\varphi(X)]\quad\text{для выпуклой }\varphi$

Неравенство Йенсена сравнивает значение выпуклой функции от среднего со средним её значений: φ(E[X])≤E[φ(X)]. Для вогнутой функции знак меняется. Это формальный способ учесть, что разброс влияет на нелинейное преобразование.