本节对应原书 PDF 第 295–297 页。定义、定理、公式、例题及其原解答逐字取自原书;解释性文字为 AI 通俗化改写;标有「解读」的引用块为 AI 补充的额外直觉。

本节只考虑取非负整数值的随机变量. 当随机变量只取非负整数值时,把它的分布律看作一个序列 \{p_k\},这个序列的生成函数称作该随机变量的概率母函数. 概率母函数包含了随机变量的全部信息. 可以利用概率母函数计算期望和方差以及分布律.

定义 12.10 设随机变量 X 的分布律为

P\{X=k\}=p_k\qquad k=0,1,2,\cdots

称

\psi_X(s)=E(s^X)=\sum_k p_ks^k\qquad -1\leqslant s\leqslant 1

为 X 的概率母函数,简称母函数. 在不会混淆的情况下,可简记作 \psi(s).

由于 \psi(1)=\sum\limits_k p_k=1,级数 \sum\limits_k p_ks^k 在 [-1,1] 上绝对且一致收敛,因此 \psi(s) 在 [-1,1] 上有定义.

解读:母函数就是把分布律「装进」一个幂级数的系数里:s^k 的系数就是 p_k。这样做的收益是——本来要逐个处理的概率序列,现在变成了一个函数,可以用求导、相乘这些分析手段操作。定义限定在 [-1,1] 上,是因为 |s|\leqslant 1 时 \sum p_k|s|^k\leqslant\sum p_k=1,级数必然收敛。

例 12.15 0-1 分布的母函数.

解 设 P\{X=1\}=p,P\{X=0\}=q,其中 q=1-p,0<p<1. 由定义

\psi(s)=q+ps

例 12.16 泊松分布的母函数.

解 设 P\{X=k\}=\frac{\lambda^k}{k!}\mathrm{e}^{-\lambda},k=0,1,2,\cdots,\lambda>0. 由定义

\begin{aligned} \psi(s)&=\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}\mathrm{e}^{-\lambda}s^k\\ &=\mathrm{e}^{-\lambda}\sum_{k=0}^{\infty}\frac{(\lambda s)^k}{k!}\\ &=\mathrm{e}^{-\lambda}\cdot\mathrm{e}^{\lambda s}\\ &=\mathrm{e}^{\lambda(s-1)} \end{aligned}

概率母函数具有下述性质.

性质 12.4.1(线性性质) \psi_{aX+b}(s)=s^b\psi_X(s^a),其中 a,b 是非负整数.

性质 12.4.2 有限个独立随机变量和的母函数等于各个随机变量母函数的乘积. 即,设 X_1,X_2,\cdots,X_n 相互独立,母函数依次为 \psi_1(s),\psi_2(s),\cdots,\psi_n(s). 又 Y=X_1+X_2+\cdots+X_n,则

\psi_Y(s)=\prod_{i=1}^{n}\psi_i(s)

解读:性质 12.4.2 是母函数最值钱的地方。随机变量求和在分布律层面是卷积,很难直接算;到了母函数层面就变成了相乘,只需把各个母函数乘起来再展开取系数。例 12.17 和例 12.20 都靠这一条。

性质 12.4.3 设 E(X^2) 存在,则

E(X)=\psi'(1),\qquad E(X^2)=\psi''(1)+\psi'(1)
D(X)=\psi''(1)+\psi'(1)-\psi'^2(1)

证明 下面仅证明性质 12.4.3,其余 2 条留作习题(见习题 12.39).

由于 E(X^2)=\sum\limits_k k^2p_k 存在,当 -1\leqslant s\leqslant 1 时,

\sum_k\left|(p_ks^k)'\right|=\sum_k\left|kp_ks^{k-1}\right|\leqslant\sum_k kp_k\leqslant\sum_k k^2p_k
\sum_k\left|(p_ks^k)''\right|=\sum_k\left|k(k-1)p_ks^{k-2}\right|\leqslant\sum_k k^2p_k

\sum\limits_k kp_ks^{k-1} 和 \sum\limits_k k(k-1)p_ks^{k-2} 在 [-1,1] 上一致收敛,故 \psi'(s)=\sum\limits_k kp_ks^{k-1},\psi''(s)=\sum\limits_k k(k-1)p_ks^{k-2}. 于是,

\begin{aligned} \psi'(1)&=\sum_k kp_k=E(X)\\ \psi''(1)&=\sum_k k(k-1)p_k=\sum_k k^2p_k-\sum_k kp_k=E(X^2)-E(X) \end{aligned}

得证

E(X)=\psi'(1)
E(X^2)=\psi''(1)+\psi'(1)
D(X)=E(X^2)-(EX)^2=\psi''(1)+\psi'(1)-\psi'^2(1)

解读:E(X)=\psi'(1) 的直觉是:对 \psi(s)=\sum p_ks^k 求导得 \sum kp_ks^{k-1},令 s=1 就把每个概率 p_k 的权重从 1 换成了 k——正好是期望。求二阶导时多出来的 k(k-1) 需要补一个 \sum kp_k 才能凑成 \sum k^2p_k,这就是 E(X^2)=\psi''(1)+\psi'(1) 里那个加法项的来源。

例 12.17 二项分布的母函数.

解 设 X\sim B(n,p),则 X=X_1+X_2+\cdots+X_n,其中 X_1,X_2,\cdots,X_n 相互独立且都服从参数为 p 的 0-1 分布. 由例 12.15,已知 X_i 的母函数为 \psi_i(s)=q+ps,i=1,2,\cdots,n. 于是,根据性质 12.4.2,得 \psi_X(s)=(q+ps)^n.

例 12.18 利用母函数计算几何分布的期望和方差.

解 设 X 服从参数 p 的几何分布,分布律为

P\{X=k\}=q^{k-1}p,\qquad k=1,2,\cdots,\qquad 其中 q=1-p

它的母函数为

\begin{aligned} \psi(s)&=\sum_{k=1}^{\infty}q^{k-1}ps^k=ps\sum_{k=1}^{\infty}(qs)^{k-1}=\frac{ps}{1-qs}\\ \psi'(s)&=\frac{p}{(1-qs)^2},\qquad \psi''(s)=\frac{2pq}{(1-qs)^3}\\ \psi'(1)&=\frac{1}{p},\qquad \psi''(1)=\frac{2q}{p^2} \end{aligned}

根据性质 12.4.3,得

E(X)=\frac{1}{p},\qquad D(X)=\frac{2q}{p^2}+\frac{1}{p}-\left(\frac{1}{p}\right)^2=\frac{q}{p^2}

这里得到的 E(X) 与例 12.11 的计算结果是一样的.

将母函数 \psi(s) 展开成 s 的幂级数,s^k 的系数即为 p_k=P\{X=k\},因此可以由母函数得到随机变量的分布律. 也就是说,随机变量的分布律由母函数唯一决定.

例 12.19 设 X,Y 分别服从参数 \lambda,\mu 的泊松分布且相互独立,求 Z=X+Y 的分布律.

解 根据例 12.16 的计算结果,\psi_X(s)=\mathrm{e}^{\lambda(s-1)},\psi_Y(s)=\mathrm{e}^{\mu(s-1)}. 由性质 12.4.2 知,

\psi_Z(s)=\mathrm{e}^{\lambda(s-1)}\cdot\mathrm{e}^{\mu(s-1)}=\mathrm{e}^{(\lambda+\mu)(s-1)}

这是参数 \lambda+\mu 的泊松分布的母函数,由于随机变量的分布律由母函数唯一决定,故 Z=X+Y 服从参数 \lambda+\mu 的泊松分布.

解读:例 12.19 展示了母函数的典型用法:先认母函数,再认分布。算出的 \mathrm{e}^{(\lambda+\mu)(s-1)} 与例 12.16 中泊松分布母函数的形式一致,只换了参数,于是立刻断定 Z 是泊松分布,完全不必去算 Z 的分布律本身。「唯一决定」这一句是这一步成立的依据。

例 12.20 掷 5 枚骰子. 假设骰子都是均匀的,求 5 枚骰子的点数之和等于 15 的概率.

解 记 X_i 为第 i 枚骰子的点数,i=1,2,\cdots,5. 5 枚骰子的点数之和 X=X_1+X_2+\cdots+X_5.

X_i 的分布律为 P\{X_i=k\}=\frac{1}{6},k=1,2,\cdots,6,母函数为

\psi_i(s)=\frac{1}{6}(s+s^2+\cdots+s^6)=\frac{s(1-s^6)}{6(1-s)}\qquad i=1,2,\cdots,5

X_1,X_2,\cdots,X_5 相互独立,由性质 12.4.2,X 的母函数

\begin{aligned} \psi(s)&=\prod_{i=1}^{5}\psi_i(s)=\frac{s^5(1-s^6)^5}{6^5(1-s)^5}\\ &=\frac{1}{6^5}s^5(1-s^6)^5(1-s)^{-5}\\ &=\frac{1}{6^5}s^5(1-5s^6+10s^{12}-\cdots-s^{30})\sum_{k=0}^{\infty}(-1)^k\binom{-5}{k}s^k \end{aligned}

\psi(s) 中 s^{15} 的系数为

\begin{aligned} p_{15}&=\frac{1}{6^5}\left[(-1)^{10}\binom{-5}{10}-(-1)^4 5\binom{-5}{4}\right]\\ &=\frac{1}{6^5}\left(\frac{5\times 6\times\cdots\times 14}{10!}-5\times\frac{5\times 6\times 7\times 8}{4!}\right)\\ &=\frac{651}{6^5}\\ &=0.0837 \end{aligned}

这就是所求的概率.

解读:s^{15} 的系数只由两个来源贡献:(1-s^6)^5 里的常数项 1 配上 (1-s)^{-5} 展开式中的 s^{10} 项,以及 (1-s^6)^5 里的 -5s^6 配上 (1-s)^{-5} 中的 s^4 项。展开式里 10s^{12} 及更高次项配出的次数都超过 15,用不上,所以括号里只有这两项。