本节对应原书 PDF 第 283–286 页(印刷 p268–p271)。定义、公式、例题及其原解答逐字取自原书;解释性文字为 AI 通俗化改写;标有「解读」的引用块为 AI 补充的额外直觉。

随机现象是人类社会和自然界普遍存在的现象,概率论是研究随机现象数量规律的数学分支。在计算机科学技术中,随机试验通常只有有穷个或者可数无穷个可能的结果,属于离散概率的范畴。本章介绍相关的基本概念及其性质。下一章介绍离散概率在计算机科学技术中的几个典型应用。

12.1.1 随机事件与概率

例 12.1 掷硬币试验。掷硬币是典型的随机试验,随意地掷一枚硬币,有两个可能的结果:正面向上或背面向上。假设硬币是均匀的,这两个结果出现的可能性相同,各为 \frac{1}{2}。

例 12.2 摸小球试验。设袋中有 10 个形状和大小相同的小球,分别编号 0,1,\cdots,9。从袋中任意地摸出一个小球,有 10 个可能的结果:摸到 0 号,1 号,\cdots\cdots,或 9 号。每一种结果出现的可能性都相同,各为 \frac{1}{10}。恰好摸到 5 号球的可能性是 \frac{1}{10},而摸到的小球的编号不超过 5 的可能性是多少?由于这个事件包含 6 个可能的结果:0 号到 5 号,很自然地会认为它的可能性为 \frac{6}{10}。

在这两个例子中都假设每一种结果出现的可能性相同。一般地,各种结果出现的可能性不一定相同。如果硬币不是均匀的,两面的质地不同,正面的轻,背面的重,从而出现正面的可能性大于出现背面的可能性。比如,两者之比是 2:1。于是出现正面的可能性为 \frac{2}{3},出现背面的可能性为 \frac{1}{3}。又如摸小球,设袋中有 1 个 0 号球,2 个 1 号球,\cdots\cdots,10 个 9 号球,共 1+2+\cdots+10 = 55 个小球。于是,摸到 0 号球的可能性是 \frac{1}{55},而摸到 9 号球的可能性是 \frac{10}{55},摸到编号不超过 5 的小球的可能性是 \frac{1}{55}+\frac{2}{55}+\cdots+\frac{6}{55} = \frac{21}{55}。随机试验还可以有可数无穷多个可能的结果。例如,某网站的主页在给定的时间间隔(如一天)内被访问的次数可能是任意的自然数 0,1,2,\cdots。当然,试验结果的数目还可能是不可数的。不过本章不考虑这种情况,而只考虑有有穷个和可数无穷个结果的随机试验。

考虑某个随机试验,所有可能的试验结果组成的集合 \Omega 称作样本空间,每一个结果 \omega \in \Omega 称作一个样本点。如果 \Omega 是有穷的或可数无穷的集合,则称作离散样本空间。本章只考虑离散样本空间。

定义 12.1 设 \Omega 是一离散样本空间,实函数 p:\Omega \to R 满足下述条件:

(1)对每一个 \omega \in \Omega,0 \leqslant p(\omega) \leqslant 1。

(2)\sum_{\omega \in \Omega} p(\omega) = 1。

则称 p 是 \Omega 上的一个概率,p(\omega) 是样本点 \omega \in \Omega 的概率。

\Omega 的子集称作随机事件,简称事件。事件 A 发生当且仅当随机试验的结果 \omega \in A。事件 A 的概率规定为

P(A) = \sum_{\omega \in A} p(\omega)

概率 P(A) 反映了事件 A 发生的可能性的大小。

当 \Omega 为有穷集合且每一个样本点出现的可能性相等时,对每一个 \omega \in \Omega,p(\omega) = \frac{1}{n},其中 n = |\Omega|。事件 A 的概率

P(A) = \frac{|A|}{n}

只有一个样本点的事件叫做基本事件。基本事件 \{\omega\} 的概率等于 p(\omega)。\Omega 本身也是一个随机事件,不管随机试验的结果是什么都落入 \Omega,从而 \Omega 一定发生,故称 \Omega 是必然事件。必然事件是必然发生的事件。空集 \varnothing 也是一个随机事件,它不含任何样本点,不管随机试验的结果是什么都不属于 \varnothing,从而 \varnothing 不可能发生,故称 \varnothing 是不可能事件。不可能事件是不可能发生的随机事件。显然,P(\Omega) = 1,P(\varnothing) = 0。

解读:定义 12.1 把「概率」定义成样本空间上的一个满足两条公理的实函数,而不是先定义「可能性」再推导性质。这样做的好处是:后面所有概率公式都只是这两条公理的推论,不需要依赖「等可能」这个额外假设。P(A) = \frac{|A|}{n} 只是在等可能情形下的特例。

例 12.1(续) 在掷硬币试验中有两个样本点:\omega_0 表示正面向上,\omega_1 表示背面向上。样本空间 \Omega = \{\omega_0,\omega_1\},p(\omega_0) = p(\omega_1) = \frac{1}{2}。

例 12.2(续) 有 10 个样本点:\omega_i 表示摸到编号 i 的小球,i = 0,1,\cdots,9,

\Omega = \{\omega_i \mid i = 0,1,\cdots,9\}
p(\omega_i) = \frac{1}{10} \quad i = 0,1,\cdots,9

记随机事件 A:摸到编号不超过 5 的小球,则

A = \{\omega_i \mid i = 0,1,\cdots,5\},\quad P(A) = \sum_{i=0}^{5} p(\omega_i) = \frac{6}{10}

又记 B:摸到编号为偶数的小球;C:摸到编号小于 10 的小球;D:摸到编号大于 10 的小球;则

B = \{\omega_0,\omega_2,\omega_4,\omega_6,\omega_8\},\quad P(B) = \frac{1}{2}
C = \Omega,\ \text{是必然事件},\quad P(C) = 1
D = \varnothing,\ \text{是不可能事件},\quad P(D) = 0

例 12.3 设某网站主页在一天内被访问的次数为 X,X 可能取到任意的自然数。把试验结果"X = i"简记作 i,\Omega = \mathbf{N}。又设 X 在 \Omega 上的概率 p(i) = \frac{\lambda^i}{i!}e^{-\lambda},i = 0,1,\cdots,其中 \lambda>0 是一常数。不难验证 p(i) 满足定义 12.1 中的条件:

(1)对所有的 i,0 \leqslant p(i) \leqslant 1。

(2)\sum_{i=0}^{\infty} \frac{\lambda^i}{i!}e^{-\lambda} = e^{-\lambda}\sum_{i=0}^{\infty} \frac{\lambda^i}{i!} = e^{-\lambda} \cdot e^{\lambda} = 1。

例 12.3(续) 求该网站主页在一天内至少被访问一次的概率。

解 记 A:至少被访问一次,则 \overline{A}:没有被访问过,即访问的次数 X = 0。于是,

P(A) = 1-P(\overline{A}) = 1-e^{-\lambda}

解读:例 12.3 是本节唯一的可数无穷样本空间例子,作用是说明定义 12.1 的条件(2)里的求和可以是无穷级数。验算时用到 e^{\lambda} 的泰勒展开 \sum \frac{\lambda^i}{i!} = e^{\lambda},这正是 p(i) 里那个 e^{-\lambda} 因子的用途——它负责把总概率归一到 1。

12.1.2 事件的运算

设样本空间 \Omega,事件 A,B \subseteq \Omega,称 A \cup B 为 A 与 B 的和事件,A \cap B 为 A 与 B 的积事件,A-B 为 A 与 B 的差事件,\overline{A} = \Omega-A 为 A 的逆事件。积事件 A \cap B 常简记作 AB。如果 AB = \varnothing,则称 A 与 B 互不相容。根据定义,A \cup B 发生当且仅当 A 发生或 B 发生,即 A 与 B 中至少有一个发生;AB 发生当且仅当 A 与 B 同时发生;A-B 发生当且仅当 A 发生且 B 不发生;\overline{A} 发生当且仅当 A 不发生;A 与 B 互不相容当且仅当 A 与 B 不同时发生。A 与 \overline{A} 互不相容,但反之不真,即 A 与 B 互不相容不一定有 A 与 B 互逆。

解读:事件运算与集合运算逐条对应,所以并、交、差、补的全部集合恒等式(如德摩根律、分配律)在这里照样成立。要特别注意「互不相容」与「互逆」的区别:互逆要求 A \cup B = \Omega 且 AB = \varnothing,互不相容只要求后者。

根据概率的定义,不难证明下述计算公式。

1° 加法公式

P(A \cup B) = P(A)+P(B)-P(AB)

特别地,当 A 与 B 互不相容时,P(A \cup B) = P(A)+P(B)。

2° 若当公式

\begin{aligned} P\left(\bigcup_{i=1}^{n} A_i\right) &= \sum_{i=1}^{n} P(A_i) - \sum_{i<j} P(A_iA_j) + \sum_{i<j<k} P(A_iA_jA_k) \\ &\quad - \cdots + (-1)^{n-1}P(A_1A_2 \cdots A_n) \end{aligned}

特别地,当 A_1,A_2,\cdots,A_n 两两互不相容时,P\left(\bigcup_{i=1}^{n} A_i\right) = \sum_{i=1}^{n} P(A_i)。

若当公式是加法公式的推广。

3° P(\overline{A}) = 1-P(A)

证明 类似于包含排斥原理。

P(\overline{A}) = \sum_{\omega \in \overline{A}} p(\omega) = \sum_{\omega \in \Omega} p(\omega) - \sum_{\omega \in A} p(\omega) = 1-P(A)
P(A \cup B) = \sum_{\omega \in A} p(\omega)+\sum_{\omega \in B} p(\omega)-\sum_{\omega \in AB} p(\omega) = P(A)+P(B)-P(AB)

得证公式 1° 和公式 3°。

由公式 1°,用归纳法可证公式 2° 成立。

解读:若当公式的形状与第 9 章容斥原理完全一致——这不是巧合,把 P(A) 取成 \frac{|A|}{n} 就退化为计数版本。加法公式之所以要减去 P(AB),是因为 A \cup B 中属于 AB 的样本点被 P(A) 和 P(B) 各算了一次。

例 12.4 从 1~100 中任意地取一个整数 n,求 n 能被 6 或 8 整除的概率。

解 记 A:n 能被 6 整除;B:n 能被 8 整除。由加法公式,所求概率为 P(A \cup B) = P(A)+P(B)-P(AB),其中 AB 是 n 既能被 6 整除又能被 8 整除,亦即能被 6 和 8 的最小公倍数 24 整除。由题意,取到 1~100 中的每一个整数的可能性相同,于是

\begin{aligned} P(A \cup B) &= \frac{1}{100}(|A|+|B|-|AB|) \\ &= \frac{1}{100}(\lfloor 100/6 \rfloor+\lfloor 100/8 \rfloor-\lfloor 100/24 \rfloor) \\ &= \frac{6}{25} \end{aligned}