条件概率、独立性与信息更新

这是一页可查参考。要解决的不是“怎样给一个事件猜概率”，而是：已经给定一份联合分布，收到某项信息后，计算范围和分母怎样改变。下面的概率都来自明确的教学模型，不是历史样本频率。

定义：固定条件，重新归一化

令 \((\Omega,\mathcal F,P)\) 为概率空间，\(A,B\in\mathcal F\) 且 \(P(B)>0\)，则给定 \(B\) 的条件概率是指

\[ P(A\mid B)=\frac{P(A\cap B)}{P(B)}. \]

分子只保留同时属于 \(A\) 和 \(B\) 的结果；分母把整个 \(B\) 的质量重新缩放为 \(1\)。因此 \(P(\,\cdot\mid B)\) 仍是概率测度：全空间的条件概率为 \(1\)，不交事件的交集部分仍不交，所以可列可加性也保留。\(P(B)=0\) 时，这个比值没有定义，不能令 \(0/0=0\)。¹

若 \(B_1,\ldots,B_m\) 两两不交并覆盖 \(\Omega\)，则 \(A\) 是各个 \(A\cap B_i\) 的不交并，故

\[ P(A)=\sum_{i:P(B_i)>0}P(A\mid B_i)P(B_i). \]

零概率项直接对交集取零，不在那里计算条件比值。进一步，若 \(P(A)>0\) 且 \(P(B_i)>0\)，由 \(P(A\cap B_i)=P(A\mid B_i)P(B_i)\) 得到 Bayes 公式

\[ P(B_i\mid A) =\frac{P(A\mid B_i)P(B_i)} {\sum_{j:P(B_j)>0}P(A\mid B_j)P(B_j)}. \]

这不是另一套概率规则，只是用同一个交集概率交换计算方向。分母仍然是“本次已经知道发生了的事件”的概率。

一张表，两个不同的问题

我们先固定四个可能结果。信号 \(L/H\) 是模型中先收到的信息，\(T\) 是我们关心的尾部状态事件。信号名称本身不说明经济原因。

状态	模型概率	信号	是否属于 \(T\)
\(\omega_1\)	\(0.10\)	\(L\)	否
\(\omega_2\)	\(0.30\)	\(L\)	否
\(\omega_3\)	\(0.40\)	\(H\)	否
\(\omega_4\)	\(0.20\)	\(H\)	是

这里 \(H=\{\omega_3,\omega_4\}\)，\(T=\{\omega_4\}\)。不附加信息时 \(P(T)=0.2\)；得知 \(H\) 以后，只在总质量为 \(0.6\) 的后两行中比较：

\[ P(T\mid H)=\frac{0.2}{0.6}=\frac13. \]

反过来，得知 \(T\) 以后只剩最后一行，而这一行一定属于 \(H\)：

\[ P(H\mid T)=\frac{0.2}{0.2}=1. \]

Bayes 重算前一结果是 \(1\times0.2/0.6=1/3\)。两个条件概率不同并不矛盾：一个问“看见 \(H\) 后有多大概率处于 \(T\)”，另一个问“处于 \(T\) 时会不会看见 \(H\)”。

操作时先选事件，再选条件事件。核算顺序始终是“筛出条件行—算交集质量—除以条件质量”。默认结果如下，离开交互也能复算：

对象	\(P(T)\)	\(P(H)\)	\(P(T\cap H)\)	\(P(T\mid H)\)	\(P(H\mid T)\)
默认模型	\(0.2\)	\(0.6\)	\(0.2\)	\(1/3\)	\(1\)

独立、不相关与条件变化

令 \(A,B\) 为事件，则二者独立是指 \(P(A\cap B)=P(A)P(B)\)。这个乘法定义不需要除法，也适用于零概率事件。只有当 \(P(B)>0\) 时，才可等价改写为 \(P(A\mid B)=P(A)\)。上述例中 \(0.2\ne0.2\times0.6\)，因此 \(T\) 与 \(H\) 不独立。²

随机变量独立要求其取值事件满足同样的乘法规则，不能只检查协方差。例如令 \(U\) 等概率取 \(-1,0,1\)，\(V=U^2\)。对称性给出 \(E[U]=E[U^3]=0\)，所以 \(\operatorname{Cov}(U,V)=0\)；但事件 \(\{U=0\}\) 和 \(\{V=0\}\) 完全相同，交集概率为 \(1/3\)，并非 \((1/3)^2\)。不相关仍可以保留明显的非线性关系。

同样，独立性要连同条件一起看。两枚独立公平硬币原本独立；给定“两次结果相同”后，只剩 \(HH,TT\) 两个等概率结果。此时已知第一枚正面，就确定第二枚也是正面。原分布独立，不代表条件分布仍独立。

这里的更新都在既定联合分布内部完成。表中出现相关或条件概率变化，并没有定义“人为改变信号”时会怎样改变结果；因而不能单凭这张表，把 \(H\) 解释为导致 \(T\) 的原因。

自检与解析

题 1。 默认表中，得知 \(L\) 后 \(T\) 的概率是多少？若把 \(H\) 两行的概率都改为零，还能计算 \(P(T\mid H)\) 吗？

解析。 \(P(L)=0.4\) 且 \(T\cap L=\varnothing\)，故 \(P(T\mid L)=0/0.4=0\)。但 \(P(H)=0\) 时的条件比值没有定义。前一种零是有定义的计算结果，后一种是缺少合法分母；二者不能用同一个数表示。

题 2。 另一模型有 \(P(T)=0.1\)、\(P(H\mid T)=0.8\)、\(P(H\mid T^c)=0.2\)。收到 \(H\) 后 \(T\) 的概率是多少？

解析。 先用不交分解得到 \(P(H)=0.8(0.1)+0.2(0.9)=0.26\)，再得 \(P(T\mid H)=0.08/0.26=4/13\)。不能直接答 \(0.8\)，因为那是相反方向的条件概率。也不能仅凭更新后的 \(4/13\) 判断干预 \(H\) 的因果效果。

需要把每个事件中的概率更新变成一个随信息变化的数值预测时，继续看 按已有信息分组平均 ↗。