C-K方程的两个例子(2)
例2
在一系列独立抛掷一个公平硬币的实验中，以\(N\)记直至出现连续3次正面的抛掷次数，求(1)\(P(N\leq8)\) (2)\(P(N=8)\)
如果采用朴素的概率解法，就是利用二项分布然后结合排列组合进行求解。这里使用马尔科夫链来进行求解，为什么可以用马氏链来求解这个问题呢？因为前一步实验的结果会对影响后一步实验，这种影响并不体现在抛掷上(因为是独立的，而体现在抛掷次数上)。首先可以明确看出这个抛掷实验的过程会在连续出现3次正面后停止，也就是说如果我们记正面连续出现的次数为状态，那么待定义的马尔科夫链的状态空间就是\(S=\{0,1,2,3\}\), 确定状态后，我们接着来确定状态与状态之间转移的概率矩阵，需要预告的是，这里的概率转移矩阵之间细微的差别决定了我们是在求解第一个题目还是第二个题目。
设马氏链\(\{X_n\in S, n\geq 0\}\)的概率转移矩阵为\(P\)，那么\(P_{i,j} = P\{X_n=j|X_{n-1}=i\}=P\{X_n=j\}(独立条件)\)描述的是第\(n-1\)步\(\textcolor{red}{已经}\)出现\(i\)次连续正面的情况下，第\(n\)步时已经出现\(j\)次正面的概率，因此它描述的是在第\(n\)步时已经有了\(j\)次正面，这与问题(1)的含义相同，问题(1)描述的在第8步时已经有了3次连续的正面(说明有可能在第8步之前就有了3次)，这里的已经二字就刻画了问题(1)中小于等于的符号，所以这里建立的这个概率转移矩阵是对应问题(1)的解。如\(P_{1,2}\)它表示在前一步已经有1次连续正面的情况下，后一步已经有\(2\)次连续正面出现，这个事件等价于给定前一步时，后一步投掷出正面。根据这个逻辑，可以确定概率转移矩阵\(P\)的定义如下
\(P = \left[\begin{matrix}
\frac12 & \frac12 & 0 & 0 \\
\frac12 & 0 & \frac12 & 0 \\
\frac12 & 0 & 0 & \frac12 \\
0 & 0 & 0 & 1
\end{matrix}
\right]
\)
问题(1)所描述的问题等价于在上面定义的框架下求\(P\{X_8 = 3\}\), 再次强调一遍，这里的等号并不意味着是第8次才出现三次连续正面，而是前8次中有三次连续正面，这在前面已经论述过了, 所以有\(P\{X_8 = 3\} = P\{X_8 = 3|X_0 = 0\}=P_{0,3}^8\)， 根据C-K方程，它是矩阵\(P\)的8次方的第1行(0)的最后一列(3).
对于问题(2), 它描述第8次才出现三次连续正面，通过上面的解答，我们有
\(P\{N = 8\}=P\{X\leq 8\}-P\{X\leq 7\}\)
另外，我们也可以重新定义新的马尔科夫链来求解这个问题，在问题(2)中有了问题(1)的铺垫，我们需要明确的是这里我们求的是在第\(n\)步刚出现连续\(k\)次正面， 这个刚字就刻画了连续\(k\)次正面是在第\(n\)步实验时发生的，那如何把这个字的含义融入到马氏链中呢？引入新的一个状态4，它表示在过去出现了连续3次正面，那么刚字的含义被这个状态4衬托出来了，设\(Q\)为这种情况下的概率转移矩阵，那么\(Q_{i,j}=P\{X_{n} = j|X_{n-1} = i\}\)表示的就是在第\(n-1\)步刚出现连续\(i\)次正面的情况下，第\(n\)步刚出现连续\(j\)次正面的概率，这里\(i,j \neq 4\)这样由此定义的转移矩阵\(Q\)为
\(Q = \left[\begin{matrix}
\frac12 & \frac12 & 0 & 0 & 0 \\
\frac12 & 0 & \frac12 & 0 & 0 \\
\frac12 & 0 & 0 & \frac12 & 0 \\
0 & 0 & 0 & 0 & 1 \\
0 & 0 & 0 & 0 & 1
\end{matrix}
\right]
\)
这里\(Q_{3,4} = 1\)表示在前一次刚出现3次连续正面的情况下，下一步在过去出现了连续3次正面的概率是1. 所以\(P\{N=8\}=Q_{0,3}^8\)