Exponential Distribution
随机变量\(X\)服从指数分布的参数为\(\lambda\)的密度函数是：\(f(x) = \left\{\begin{align*} &\lambda e^{-\lambda x},\quad x\geq 0\\ &0,\quad else \end{align*}\right.\) , 通过矩母函数\(\phi(t) = E(e^{tX})\)在0处的一阶和二阶导数可以比较容易地确定\(X\)的一阶矩\(E(X) = \frac1 \lambda\)和二阶矩\(E(X^2) = \frac2{\lambda^2}\), 这样得到\(Var(X) = \frac{1}{\lambda^2}\).
The memoryless property
随机变量无记忆性可以通过下式来表达
\(P\{X>t+s|X>t\} = P\{X>s\}\)
它可以这样来理解，一个零件的寿命是随机变量\(X\), 那么这个零件已经正常工作\(t\)个单位时间后，它再正常工作\(s\)个单位时间的(条件)概率等于这个零件在刚开始已经正常工作\(s\)个单位时间的概率，也就是说已经工作过的\(t\)个单位时间对零件的寿命的分布没有影响，进一步地，这个零件在任意时刻都像刚开始那样新；而对于多个服从指数分布的零件来说，尽管它们已经正常工作的时间可能不同，但是从那时开始它们各自再正常工作\(s\)个单位时间的概率是相同的。
上述这个描述无记忆性的方程可以进一步写为
\(P\{X>t+s\} = P\{X>s\}P\{X>t\}\)
而指数分布正好满足上述式子，所以具有指数分布的随机变量具有无记忆性。下面这个例子就应用了指数分布的随机变量具有无记忆性的性质。
例题
Consider a post office that is run by two clerks. Suppose that when Mr. Smith enters the system he discovers that Mr. Jones is being served by one of the clerks and Mr. Brown by the other. Suppose also that Mr. Smith is told that his service will begin as soon as either Jones or Brown leaves. If the amount of time that a clerk spends with a customer is exponentially distributed with mean 1/λ, what is the probability that, of the three customers, Mr. Smith is the last to leave the post office?
需要说明的是，因为Jones和Brown先生正在接受服务，所以Smith先生是与其中一位相比是最后一个离开的。因此我们不关心Jones和Brown先生中的哪一位先完成服务，当其中一位完成服务时，Smith先生开始接受服务，由于服务时间是服从指数分布的且根据指数分布的无记忆性可以知道此时Smith先生和另一个顾客都相当于刚刚开始接受服务，而它俩的服务时间是同分布的，根据对称性可以得到 其中一个人最后离开post office的概率是\(\frac12\). (这个也可以用后面的两个指数随机变量的大小关系：\(P\{X_1<X_2\} = \frac{\lambda_1}{\lambda_1+\lambda_2}\)得到)。
失效率函数
上面的无记忆性考虑了某个零件在工作了\(t\)个单位时间后可以继续工作\(s\)个单位时间的概率，那如果考虑这个零件在工作了\(t\)个单位时间后失效的概率呢，即它正常工作了\(t\)个单位时间后，继续正常工作的时间落在一个区间中,超出这个区间就失效了，这个事件可以由下面的式子得出
\(P\{X\in(t,t+dt)|X>t\} = \frac{P\{X\in(t,t+dt),X>t\}}{P\{X>t\}} = \frac{f(t)dt}{1-F(t)}\)
将一个零件正常工作了\(t\)个单位时间后失效的概率密度函数记为\(r(t)\), 根据上面的叙述就有\(r(t) = \frac{f(t)}{1-F(t)}\). 特别地，对于指数分布有\(r(t) = \lambda\)(带入计算就可以得到)，这说明对于寿命服从指数分布的不同零件来说，尽管各自已经正常工作过的时间不同，从那时开始它们在相同时段内失效的概率也是是一样的。
The Distribution of the Function of Exponential Variables (指数分布随机变量函数的分布)
1. 相互独立同分布的指数随机变量的和是伽马分布
这个命题的具体阐述是：令\(X_1,X_2,\cdots,X_n\)是\(n\)个相互独立的具有均值为\(\frac{1}{\lambda}\)的指数随机变量，那么它们的和\(\sum_{i=1}^n X_i\)是一个具有参数\(n\)和\(\lambda\)的伽马分布(用数学归纳法可证明)。即：
\(\sum_{i = 1}^n X_i \sim f(x) = \left\{\begin{align*}&\frac{(\lambda x)^{n-1}\lambda e^{-\lambda x}}{\Gamma{(n)}},\quad x\geq0\\ &0,\quad, x<0 \end{align*}\right.\)
其中\(\Gamma{(n)} = (n-1)!\)
3. 相互独立不同分布的指数随机变量和的分布
\(X_i,\ i = 1,2,\cdots,n\)是相互独立的且分别具有参数\(\lambda_i\)的指数随机变量。我们现在考虑亚指数随机变量\(\sum_{j = 1}^n X_i\)的分布。先考虑\(n = 2\)的情况，我们都知道对于相互独立的随机变量\(X_1,X_2\)的和\(X_1+X_2\)的分布的密度函数可以通过求各自密度函数的卷积来得到，即
\(f_{X_1+X_2} = f_{X_1}(x) * f_{X_2}(x) = \int_{0}^t f_{X_1}(s)f_{X_2}(x-s)ds\)
通过卷积得到的两个独立的指数随机变量的和的密度函数为
\(f_{X_1+X_2} = \sum_{i = 1}^2 \lambda_ie^{-\lambda_i t}(\prod_{j\neq i} \frac{\lambda_j}{\lambda_j - \lambda_i})\)
这个结论可以推广到\(n\)个随机变量的情况下，即对于\(n\)个独立的指数随机变量，它们的和\(\sum_{i=1}^n X_i\)所对应的亚指数随机变量的密度函数是
\(f_{X_1+X_2+\cdots+X_n}(x) = \sum_{i = 1}^n \lambda_ie^{-\lambda_it}(\prod_{j\neq i}\frac{\lambda_j}{\lambda_j-\lambda_i})\)
2. 相互独立的不同指数随机变量的最小值是指数随机变量
首先考虑两个相互独立的均值为\(\frac{1}{\lambda_1}\)和\(\frac{1}{\lambda_2}\)的指数随机变量\(X_1,X_2\), 求\(P\{X_1<X_2\}\)
\(\begin{align*} P\{X_1<X_2\} &= \int P\{X_1<X_2|X_1 = x\}P\{X_1 = x\}dx\\ &= \int P\{X_2>x\}\lambda_1e^{-\lambda_1x}dx\\ &= \int e^{-\lambda_2 x} \lambda_1 e^{-\lambda_1x}dx\\ &= \int \lambda_1 e^{-(\lambda_1 + \lambda_2)x}dx\\ &= \frac{\lambda_1}{\lambda_1+\lambda_2} \end{align*}\)
现在考虑\(X_1,X_2,\cdots,X_n\)这\(n\)个独立的且每个具有均值\(\frac{1}{\lambda_i}\)的指数随机变量，\(\min(X_1,X_2,\cdots,X_n)\)的分布是均值为\(\frac{1}{\sum_{i = 1}^n X_i}\)的指数分布(证明只需要注意到\(P\{\min(X_1,X_2,\cdots,X_n)>x\}=P\{X_i>x \text{对所有i成立}\}\)即可)。
PS: 需要注意的是如果令 \(Y = \min(X_1,X_2,\cdots,X_n)\), 那么\(Y\)是一个全新的随机变量，它并不是某个\(X_i\), 这可以从下面的例子看出
现在考虑\(X_i = \min_{j}(X_1,X_2,\cdots,X_n)\)的概率，即\(X_i\)以多大的概率成为最小的？即
\(P\{X_i = \min_j(X_1,X_2,\cdots,X_n)\} = P\{X_i<\min_{j\neq i}X_j\}\)
因为\(\min_{j\neq i}X_j\)是以\(\sum_{j\neq i}\lambda_i\)为参数的指数随机变量，再根据上面两个指数随机变量的大小关系的分布可以得出
\(P\{X_i=\min_{j}(X_1,X_2,\cdots,X_n)\} = \frac{\lambda_1}{\sum_{j\neq i}\lambda_j}\)
PS: 这里不能用\(P\{X_i<X_j,\text{for every }j\neq i\}\), 然后再根据独立性条件来求，因为\(P\{X_i<X_j\}\)的各个时间不是独立的(1<2,1<3, 2肯定小于3)