《随机过程》第一章-基础概念

事件与概率

试验

通常把按照一定想法去做的事件称为试验（experiment），把试验的可能结果称为样本点（sample point），样本点的集合称为样本空间（sample space）。通常将样本空间记为 $\Omega$，样本点记为 $\omega$。

试验（按照自己的想法做一件事情）$\rightarrow$ 不确定性 $\rightarrow$ 产生结果 $\rightarrow$ 样本点 sample point，记作$\omega$。

得到样本点集合 $\rightarrow$ 样本空间，记作$\Omega$。

例如：$\omega=1,2,3,4,5,6$ $\Omega=\{1,2,3,4,5,6\}$ 事件（event）是样本空间 $\Omega$ 的子集，且满足三个条件：

• $\Omega$ 是事件；
• 若 $A$ 是事件，则 $A^c$ 是事件；（$A^c$是$A$的补集，C-Complement）
• 若 $A_i$ 是事件，则 $\bigcup_{i=1}^{\infty} A_i$ 是事件。

对于事件 $A$，如果使用 $\mathbb{P}(A)$ 表示事件发生的概率，则 $\mathbb{P}(A)$ 满足以下条件：

• 非负性：$\mathbb{P}(A)\ge 0$；
• 完备性：$\mathbb{P}(\Omega)=1$；
• 可列可加性：对于互不相容的事件 $A_1,A_2,\ldots$，有 $$\mathbb{P}\!\left(\bigcup_{i=1}^{\infty} A_i\right)=\sum_{i=1}^{\infty}\mathbb{P}(A_i).$$

对于样本空间 $\Omega$ 和概率 $\mathbb{P}$，用 $\mathcal{F}$ 表示全体事件时，称为三位一体的 $(\Omega,\mathcal{F},\mathbb{P})$ 为概率空间（probability space）。

$\mathcal{F}$ 称作 $\sigma$-代数，其反映了全体事件。假设 $\Omega=\{1,2,3\}$，则 $\mathcal{F}$ 可表示为：

$$\mathcal{F}=\{\varnothing,\{1\},\{2\},\{3\},\{1,2\},\{1,3\},\{2,3\},\{1,2,3\}\}.$$

对于 $\sigma$-代数 $\mathcal{F}$，其中的元素满足以下条件：

• 若 $A_i\in\mathcal{F}$，则 $A_i^c\in\mathcal{F}$；
• 若 $A_i,A_j\in\mathcal{F}$，$\forall\, i,j$，则 $A_i\cap A_j\in\mathcal{F}$；
• 若 $A_i,A_j\in\mathcal{F}$，$\forall\, i,j$，则 $A_i\cup A_j\in\mathcal{F}$。

简而言之，对 $\sigma$-代数 $\mathcal{F}$ 中的元素取补集、交集和并集，结果均在 $\mathcal{F}$ 中。（$\sigma$-代数对并、交、补运算均封闭）

• $\mathbb{P}(\varnothing)=0$；

• 当且仅当 $A_1,A_2,\ldots,A_n$ 互不相容时，等号成立：

  $$\mathbb{P}\!\left(\bigcup_{i=1}^{n} A_i\right)\le \sum_{i=1}^{n}\mathbb{P}(A_i).$$

• 如果 $B\subset A$，则

  $$\mathbb{P}(A)-\mathbb{P}(B)=\mathbb{P}(A-B)\ge 0.$$
• $$\mathbb{P}(A\cup B)=\mathbb{P}(A)+\mathbb{P}(B)-\mathbb{P}(AB).$$

• 当 $\mathbb{P}(A)>0$ 时，

  $$\mathbb{P}(B\mid A)=\frac{\mathbb{P}(AB)}{\mathbb{P}(A)}.$$

乘法公式

$$\mathbb{P}(B_1B_2\cdots B_n) =\mathbb{P}(B_1)\,\mathbb{P}(B_2\mid B_1)\cdots \mathbb{P}(B_n\mid B_1B_2\cdots B_{n-1}).$$

当 $\mathbb{P}(A)>0$ 时，

$$\mathbb{P}(B_1B_2\cdots B_n\mid A) =\mathbb{P}(B_1\mid A)\,\mathbb{P}(B_2\mid B_1A)\cdots \mathbb{P}(B_n\mid B_1B_2\cdots B_{n-1}A).$$

全概率公式

若事件 $A_1,A_2,\ldots$ 互不相容，则当 $B\subset \bigcup_{i=1}^{\infty}A_i$ 或者 $\bigcup_{i=1}^{\infty}A_i=\Omega$ 时，有：

$$\mathbb{P}(B)=\sum_{i=1}^{\infty}\mathbb{P}(BA_i) =\sum_{i=1}^{\infty}\mathbb{P}(B\mid A_i)\mathbb{P}(A_i).$$

当 $\mathbb{P}(A)>0$ 时，

$$\mathbb{P}(B\mid A)=\sum_{i=1}^{\infty}\mathbb{P}(B\mid A_iA)\,\mathbb{P}(A_i\mid A).$$

贝叶斯公式（Bayesian formula）

$$\mathbb{P}(A\mid B)=\frac{\mathbb{P}(B\mid A)\cdot \mathbb{P}(A)}{\mathbb{P}(B)}.$$

若 $A_1,A_2,\ldots$ 为一系列互不相容的事件，并且

$$\bigcup_{i=1}^{\infty} A_i=\Omega,\qquad \mathbb{P}(A_i)>0,\ \forall i,$$

则对任一事件 $B$，有：

$$\mathbb{P}(A_i\mid B)=\frac{\mathbb{P}(B\mid A_i)\cdot \mathbb{P}(A_i)}{\sum_{k=1}^{\infty}\mathbb{P}(B\mid A_k)\cdot \mathbb{P}(A_k)},\qquad i=1,2,\ldots$$

概率的连续性

如果 $A_1\subset A_2\subset \cdots$，$B_1\supset B_2\supset \cdots$，则有：

$$\mathbb{P}\!\left(\bigcup_{i=1}^{\infty} A_i\right)=\lim_{n\to\infty}\mathbb{P}(A_n),$$ $$\mathbb{P}\!\left(\bigcap_{i=1}^{\infty} B_i\right)=\lim_{n\to\infty}\mathbb{P}(B_n).$$

随机变量和随机向量

随机变量

随机变量 $X$ 是定义在样本空间 $\Omega$ 上的函数。

$F_X(t)=\mathbb{P}(X\le t)$ 是 $X$ 的分布函数，该函数是单调不减的右连续函数。

对于连续型随机变量 $X$ 而言，

$$F_X(t)=\mathbb{P}(X\le t)=\int_{-\infty}^{t} f(s)\,ds.$$

其中：$F_X(t)$ 是 $X$ 的分布函数（distribution function），$f(s)$ 是 $X$ 的密度函数（density function），相应：

$$\mathbb{P}(X\in A)=\int_{A} f(s)\,ds.$$

随机向量

如果 $X_1,X_2,\ldots,X_n$ 都是随机变量，则 $X=(X_1,X_2,\ldots,X_n)$ 称作随机向量。相应地，定义在 $\mathbb{R}^n$ 上的 $n$ 元函数

$$F_X(x_1,x_2,\ldots,x_n)=\mathbb{P}(X_1\le x_1,\; X_2\le x_2,\; \ldots,\; X_n\le x_n)$$

称作 $X=(X_1,X_2,\ldots,X_n)$ 的分布函数。

与前面类似，对于连续型随机向量 $X$，

$$\mathbb{P}(X\in D)=\int_D f(\mathbf{x})\,dx_1\,dx_2\cdots dx_n.$$

其中：$f(\mathbf{x})=f(x_1,x_2,\ldots,x_n)$ 是 $X$ 的联合密度；$D$ 是定义在 $\mathbb{R}^n$ 上的区域（domain）。

随机过程的概念

随机过程的定义

设 $(\Omega,\mathcal{F},\mathbb{P})$ 是一个概率空间，$T$ 为一个参数集。对每一个 $t\in T$，均有定义在概率空间上的一个随机变量 $X_t(\omega)$，$\omega\in\Omega$ 与之对应，则称 $\{X_t:t\in T\}$ 为 $(\Omega,\mathcal{F},\mathbb{P})$ 上的一个随机过程（stochastic process）。

$t$ 通常理解成时间，相应的参数集 $T$ 通常指的是时间参数，$X_t$ 可看作过程在时刻 $t$ 的状态，$X_t$ 的取值范围称作状态空间 $S$。

时间：离散，连续

状态：离散，连续

状态空间 \ 时间参数	离散 (D)	连续 (C)
离散 (D)	马氏链	连续时间马氏链
连续 (C)	-	布朗运动（金融数学）

对于 $X_t(\omega)$，

• 若固定 $\omega$，$X_t$ 称为样本函数或轨道，是随机过程的一次实现（realization）（例:时间序列）
• 若固定 $t$，$X(\omega)$ 称为一个随机变量；
• 所有可能出现的结果的总体 $\{X_1(\omega),X_2(\omega),\ldots,X_n(\omega),\ldots\}$，$\omega\in\Omega$ 构成一个随机过程。

随机过程可看作所有样本函数的集合（assemble）。

以股价为例

当前时刻记为 $0$，对于 $t\ge 0$，用 $X_t$ 表示 $t$ 时刻的股价，显然：$X_t$ 是随机变量。

• 随机变量的集合 $\{X_t\}$ 称为随机过程。
• 随着时间的推移，可以观测到股价的一次记录曲线 $\{x_t\}$，这条曲线称为随机过程 $\{X_t\}$ 的一次实现或一条轨迹。

数学期望

离散型随机变量的期望

设 $X$ 有离散的概率分布如下：

$$p_i=\mathbb{P}(X=x_i),\qquad i=1,\ldots,n$$

则

$$\mathbb{E}(X)=\sum_{i=1}^{n} x_i p_i.$$

类似地：

$$\mathbb{E}(X^2)=\sum_{i=1}^{n} x_i^{\,2} p_i.$$

离散型随机变量期望的其他表达式

设 $X$ 为取值是非负整数的随机变量，其期望值的计算公式如下：

$$\mathbb{E}(X)=\sum_{k=1}^{\infty}\mathbb{P}(X\ge k).$$

简略证明

$$\sum_{k=1}^{\infty}\mathbb{P}(X\ge k) =\sum_{k=1}^{\infty}\sum_{i=k}^{\infty}\mathbb{P}(X=i) =\sum_{i=1}^{\infty}\sum_{k=1}^{i}\mathbb{P}(X=i) =\sum_{i=1}^{\infty} i\cdot \mathbb{P}(X=i) =\mathbb{E}(X).$$

连续型随机变量的期望

设 $X$ 是有密度函数 $f(x)$ 的随机变量，即

$$\mathbb{P}(X\le a)=\int_{-\infty}^{a} f(x)\,dx$$

则

$$\mathbb{E}(X)=\int_{-\infty}^{\infty} x f(x)\,dx.$$

类似地：

$$\mathbb{E}(X^2)=\int_{-\infty}^{\infty} x^2 f(x)\,dx.$$

卷积

随机变量之和的概率——离散情形

设随机变量 $X$ 和 $Y$ 独立，且满足：

$$\mathbb{P}(X=k)=a_k,\qquad \mathbb{P}(Y=k)=b_k,\qquad k=0,1,\ldots$$

则 $Z=X+Y=n$（$n\ge 0$）的概率为：

$$\mathbb{P}(Z=n)=\mathbb{P}(X+Y=n)=\sum_{i=0}^{n}\mathbb{P}(X=i,\;Y=n-i) =\sum_{i=0}^{n}\mathbb{P}(X=i)\mathbb{P}(Y=n-i) =\sum_{i=0}^{n} a_i\,b_{n-i}.$$

令 $\mathbb{P}(Z=n)=c_n$，则：

$$c_n=\sum_{i=0}^{n} a_i\,b_{n-i}.$$

这里的序列 $\{c_n\}$ 称作序列 $\{a_n\}$ 和 $\{b_n\}$ 的卷积（convolution），其中 $n\ge 0$。

随机变量之和的分布函数——连续情形

设随机变量 $X$ 和 $Y$ 独立，其分布函数分别为 $F(x)$ 和 $G(y)$，则 $U=X+Y$ 有如下分布函数：

$$U(t)=\mathbb{P}(X+Y\le t) =\sum_{0\le s\le t}\mathbb{P}(X+Y\le t\mid Y=s)\,\mathbb{P}(Y=s)$$ $$=\int_{0}^{t}\mathbb{P}(X\le t-s)\,dG(s) =\int_{0}^{t}F(t-s)\,dG(s).$$

由于 $X+Y=Y+X$，因此：

$$\int_{0}^{t}F(t-s)\,dG(s)=\int_{0}^{t}G(t-s)\,dF(s).$$

举例

设随机变量 $X$ 和 $Y$ 独立，其分布函数分别为

$$F_X(x)=1-e^{-\lambda x},\quad x\ge 0;\qquad G_Y(y)=\frac{y}{2},\quad 0\le y\le 2.$$

求 $U=X+Y$ 的分布函数。

运用卷积求解

分布函数求解的公式如下：

$$U(t)=\mathbb{P}(X+Y\le t)=\int_{0}^{t} F_X(t-s)\,dG_Y(s).$$

这里要特别注意：$y\in[0,2]$，因此需要根据 $t$ 的取值分情况来讨论。

当 $t<2$ 时：

$$U(t)=\int_{0}^{t}F_X(t-s)\,dG_Y(s) =\int_{0}^{t}\bigl[1-e^{-\lambda(t-s)}\bigr]\,d\!\left(\frac{s}{2}\right)$$ $$=\frac12\left[\int_{0}^{t}ds-e^{-\lambda t}\int_{0}^{t}e^{\lambda s}\,ds\right] =\frac12\left[t-\frac{1}{\lambda}+\frac{e^{-\lambda t}}{\lambda}\right].$$

当 $t\ge 2$ 时：

$$U(t)=\int_{0}^{2}F_X(t-s)\,dG_Y(s) =\int_{0}^{2}\bigl[1-e^{-\lambda(t-s)}\bigr]\,d\!\left(\frac{s}{2}\right)$$ $$=\frac12\left[\int_{0}^{2}ds-e^{-\lambda t}\int_{0}^{2}e^{\lambda s}\,ds\right] =1-\frac{e^{-\lambda t}}{2\lambda}\bigl(e^{2\lambda}-1\bigr).$$

随机变量之和的密度函数：卷积

设随机变量 $X$ 和 $Y$ 独立，其概率密度函数分别为 $f(x)$ 和 $g(y)$，则 $U=X+Y$ 有如下概率密度函数 $u(t)$：

$$u(t)=\int_{0}^{t} f(t-s)g(s)\,ds := (f*g)(t) =\int_{0}^{t} g(t-s)f(s)\,ds := (g*f)(t).$$

$(f*g)(t)$ 称为函数 $f$ 和 $g$ 的卷积（convolution）。

卷积满足交换律：$f*g=g*f$。

卷积：举例

设随机变量 $X$ 和 $Y$ 独立，其概率密度函数分别为

$$f_X(x)=\lambda e^{-\lambda x},\qquad f_Y(y)=\lambda e^{-\lambda y},$$

求 $U=X+Y$ 的概率密度函数。（两个指数分布rev得到的分布为Gamma分布，Erlang分布）

运用卷积求解

$$f_U(t)=\int_{0}^{t} f_X(t-s)f_Y(s)\,ds =\int_{0}^{t}\lambda e^{-\lambda(t-s)}\cdot \lambda e^{-\lambda s}\,ds$$ $$=\lambda^2\int_{0}^{t} e^{-\lambda t}\,ds =\lambda^2\left[-\frac{1}{\lambda}e^{-\lambda t}\right]_{s=0}^{s=t} =\lambda^2 t\,e^{-\lambda t}.$$

概率母函数

概率母函数的概念

概率母函数 $G_X(s)$ （generating function）是随机变量的概率质量函数（probability mass function, pmf）的幂级数表达式，其表达式如下：

$$G_X(s)=\mathbb{E}[s^X]=\sum_{k=0}^{\infty}s^k\cdot \mathbb{P}(X=k),\qquad s\in[-1,1].$$

对 $G_X(s)$ 关于 $s$ 求导，可得：

$$G_X'(s)=\mathbb{E}[Xs^{X-1}]=\sum_{k=0}^{\infty}k\,s^{k-1}\cdot \mathbb{P}(X=k),$$ $$G_X''(s)=\mathbb{E}[X(X-1)s^{X-2}]=\sum_{k=0}^{\infty}k(k-1)\,s^{k-2}\cdot \mathbb{P}(X=k).$$

令$s=1$, $G_X'(s)=\mathbb{E}X$, $G_X''(s)=\mathbb{E}[X(X-1)]=\mathbb{E}(X^2)-\mathbb{E}X.$

$Var(x)=\mathbb{E}(X^2)-[\mathbb{E}X]^2$

矩母函数

矩母函数的概念

每个随机变量X 对应唯一一个矩母函数。 矩母函数（Moment Generating Function, MGF）是一种构造函数。对于任何满足概率密度函数为 $f(x)$ 的随机变量 $X$，其矩母函数如下：

$$M_X(t)=\mathbb{E}(e^{tX})=\int_{-\infty}^{\infty} e^{tx}f(x)\,dx.$$

根据 Taylor 展开式：

$$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots=\sum_{k=0}^{\infty}\frac{x^k}{k!}$$

可得：

$$e^{tx}=\sum_{k=0}^{\infty}\frac{(tx)^k}{k!}.$$

矩母函数可以相应进行如下展开：

$$M_X(t)=\int_{-\infty}^{\infty} e^{tx}f(x)\,dx =\int_{-\infty}^{\infty} f(x)\sum_{k=0}^{\infty}\frac{(tx)^k}{k!}\,dx$$ $$=\sum_{k=0}^{\infty}\frac{t^k}{k!}\int_{-\infty}^{\infty}x^k f(x)\,dx =\sum_{k=0}^{\infty}\frac{t^k}{k!}\,\mathbb{E}[X^k]$$ $$=1+t\cdot \mathbb{E}[X]+\frac{t^2}{2!}\cdot \mathbb{E}[X^2]+\cdots+\frac{t^n}{n!}\cdot \mathbb{E}[X^n]+\cdots$$

由此可见，矩母函数包含了随机变量 $X$ 的各种中心矩 $\mathbb{E}[X^n]$，$n=1,2,3,\ldots$。

由矩母函数求各阶中心矩 $\mathbb{E}[X^n]$

注意到：对

$$M_X(t)=\int_{-\infty}^{\infty} e^{tx}f(x)\,dx$$

关于 $t$ 求导，可得：

$$\frac{dM_X(t)}{dt}=\int_{-\infty}^{\infty} e^{tx}\cdot x f(x)\,dx.$$

类似地：

$$\frac{d^n M_X(t)}{dt^n}=\int_{-\infty}^{\infty} e^{tx}\cdot x^n f(x)\,dx.$$

当 $t=0$ 时：

$$\left.\frac{d^n M_X(t)}{dt^n}\right|_{t=0} =\int_{-\infty}^{\infty} x^n f(x)\,dx =\mathbb{E}[X^n].$$

举例：指数分布的中心矩求算

假设随机变量 $X$ 服从速率为 $\lambda$ 的指数分布，其概率密度函数为：

$$f_X(x)=\lambda e^{-\lambda x},\qquad \lambda>0,\ x\ge 0.$$

相应的矩母函数如下：

$$M_X(t)=\mathbb{E}\!\left(e^{tX}\right)=\int_{0}^{\infty} e^{tx}\lambda e^{-\lambda x}\,dx$$ $$=\lambda\int_{0}^{\infty} e^{-(\lambda-t)x}\,dx =\lambda\left[\frac{1}{t-\lambda}e^{-(\lambda-t)x}\right]_{x=0}^{x=\infty} =\frac{\lambda}{\lambda-t},\qquad t<\lambda.$$

矩母函数

$$M_X(t)=\frac{\lambda}{\lambda-t},\qquad \lambda>t.$$

相应地：

$$\frac{dM_X(t)}{dt}=\frac{\lambda}{(\lambda-t)^2} \ \Rightarrow\ \mathbb{E}(X)=\left.\frac{dM_X(t)}{dt}\right|_{t=0}=\frac{1}{\lambda}.$$ $$\frac{d^2M_X(t)}{dt^2}=\frac{2\lambda}{(\lambda-t)^3} \ \Rightarrow\ \mathbb{E}(X^2)=\left.\frac{d^2M_X(t)}{dt^2}\right|_{t=0}=\frac{2}{\lambda^2}.$$ $$\frac{d^3M_X(t)}{dt^3}=\frac{2\cdot 3\lambda}{(\lambda-t)^4} \ \Rightarrow\ \mathbb{E}(X^3)=\left.\frac{d^3M_X(t)}{dt^3}\right|_{t=0}=\frac{6}{\lambda^3}.$$

因此：

$$\mathbb{E}(X^n)=\frac{n!}{\lambda^n}.$$

矩母函数的局限性

对于某些概率分布（比如：柯西分布），矩母函数可能不收敛（结果为无穷大）。

为解决该问题，引入特征函数（characteristic function），并且随机变量的特征函数与分布函数相互唯一决定。

特征函数的表达式：

$$\phi(t)=\mathbb{E}\!\left(e^{itX}\right),\qquad t\in\mathbb{R}.$$

根据欧拉公式 $e^{ix}=\cos x+i\sin x$，可得：

$$\phi(t)=\mathbb{E}[\cos(tX)]+i\,\mathbb{E}[\sin(tX)].$$

特征函数的应用

在某些情况下，我们得到了随机变量 $X$ 的特征函数表达式 $\phi_X(t)$，就可以反推出与之对应的分布（密度）函数 $f(x)$，相应的计算采用傅立叶变换方法（Fourier transform），具体公式如下：

$$f(x)=\frac{1}{2\pi}\int_{-\infty}^{\infty} e^{-itx}\,\phi_X(t)\,dt.$$