随机过程基本概念

随机过程的定义

随机过程是一族随机变量，主要用于描述随时间变化的随机现象。

假设 \((\Omega,\,\mathscr{F},\,P)\) 是概率空间，\(T\) 为指标集，\(\varepsilon\) 为点集，称一族随机变量 \(X(\omega,\,t):\Omega\to\varepsilon,\,t\in T\) 为随机过程，记作\(\boldsymbol X=(X(t),\,t\in T)\) 。其中，称 \(T\) 为时间参数空间，称 \(\varepsilon\) 为状态空间。有时将时间 \(t\) 作为下标，记作 \(X_t\) 。

这样的定义未免有些抽象，可以简单理解为：一个随机过程 \(\boldsymbol X=\left(X(t),\,t\in T\right)\) 是一族随机变量，即对指标集 \(T\) 中的每个 \(t\) ，\(X(t)\) 是一个随机变量，其含义为过程在 \(t\) 时刻的状态。

任给一个 \(\omega\in \Omega\) ，\(X(\omega,\,\cdot)\) 是 \(T\to\varepsilon\) 上的函数，称为随机过程的样本轨道或样本曲线。我们可以理解为：样本曲线是随机过程在 \(T\) 上的一次观测结果。

根据参数空间 \(T\) 和状态空间 \(\varepsilon\) 的不同类别，我们可以将随机过程分为以下四种情况：离散时间离散状态、离散时间连续状态、连续时间离散状态、连续时间连续状态。

随机过程的概率分布

随机过程是一族随机变量，因此随机过程也存在它的概率分布。以 \(\varepsilon=\mathbb{R},\,T=(-\infty,\infty)\) 为例，我们首先来介绍随机过程的有限维分布 。

• \(1\) 维分布：任给 \(t\in T\) ，\(X(t)\) 的分布函数为：

• \(2\) 维分布：任给 \(s,\,t\in T\) ，\(\big(X(s),\,X(t)\big)\) 的联合分布函数为：

• \(k\) 维分布：任给 \(t_1,t_2,\cdots,t_k\in T\) ，\(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的联合分布函数为：

随机过程 \(\boldsymbol X\) 的概率分布可以通过它的所有有限维分布函数族来描述：

它完全确定了随机过程的统计特性。

一般来说，具体给出一个随机过程的任意有限维分布并不容易计算。对于某些特殊情况，我们可以用其他方法计算。

• 如果 \(\big(X(t_1),X(t_2)-X(t_1),\cdots,X(t_k)-X(t_{k-1})\big)\) 的联合分布已知，则可以通过线性变化的方法计算 \(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的联合分布。

  对 \(k\geq1,\,t_1<t_2<\cdots<t_k\) 有

• 如果在给定 \(X(t_1),X(t_2),\cdots,X(t_{k-1})\) 的条件下，\(X(t_k)\) 的分布是已知的，则 \(\big(X(t_1),X(t_2),\cdots,X(t_k)\big)\) 的联合分布可以通过条件概率的链式法则得到。

  假设 \(t_1<t_2<\cdots<t_k\) ，任意给定 \(x_1,x_2,\cdots,x_k\in\mathbb{R}\) ，记 \(A_k=\{X(t_k)=x_k\}\) ，则有

随机过程的数字特征

类比于随机变量，我们同样很难完全掌握一个随机过程的概率分布，因此我们需要引入某些数字特征来反映随机过程的主要性质。一般地，随机过程的数字特征是定义在时间参数空间上的函数。

均值函数

假设对每一个 \(t\in T\) ，\({\rm E}|X(t)|<\infty\) ，则称

为随机过程 \(\boldsymbol X\) 的均值函数。

方差函数

假设对每一个 \(t\in T\) ，\({\rm E}\left[X(t)\right]^2<\infty\) ，则称

为随机过程 \(\boldsymbol X\) 的方差函数。

自相关函数

对 \(s,\,t\in T\) ，定义

称 \(r_X(s,\,t)\) 为随机过程 \(\boldsymbol X\) 的自相关函数。

自协方差函数

对 \(s,\,t\in T\) ，定义

称 \(C_X(s,\,t)\) 为随机过程 \(\boldsymbol X\) 的自协方差函数。

互相关函数

对于两个随机过程 \(\boldsymbol X\) 和 \(\boldsymbol Y\) ，对每一个 \(t\in T\) 都有 \({\rm E}\left[X(t)\right]^2<\infty\) ，\({\rm E}\left[Y(t)\right]^2<\infty\) ，定义

称 \(r_{X,Y}(s,\,t)\) 为随机过程 \(\boldsymbol X\) 和 \(\boldsymbol Y\) 的互相关函数。

特殊随机过程

二阶矩过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，如果对每一个 \(t\in T\) ，\({\rm E}[X(t)]^2\) 都存在，则称随机过程 \(\boldsymbol X\) 是一个二阶矩过程。

二阶矩从的均值函数、方差函数、自相关函数和自协方差函数总是存在的。

正态过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，如果其任意有限维分布为联合正态分布，则称随机过程 \(X\) 为正态过程或高斯过程。

正态过程是二阶矩过程，它的有限维分布完全由它的均值函数和自协方差函数确定。

宽平稳过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，对每一个 \(t\in T\) ，都有 \({\rm E}[X(t)]^2<\infty\) 。如果满足条件：

1. 均值函数为常数，即 \(\mu_X(t)\equiv\mu \ , \ \ t\in T\) ；
2. 自相关函数仅与时间差有关，即 \(r_X(s,\,t)=\tau_X(s-t) \ , \ \ s,\,t\in T\) ，

则称随机过程 \(X\) 为宽平稳过程或弱平稳过程。

严平稳过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，如果对任意 \(k\geq1\) 和 \(t_1,t_2,\cdots,t_k\in T\) 以及 \(t\in T\) 都有

\[\big(X(t_1+t),X(t_2+t),\cdots,X(t_k+t)\big)\xlongequal{d}\big(X(t_1),X(t_2),\cdots,X(t_k)\big) \ , \]

则称随机过程 \(X\) 为严平稳过程或强平稳过程。

严平稳指的是随机过程的有限维分布具有平移不变性。

如果严平稳过程的二阶矩存在且有限，那么它一定是宽平稳过程，反之则不一定。

如果宽平稳过程是正态过程，那么它一定是严平稳过程。

平稳增量过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，如果 \(X(t)-X(s)\) 的分布仅依赖与时间差 \(t-s\) ，而与 \(s\) 和 \(t\) 无关，则称随机过程 \(\boldsymbol X\) 是独立增量过程。

平稳增量的含义是，随机过程在任意两点间的值的变化的分布只依赖这两点间的距离。

独立增量过程

对于随机过程 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) ，如果对任意 \(k\geq1\) 和 \(t_1<t_2<\cdots<t_k\) ，增量

\[X(t_1),X(t_2)-X(t_1),\cdots,X(t_k)-X(t_{k-1})? \]

是相互独立的，则称随机过程 \(\boldsymbol X\) 是独立增量过程。

独立增量的含义是，随机过程在没有重叠的时间区间上的值的变化都相互独立。

如果随机过程 \(\boldsymbol X\) 既是平稳增量过程，又是独立增量过程，则称随机过程 \(\boldsymbol X\) 是平稳独立增量过程。

白噪声

设 \(\boldsymbol{X}=\{X(t),\,t\in T\}\) 是零均值随机过程，如果对任意 \(s\neq t\) 都有 \(r_X(s,\,t)=0\) ，则称随机过程 \(\boldsymbol X\) 是白噪声。

随机过程03：随机过程基本概念

原文：https://www.cnblogs.com/lixddd/p/14438993.html