§3  随机过程

 

一、  一般随机过程

[随机过程的定义]  对于每个tÎT(T 是某个固定的实数集),x(t)是个随机变量,就把这样的随机变量族{x(t)tÎT}称为随机过程。随机过程一次实验的结果是定义在T上的函数,称为随机过程的一次实现。当参数t的变化范围T是个整数集合,则称

                               x(t), t=0,±1,±2,L

为随机序列。

T只包含一个或有限个元素,{x(t)tÎT}就是概率论中研究过的随机变量或随机矢量。

[随机过程的有穷维分布函数族]  {x(t)tÎT}是随机过程,对任意的正整数n及任意的t1, t2, LtnÎT,随机变量x(t1) ,x(t2) ,Lx(tn)的联合分布函数为

为随机过程的有穷维分布函数族。它不仅刻划了对应于每一个t的随机变量x(t)的统计规律性,而且也刻划了各个随机变量x(t)之间的关系,从而完整地描述了随机过程的统计规律性。

[随机过程的统计参数]  {x(t)tÎT}是个复值随机过程(指它的实部和虚部都是实的随机过程)。主要的统计参数有:

    1° 均值函数  对每个tÎT,随机变量x(t)的数学期望(均值)

                  

称为随机过程的均值函数,式中Ft(x)x(t)的分布函数。

2° 协方差函数与方差函数  对任意的s, tÎT,

               

称为随机过程的协方差函数(或相关函数),式中m(t)是均值函数。

特别地,当s=t,则称

                    

为随机过程的方差函数(或自相关函数)

3° 高阶矩  若对任意的正整数n,非负整数m1 , m2 ,L , mn , m= m1+m2+L+mn及任意实数t1,t2,L,tn随机变量 的数学期望存在,则

称它为x(t)t1,t2,L,t n的一个m阶矩。

[随机过程的均方连续性]  {x(t)tÎT}是一随机过程,t0ÎT,如果

                          

                             

则称x(t)t=t0是均方连续的,式中l.i.m.表示均方收敛。如果x(t)对于任意tÎT都是均方连续,就称x(t)T上是均方连续的。

随机过程{x(t)tÎT}的如下三命题是等价的:

1° 随机过程{x(t)tÎT}T上均方连续;

2° 随机过程{x(t)tÎT}的协方差函数R(s,t)(s,tÎT)关于s,t是连续的;

3° 随机过程{x(t)tÎT}协方差函数R(s,t)(s,tÎT)在对角线s=t上关于s,t是连续的。

下面介绍特殊类型的随机变量:

[独立随机过程]  若对任意的正整数n和任意的任意的t1,t2,LtnÎT,随机变量x(t1),x(t2),L,x(tn)是相互独立的,即

      

则称{x(t)tÎT}是独立随机过程。

 [正态过程]  若对任意的正整数n和任意的t1,t2,L,tnÎT,随机变量x(t1),x(t2),L,x(tn)的联合分布总是正态的,即

                

则称{x(t)tÎT}是正态(或高斯)过程,式中Rjk=R(j,k),(Rjk)称为协方差矩阵;(Rjk)(Rjk)的逆矩阵。

[马尔科夫过程]  若对任意的n=1,2,L和任意的t0,t1,L,tnÎT(其中t0<t1<L<tn)以及任意的实数x, y等式

P{x(tn)y|x(tn-1)=x,x(tn-2)=xn-2,L,x(t0)=x0}=P{x(tn)y|x(tn-1)=x}

对所有的x(tn-1),L, x(t0)成立,则称{x(t)tÎT}是马尔科夫过程,简称马氏过程。

[时齐马尔科夫过程]  {x(t)tÎT}是马尔科夫过程,若对任意的t1ÎT,t2ÎT

(t1<t2),条件分布

即条件分布F(t1,x;t2,y)只依赖于t2-t1,x,y,则称{x(t)tÎT}是一个时齐(对时间齐次地)的马尔科夫过程。

[具有独立增量的随机过程]  若对 及任意一组 ,其中 ),随机变量 ¼ 是相互独立的,则称 是个具有独立增量的随机过程。

[具有平稳增量的随机过程]  若对任意的t1,t2ÎT和任意h(t1+h,t2+hÎT),随机变量

                x(t2+h) (t1+h)x(t2) (t1)

遵从相同的概率分布,则称 是具有平稳增量的随机过程。

[泊松过程]  {x(t)0t<}是具有平稳独立增量,取非负整数值的随机过程。如果对于任意t (0t<),关系式

    (k=0,1,2,L)

成立(其中λ>0为常数),则称{x(t)0t<}为泊松过程。

[维纳过程]  若随机过程{x(t)0t<}满足P(x(0)=0)=1,具有平稳独立增量,并且随机变量x(t)的分布密度函数是

                    

则称{x(t)0t<}是维纳过程或布郎运动过程。

[平稳过程]  若对于n=1,2,L,任意tmÎT(m=1,2,L,n)及任意的τ(tm+τÎT,m=1,2,L,n),等式

              

成立,则称{x(t)tÎT}是平稳过程(狭义的平稳过程)

 

二、  马尔科夫过程

 

1、 转移概率

[状态与状态转移概率]  考虑一系列随机试验,其中每次试验的结果如果出现可列个两两互斥事件E1,E2,L中的一个而且仅出现一个,则称这些事件Ei(i=1,2,L)为状态。如果Ei出现,就称系统处在状态Eipij(t,τ)表示“已知在时刻t统处在状态Ei的条件下,在时刻τt>τ系统处在状态Ej的条件概率,称pij(t,τ)为转移概率。

[过程的无后效应与时齐性]  无后效性  若在已知时刻t0系统所处状态的条件下,在时刻t0以后系统将到达状态的情况与时刻t0以前系统所处的状态无关,则称过程为无后效的。

时齐性  若转移概率pij(t,τ)只与i,j,τ 有关,则称过程为时齐的,简记

                  pij(τ)=pij(t,t+τ)

2、 马尔科夫链

[马尔科夫链]  马尔科夫链是时间与状态都是离散的马尔科夫过程

1° 设在一系列随机试验下,系统的可能离散状态为 E0,E1,L,如果对于任意二正整数k,m,任意整数0j1<j2<L<jl<m,等式

都成立( 表示“第m次试验出现Em的事件),那末称这一随机试验列为马尔科夫链,简称马氏链。

2°  随机变量序列{xn}(n=0,1,L)为马尔科夫链的定义

{xn}(n=0,1,L)为一随机变量序列,它们中间的每一个都可能取值(相当于所处状态Ei) xi(i=0,1,2,L),如果对于任意正整数k,m,任意正整数0j1<j2<L<jl<m,等式

成立,就称{xn}为马尔科夫链,简称马氏链。

通常可取{xi}={1,2,L}

马氏链所刻划的随机试验序列,可以直观地理解为要验测“将来”所处的状态只要用“现在”已知的状态,而“过去”的状态不起任何作用,这就是无后效性。

马氏链,以至于马尔科夫过程都是具有无后效性的随机过程。

[马尔科夫链的转移概率矩阵]  如果在时刻m系统由状态Ei经过一次转移到达状态Ej的概率和时刻m无关,那末就可用pij表示这个一次转移概率。显然

                        pij0,i,j=0,1,2,L

转移概率pij可排成一个转移概率矩阵

               

这是一个每行元素和为1的非负元素的矩阵,称为马氏链的一步转移概率矩阵。

同样用 表示系统由状态Ei经过n次转移而到达Ej的转移概率,

同样定义马氏链的n步转移概率矩阵:

由无后效性,得

称为切普曼-柯尔莫哥洛夫方程。

由切普曼-柯尔莫哥洛夫方程可以推出

P(n)=Pn

[闭集与状态的分类]  考虑时齐的马氏链。设E为状态空间,E=(E0,E1,E2,L),如果存在正整数n使得 ,则称Ek可自Ej到达,并记为EjÞEk. 。如EjÞEkEkÞEj就说EjEk,互通,记作EjÛEk

E的子集C为闭集,是指C外的任一状态都不能自C内任一状态到达。设E是闭集,若单点集{Ek}成一闭集,就称Ek为吸引状态,若E不存在真子集是闭集,称这个马氏链是不可分的。

记“系统处在状态Ei的条件下,经n步转移初次到状态Ej的条件概率为 ,它可用转移概率表示为

                     

于是

它是“系统在开始处于状态Ei的条件下,经有穷次转移后终于到达状态Ej的条件概率,并令

fij=1,则可视mij为从状态Ei出发,初次到达状态Ej转移次数的数学期望

状态分类如下:

1° 如果fjj=1,则称Ej为常返的;如果fjj<1,则称Ej为非常返的;

2° Ej是常返状态,若mjj=则称Ej为消极常返的(或零状态);若μjj<,则称Ej为积极常返的(或正状态)

3° 如果正整数 有最大公约数t,当t>1,Ej为周期的,或具有周期t;t=1,则称Ej为非周期的。

4° 如果Ej是常返,非周期正状态,则称Ej为遍历的。

状态分类的判别法

1°  Ej为非常返的充分必要条件是

2°  Ej是有周期t的常返状态,则

3°  Ej是遍历的,则

4°  Ej是常返的,则它为零状态的充分必要条件是

[马尔科夫链的分解定理]  任一系统的状态空间可以分解为下列不交子集D,C1,C2,L之和,其中

1°  任一Cj是由常返状态构成的不可分的闭集Ci中的状态不能自Cj(ij)中的状态到达;

2°  Cj中的状态属同类:或者都是零的,或者都是遍历的,或者都是有周期的非零的状态(在任何一种情况下,Cj中各状态都有相同的周期),而且fik=1(EiÎCj,EkÎCj);

3°  D由一切非常返状态构成(Cj中的状态可能自D中的状态到达,反过来不行)

[马尔科夫链的遍历性定理]  对于不同的类型,有如下的遍历性定理:

1°  EkÎDEk为零状态,则对任意的j,有

2°  Ek是周期为t的正的常返状态,则对任意的j,有

  (1rt)

其中                         

表示自Ej出发,在某n(nr(modt))上初次到达Ek的概率。

3°  对于不可分非周期的马氏链,极限

存在,而且只能有下面两种情况:

i)所有pj(出现Ej概率)都大于零,此时{pj}是唯一的平稳分布,即概率分布{pj}满足

    j=0,1,L

ii)所有的pj等于零,此时不存在平稳分布。

3、时间连续、状态离散的马尔科夫过程

这里只考虑时齐的马尔科夫过程。

[切尔曼-柯尔莫哥洛夫方程]  pij(t)表示时间间隔为t系统从状态Ei转移到状态Ej的概率,那末

  pij(t)0

对于t>0,τ>0有切尔曼-柯尔莫哥洛夫方程

它是马尔科夫过程研究的基础。

[遍历性定理]  任何时间连续,状态有限(E1,LEn)马尔科夫过程,如果存在一个t0使得对于任何的i,r,pir(t0)>0,那末极限

   (0j,  in)

存在并且与i无关。

[柯尔莫哥洛夫的前进和后退方程]  如果只有有限个状态的马尔科夫过程满足

                      

就称它是随机连续的马尔科夫过程。

对状态有限的随机连续的马尔科夫过程,有柯尔莫哥洛夫的前进和后退方程:

                      (前进方程)

                       (后退方程)

其中

4、 扩散过程

[扩散过程的定义]  状态连续的马尔科夫过程{x(t)0t<},如果它的条件

分布函数F(t,x;τ,y)对任何的ε>0t1<t<t2t1tt2t关于x一致地成立下列三个关系:

i

ii

iii

就称马尔科夫过程{x(t)0t<}为扩散过程。

[柯尔莫哥洛夫第一方程]  如果扩散过程的条件分布函F(t,x;τ,y)的偏导数

                   

存在,且对任何t, x, yτ(τ>t)续,那末函F(t,x;τ,y)满足柯尔莫哥洛夫第一方程

               

[柯尔莫哥洛夫第二方程]  如果扩散过程的条件分布函F(t,x;τ,y)具有分布密度f(t,x;τ,y),并且下面的各个偏导数

          

存在且连续,那末f(t,x;τ,y)满足柯尔莫哥洛夫第二方程

        

 

三、 平稳随机过程

 

[弱平稳过程]  如果随机过程{x(t),tÎT}满足

             

就称它是弱平稳过程(或广义的平稳过程)

广义的平稳过程不一定是狭义的平稳过程;反过来,狭义的平稳过程也不一定是广义的平稳过程,但是如果狭义平稳过程的二阶矩存在,那们那末它必是广义的平稳过程。

对于正态过程来说,广义平稳性和狭义平稳性是一致的。

在理论研究中,考虑复值随机过程常常更加方便。所谓复值随机变量x是指x=η+ix,其中η, x都是随机变量;而复值随机过程就是x(t)=η(t)+ ix(t),其中η(t), x(t)都是实值随机过程。

复值随机变量x=η+ix的均值(或数学期望)定义为

两个复值随机变量x1x2的相关矩定义为

复值随机过程{x(t),tÎT}的广义平稳性,是指它满足

                 

下面考虑的都是复值的广义平稳过程。

[相关函数的谱分解]  如果函数R(τ)是某一均方连续平稳过{x(t), <t< }的相关函数,那末

                      

其中F(λ)是有界不减函数,满足 ,称为平稳过程{x(t), <t< }的谱函数(工程上称为频谱)

如果F(λ)绝对连续,记 ,称 为谱密度(工程上称为频谱密度),这时

                       

{x(t), <t< }是实值平稳过程时,相关函数R(τ)可以表示成

                   

(当谱密度存在时)

                        

其中F1(λ)=2F(λ)+c(c为常数)

特别,对复值平稳序列{xn, n=0,±1,L}

                     (k=0,±1,L)

其中谱函数F(λ)满足

                     F( )=0,     F(p)=R(0)

 

[遍历性定理]

1°  如果{x(t),-<t<}是均方连续的平稳过程,那末

                    

的充分必要条件是:

                       

2°  如果{xn, n=0,±1,L}是平稳序列,那末

                      

的充分必要条件是:

                           

3°  如果{x(t),-<t<}是均值为零的均方连续的平稳过程,又对取定的常数  t >0, 也是均方连续的平稳过程,记其相关函数为Rt(u),那末

             

的充分必要条件是:

                            

4°  如果{ n=0,±1,L}是均值为零的平稳序列,又对取定的整数m, n=0,±1,L}也是平稳序列,记其相关函数为Rm(k),那末

                       

的充分必要条件是:

                             

遍历性定理表明,对于平稳过程,只要它满足定理的条件(在实际中它们是常常能够满足的),那末对样本空间的平均(如均值、相关矩等)可以用对时间的平均来代替,更具体地说,只要用平稳过程在足够长时间的一次实现,就可以确定过程的均值和相关函数。这正是遍历性定理在实用上重要的原因。

[平稳过程的谱展式]  如果{x(t),-<t<}是均值为零的均方连续平稳过程,那末有

                       

其中                   

满足  iEZ(l)=0

      ii当区间 不相重叠时

              

(Z(l)是具正交增量的过程)

      iii     (F(l)是谱函数)

Z(l)称为x(t)的随机谱函数,x(t)的积分表示式称为x(t)的谱展式。

特别,如果x(t)是实值均方连续平稳过程,那末有

              

其中              

                 

满足 iEZ1(l)=EZ2(l)=0,

     ii当区间 不相重叠时

          (j,k=1,2)

     iii

(F(l)谱函数)

如果{xn, n=0,±1,L}是均值为零的平稳序列,那末有

                          

其中随机谱函数Z(l)

               -pλp

它也满足类似于均方连续平稳过程的随机谱函数的性质i~(iii)