辛钦大数定律的证明(在第15页)

第四章 大数定律与中心极限定理

极限定理是概率论与数理统计学中最重要的理论结果。本章简单地介绍两类极限定理---“大数定律”和“中心极限定理”。

通常，把叙述在什么条件下一随机变量序列的算术平均值（按某种意义）收敛于某数的定理称为“大数定律”；把叙述在什么条件下大量的随机变量之和近似服从正态分布的定理称为“中心极限定理”。本教材只介绍极限定理的经典结果。分布函数、矩和特征函数是解决经典极限定理的主要工具。

一、教学目的与要求

1． 掌握四个大数定律的条件、结论及数学意义；

2． 理解随机变量序列的两种收敛性的定义及其关系，了解特征函数的连续性定理；

3． 掌握独立同分布中心极限定理的条件、结论，并会用来解决一些实际问题。

二、教学重点和难点

教学重点是讲清大数定律的条件、结论和中心极限定理的条件、结论。 教学难点是随机变量序列的两种收敛性及大数定律和中心极限定理的应用。

1

§4.1 大数定律

一、大数定律的意义

在第一章中引入事件与概率的概念时曾经指出，尽管随机事件A在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性——频率的稳定性。频率是概率的反映，随着观测次数n的增加，频率将会逐渐稳定到概率。这里说的“频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。

详细地说：设在一次观测中事件A发生的概率PAp，如果观测了n次（也就是一个n重贝努里试验），A发生了n次，则A在n次观测中发生的频率为大时，频率

n，当n充分nn逐渐稳定到概率p。若用随机变量的语言表述，就是：设i表示第i次观n测中事件A发生次数，即

i1,0,第i次试验中A发生第i次试验中A不发生

ni1,2,,n

则1,2,,n是n个相互独立的随机变量，显然ni。

i11n从而有i

nni1n因此“n稳定于p”，又可表述为n次观测结果的平均值稳定于p。 nn稳定于p是否能写成 n 现在的问题是：“稳定”的确切含义是什么？ limn亦即，是否对0，N,当nN时,有nnp （1）

nn（2） p

2 对n重贝努里试验的所有样本点都成立？

实际上，我们发现事实并非如此，比如在n次观测中事件A发生n次还是有可能的，此时nn,nn1，从而对01p，不论N多么大，也不可能得到当nN时,有nnp成立。也就是说，在个别场合下，事件（

nnp）还是有可能发生的，不过当n很大时，事件（

nnp）发生的可能性很小。例如，对上面的nn，有 Pn1pn。

n显然，当n时， Pn1pn0，所以“n稳定于p”是意味着对0，

nn有

limP(|nnnp)0 （3）

（概率上“n稳定于p”还有其他提法，如博雷尔建立了P(limnp)1，从而

nnn开创了另一形式的极限定理---强大数定律的研究）

1n沿用前面的记号，（3）式可写成limP(ip)0 nni1一般地，设1,2,,n,是随机变量序列，a为常数，如果对0，有

1nlimP(ia)0 （4） nni1即

1nlimP(ia)1 nni11n则称i稳定于a。

ni1概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。 若将（4）式中的a换成常数列a1,a2,,an,，即得大数定律的一般定义。

3 定义4.1：若1,2,,n,是随机变量序列，如果存在常数列a1,a2,,an,， 使对0，有

1nlimP(ian)1 nni1成立，则称随机变量序列n服从大数定律。

若随机变量i具有数学期望Ei,i1,2,，则大数定律的经典形式是： 对0，有

1n1nlimP(Ei)1 innni1i11n这里常数列anEi,n1,2,

ni

1二、四个大数定律

本段介绍一组大数定律，设1,2,,n,是一随机变量序列，我们总假定

Ei,i1,2,存在。

首先看一课后题P222的T4.23（马尔可夫大数定律）

1n如果随机变量序列{n}，当n时，有2Di0（*）

ni1证明：n服从大数定律。

证明 : 对0，由契贝晓夫不等式，有

1n1n1n1n0P(Ei)P(iE(i)) inni1nni1i1i111nn2Di22Di0,n ni1ni11因此

1n1nlimP(Ei)0 innni1i1即

1n1nlimP(iEi)1 nni1ni14 故n服从大数定律。 ＃ 此大数定律称为马尔可夫大数定律，（*）式称为马尔可夫条件。

定理4.2（契贝晓夫大数定律）设1,2,,n,是一列两两不相关的随机变量，又设它们的方差有界，即存在常数C0，使有

DiC,i1,2,

则随机变量序列n服从大数定律，即对0，有

1n1nlimP(Ei)1 innni1i1证明： 因为{i}两两不相关，且由它们的方差有界即可得到

0D(i)Dinc

i1i1nn从而有

1nDi0,n 2ni1满足马尔可夫条件，因此由马尔可夫大数定律，有

1n1n limP(iEi)1 ＃

nni1ni1注：契贝晓夫大数定律是马尔可夫大数定律的特例。

例4.1 设1,2,为独立同分布随机变量序列，均服从参数为的普哇松分布，则由独立一定不相关，且Ei,Di,i1,2,，因而满足定理4.2的条件，因此有

1nlimP(i)1 nni1注：此例题也可直接验证满足马尔可夫条件。

定理4.1（贝努里定理或贝努里大数定律）:设n是n重贝努里试验中事件A出现的次数，又A在每次试验中出现的概率为p,0p1，则对0，有

limP(nnnp)1

1,证明：令i0,第i次试验中A发生第i次试验中A不发生 i1,2,,n

5 显然ni

i1n由定理条件，ii1,2,,n独立同分布（均服从二点分布）。 且Eip,Dip1p都是常数，从而方差有界。 由契贝晓夫大数定律，有

limP(nn1np)limPp1 ＃ innni1贝努里大数定律的数学意义：贝努里大数定律阐述了频率稳定性的含义，当n充分大时可以以接近1的概率断言，

n将落在以p为中心的内。贝努里大数定律为用频率n估计概率（pnn）提供了理论依据。

注1：此定理的证明也可直接验证满足马尔可夫条件。

注2：贝努里大数定律是契贝晓夫大数定律的特例。它是1713年由贝努里提出的概率极限定理中的第一个大数定律。

以上大数定律的证明是以契贝晓夫不等式为基础的，所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在这个条件并不是必要条件。

定理4.3（辛钦大数定律）设1,2,是一列独立同分布的随机变量，且数学期望存在Eia,i1,2,,则对0，有

1nlimP(ia)1 nni1成立。

此定理的证明将在§4.2随机变量序列的两种收敛性中给出。 注：贝努里大数定律是辛钦大数定律的特例。

辛钦大数定律的数学意义：辛钦大数定律为实际生活中经常采用的算术平均值法提供了理论依据。它断言：如果诸i是具有数学期望、相互独立、同分布的随机变量，则当n充分大时，算术平均值

12nn一定以接近1的概率落在真值a的任意小的邻域内。据此，如果要测量一个物体的某指标值a，可以独立重复地测量n次，得到一组数据：x1,x2,,xn，当n充分大时，可以确信ax1x2xnxx2xn，且把1nn6

1n作为a的近似值比一次测量作为a的近似值要精确的多，因Eia，Eia；但

ni111n1n2，即i关于a的偏差程度是一次测量的偏差程度的，Di，Dinni1ni1n2n越大，偏差越小。再比如要估计某地区小麦的平均亩产量，只要收割一部分有代表性

1n的地块，计算它们的平均亩产量，这个平均亩产量就是i，在n比较大的情形下它

ni1可以作为全地区平均亩产量，即亩产量的期望a的一个近似。这种近似或“靠近”并不是我们数学分析中的极限关系，而是§4.2中的依概率收敛。

辛钦大数定律也是数理统计学中参数估计理论的基础，通过第六章的学习，我们对它会有更深入的认识。 作业：P222223 T4.24,

4.30,4.317

§4.2随机变量序列的两种收敛性

一、依概率收敛

在上一节上，我们从频率的稳定性出发，得出下面的极限关系式：

1nlimP(na)=0，其中ni或等价于limP(na)1 nnni1这与数学分析中通常的数列收敛的意义不同。在上式中以随机变量 代替常数a便得到新的收敛概念。

1、定义4.2（依概率收敛）设有一列随机变量,1,2,，如果对0，有

limP(n)1

n或

limP(n)0

n则称随机变量序列 n依概率收敛于，记作

limn

nP或

Pn （n）

从定义可见，依概率收敛就是实变函数中的依测度收敛。

PP由定义可知，nn0 (n)

有了依概率收敛的概念，随机变量序列n 服从大数定律的经典结果就可以表示为

1n1nPiEini1ni1(n)

特别地，贝努里大数定律可以描述为

nnPp （n)

1nP辛钦大数定律描述为ia （n)

ni18 例

1、设n 是独立同分布的随机变量序列，且Eia,Di2，

证明： 2nPn(n1)kka （n) k1证：E2nnnn(n1)k2k1n(n1)a2kkEkk1n(n1)ka k10，由契贝晓夫不等式

nnD(20P(2kn(n1)kk)k11nn(n1)ka)k2Dkk1242n2(n1)2k1

=41n(n1)(2n1)2222n12n2(n1)2632n(n1)0(n) 故

limnP(2n(n1)nkka)0 k1 即

2nn(n1)kPka(n) k

12、性质

1）、若P,Pnn,则P()1。

证明：nn

0，由 则n2与n2中至少有一个成立，即2nn2

于是

0P()P(n2)P(n2)0(n) 即对0,有

P(||)1

从而有

＃ P()1 ＃

这表明，若将两个以概率为1相等的随机变量看作相等时，依概率收敛的极限是唯一的。

PP2）、设若nn,n 是两个随机变量序列，a,b为常数，a,nb且g(x,y)在P点(a,b)连续，则g(n,n)g(a,b)(n)。

PPP3）、若n,n,则nn(n)；

Pnn(n)；

Pna,a0是常数，且n0，则

1P。 na12）、3）的证明方法类似于1）。

二、按分布收敛

P我们知道，分布函数全面地描述了随机变量的统计规律，那么当n时，其相应的分布函数Fn(x)与F(x)之间会有什么样的关系呢？是不是对所有的x，有Fn(x)→F(x)（n→）成立呢？答案是否定的。

例4．2 设n(n1)及都是服从退化分布的随机变量，且

1P{n}1,n1,2, nP{0}1于是对0，当n

1时，有

P{n}P{|n|}0

所以

Pn(n)

又n的分布函数为

10,xn Fn(x)11,xn的分布函数为

0,x0 F(x)1,x0显然，当x0时，有

limFn(x)F(x)

n但当x0时，

limFn(0)lim110F(0)

nn 上例表明，一个随机变量序列依概论收敛到某随机变量，相应的分布函数列不是在每一点都收敛于这个随机变量的分布函数的。但如果仔细观察一下这个例子，发现不收敛的点正是F(x)的不连续点。要求Fn(x)在每一点都收敛到F(x)是太苛刻了，可以去掉F(x)的不连续点来考虑。

1、定义4.3 设F(x),F1(x),F2(x),是一列分布函数，如果对F(x)的每个连续点x， 都有

limFn(x)F(x)

n成立， 则称分布函数列Fn(x)弱收敛于分布函数F(x)，并记作

WFn(x)F(x)(n)

若随机变量序列n(n1,2,)的分布函数Fn(x)弱收敛于随机变量的分布函数F(x),也称n按分布收敛于，并记作

Ln(n)

2、依概率收敛与按分布收敛（弱收敛）之间的关系

P定理4.4 若随机变量序列1,2,依概率收敛于随机变量，即n(n)

则相对应的分布函数列F1(x),F2(x),弱收敛于分布函数F(x)，即

WFn(x)F(x)(n)

定理4.4也可表示成如下形式：

PLn(n)n(n)

证明 ：对任意的x,xR有

11 (x)(nx,x)(nx,x)(nx)(nx,x) 从而有

P(x)P(nx)P(nx,x)

即

F(x)Fn(x)P(nxx)

P如果xx，由 n就有

P(nx,x)P(nxx)0,n

所以有

F(x)limFn(x)

n同理可证，当xx时，有

F(x)limFn(x)

n于是对xxx有

F(x)limFn(x)limFnF(x)

nn令xx,xx，即得

F(x0)limFn(x)limFnF(x0)

nn显然，如果x是F(x)的连续点，就有

limFn(x)F(x) ＃

n注意：这个定理的逆命题不一定成立，即不能从分布函数列的弱收敛肯定相 应的随机变量序列依概率收敛。

例4.3 抛掷一枚均匀的硬币，有两个可能的结果：1=“出现正面”，2=“出现反面”，则

P(1)P(2)1 2令

1,1 ()

1,2因()是一个随机变量，其分布函数为

1,1F(x),20,x11x1

x1这时，若()()，则显然()与()有相同的分布函数F(x)。再令n，n的分布函数记作Fn(x)，故Fn(x)=F(x)，于是对任意的xR，有

limFn(x)limF(x)F(x)

nnW所以Fn(x)F(x)成立，而对任意的02，恒有

P(|n|)P(2||)1

P即不可能有n成立。

但在特殊情况下，它却是成立的。

P定理4.5 随机变量序列nc(c为常数）的充要条件是

WFn(x)F(x)(n)

这里F(x)是c的分布函数，也就是退化分布:

1,xc F(x)0,xc定理4.5也可表示成如下形式：

PLnc(n)nc(n)

证明：必要性已由定理4.4给出，下面只要验证充分性。对任意的0，有

P{nc}P(nc)P(nc)1Fn(c)Fn(c0)1100,n

定理4.5得证。 ＃

本章将要向大家介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题，由定理4.5知，它可归结为相应的分布函数列弱收敛于一退化分布，而中心极限定理就是随机变量的分布函数列弱收敛问题，可见分布函数列的弱收敛在本章讨论中占重要地位。然而，要直接判断一个分布函数列是否弱收敛是很困难的,上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良很多，故判断特征函数的

13 收敛一般较容易，那么是否有

FnxF(x)相应的n(t)(t)

W?答案是肯定的。即下述的特征函数的连续性定理。

三、特征函数的连续性定理

定理4.6 分布函数列Fn(x)弱收敛于分布函数F(x)的充要条件是相应的特殊函数列n(t)收敛于F(x)的特征函数(t)。

证明 ：整个证明比较冗长（略）。

例4.4 若是服从参数为的普哇松分布的随机变量，证明：

1limP(x)2证明：已知的特征函数为(t)e(eitext22dt

1)，故的特征函数为 itg(t)(对任意的t，有

t)eite(e1)it

e于是

itt211o(),

2!it(eitt21t21)ito(),

22从而对任意的点列n，有

limgn(t)et22nt22

又e是N(0,1)分布的特征函数，由定理4.6即知有

1limP(x)2next22dt

因n是可以任意选取的，所以

1 limP(x)2ext22dt ＃

注：此例说明普哇松分布（当参数时）收敛于正态分布。

下面我们利用定理4.6来证明上一节的定理4.3（辛钦大数定律）。 证明：因1,2,同分布，故有相同的特征函数(t)，又Ea在t0处展开，有

(0)i，将(t)(t)(0)(0)to(t)1iato(t)

1n由1,2,相互独立，得nk的特征函数为

nk1tttgn(t)[()]n[1iao()]n

nnn对于任意取定的t，有

limgn(t)lim[1ianntto()]neiat nn由例题3.26已知eiat是退化分布的特征函数，相应的分布函数为

1,xa F(x)0,xa1n由定理4.6知i的分布函数弱收敛于F(x)，再由定理4.5得

ni11nPia ni1故辛钦大数定律成立。 ＃

我们曾经指出特征函数在求独立和的分布时所具有的特殊威力，而本节所叙述的特征函数连续性定理（定理4.6）“如虎添翼”，更增加了特征函数在解决独立和的分布的极限问题时的效能，使之成为无与伦比的锐利工具。在下一节中将利用这一工具专门讨论独立和的分布的极限问题。

最后了解如下的斯鲁茨基定理：

定理4.7 设{1n},{2n},,{kn}是k个随机变量序列，并且

inai,n(i1,2,,k)

又R(x1,x2,,xk)是k元变量的有理函数，并且R(a1,a2,,ak)，则有

R(1n,2n,,kn)R(a1,a2,,ak),n

PP成立。

掌握斯鲁茨基定理的如下几个特例：

如果{n},{n}是两个随机变量序列，并且当n时有

na,nb

其中a,b是两个常数，这时有

PPP（1）nnab,n；

（2）nnab,n（若b0） 成立。

作业：P220222 T4.7,

4.9,4.13,4.14,4.19P

§4.3 中心极限定理

前一章介绍正态分布时，我们一再强调正态分布在概率统计中的重要地位和作用，为什么实际上有许多随机现象会遵循正态分布？这仅仅是一些人的经验猜测还是确有理论依据，“中心极限定理”正是讨论这一问题的。在长达两个世纪的时间内成为概率论讨论的中心课题，因此得到了中心极限定理的名称。

一、中心极限定理的概念

设n为一独立随机变量序列，且En,Dn，n1,2,均存在，称

nEkk1k1nnkDk1n

k为n的规范和。

概率论中，一切关于随机变量序列规范和的极限分布是标准正态分布的定理统称为中心极限定理，即设n的规范和n，有

limPnxne21xt22dt

则称n服从中心极限定理。

nEkkk1k1近似服从标准正态分布。 中心极限定理实质上为N0,1nDkk1n

二、独立同分布中心极限定理

大数定律仅仅从定性的角度解决了频率

nP稳定于概率p，即np，为了定量nn地估计用频率n估计概率p的误差，历史上De Moivre—Laplace给出了概率论上第一n个中心极限定理，这个定理证明了n的标准化随机变量渐近于N(0,1)分布。 定理4.8（德莫佛—拉普拉斯）极限定理

17 在n重贝努里试验中，事件A在每次试验中出现的概率为p(0p1)，n为n次试验中事件A发生的次数，则

nnplimPnnpqx12xet22dt

注：定理4.8说明nnpnpq近似服从N(0,1)，从而n近似服从N(np,npq)，又n服从二项分布b(n,p)，所以定理4.8也称为二项分布的正态近似或二项分布收敛于正态分布。在第二章，普哇松定理也被说成是“二项分布收敛于普哇松分布”。同样一列二项分布，一个定理说是收敛于普哇松分布，另一个定理又说是收敛于正态分布，两者不是说有矛盾吗？请仔细比较两个定理的条件和结论，就可以知道其中并无矛盾之处。这里应该指出的是在定理4.8中np，而普哇松定理中则要求npn()。所以在实际问题中作近似计算时，如果n很大，np不大或nq不大（即p很小或q1p很小），则应该利用普哇松定理；反之，若n,np,nq都较大，则应该利用定理4.8。 定理4.9（林德贝尔格-勒维）极限定理

设1，2,……是一列独立同分布的随机变量，且

Ek，Dk220 k1,2,

则有

nknlimPk1xnn证明：设ka的特征函数为(t)，则

21xet22dt

注：德莫佛—拉普拉斯极限定理是林德贝尔格-勒维极限定理的特例。

k1nknan的特征函数为

ka

k1nnt

nn又因为

E(ka)0,D(ka)2

18 所以

(0)0,(0)2

于是特征函数为(t)有展开式

t21(t)(0)(0)t(0)o(t2)12t2o(t2)

22从而对任意固定的t，有

ttt1o()e 22nnn22nt22n,n

又et22是N(0,1)分布的特征函数，由定理4.6有

nknlimPk1xnn21xet22dt

注：定理4.9表明：当n充分大时，nk1nknan的分布近似于N(0,1)，从而12nnann具有近似分布N(na,n2)。这意味大量相互独立、同分布且存在方差的随机变量之和近似服从正态分布。该结论在数理统计的大样本理论中有广泛应用，同时也提供了计算独立同分布随机变量之和的近似概率的简便方法。

三、应用

德莫佛—拉普拉斯中心极限定理是概率论历史上的第一个中心极限定理，它有许多重要的应用。下面介绍它在数值计算方面的一些具体应用。

1、二项概率的近似计算

设n是n重贝努里试验中事件A发生的次数，则n～bn;p，对任意ab有

PanbakbCknpk1pnk

当n很大时，直接计算很困难。这时如果np不大（即p较小接近于0）或n1p不大（即p接近于1）则用普阿松定理来近似计算（np大小适中）；

当p不太接近于0或1时，可用正态分布来近似计算（np较大P219）：

anpnnpbnpbnpanp PanbPnpqnpqnpqnpqnpq例

1、（P223的T4.34）

在一家保险公司里有10000个人参加保险，每人每年付12元保险费。在一年内一个人死亡的概率为0.006，死亡时其家属可向保险公司领得1000元，问：

（1） 保险公司亏本的概率多大？

（2） 保险公司一年的利润不少于40000元的概率为多大？ 解：保险公司一年的总收入为120000元，这时

（1）若一年中死亡人数120，则保险公司亏本； （2）若一年中死亡人数80，则利润40000元。 令

in1,第i个人在一年内死亡

0,第i个人在一年内活着则P(i1)0.006p，记ni,n10000已足够大，于是由德莫佛—拉普拉斯中

i1心极限定理可得欲求事件的概率为

（1）P(n120)1P(（其中b60） 7.723nnpnpq120npnpqb)112bex22dx0

同理可求得

（2）P(n80)0.995（对应的b2.59。 ）例

2、某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？

解：由题意，任意一个分机或使用外线或不使用外线只有两种可能结果，且使用外线的概率p=0.04，260个分机中同时使用外线的分机数260～b260;0.04

设总机确定的最少外线条数为x,则有 P260x0.95 由于n260较大，故由德莫佛—拉普拉斯定理，有

x260pP260x0.95

260pq查正态分布表可知

x260p260pq解得

1.65

x16

所以总机至少备有16条外线，才能以95%的把握保证各个分机使用外线时不必等候。

2、用频率估计概率的误差估计

n由贝努里大数定律 limPp0 nnn那么对给定的和较大的n，limPp究竟有多大？ nn贝努里大数定律没有给出回答，但利用德莫佛—拉普拉斯极限定理可以给出近似的解答。

对充分大的n

npnnPpPnnpq npqn2pqn pqn1 pq故

nnnPnp1Pnp21pq  由此可知，德莫佛—拉普拉斯极限定理比贝努里大数定律更强，也更有用。

例

3、重复掷一枚质地不均匀的硬币，设在每次试验中出现正面的概率p未知。试问要掷多少次才能使出现正面的频率与p相差不超过解：依题意，欲求n，使

1的概率达95%以上？ 10021

n1Ppn0.95100n1n0.0110.95Pp2n100pqn0.9750.01 pq0.01n1.96pqn21962pq11pqn1962960444所以要掷硬币9604次以上就能保证出现正面的频率与概率之差不超过作业：P224225 T4.41,4.42,4.451。 100

§4.4 中心极限定理（续）

独立非同分布中心极限定理 自学讨论

了解林德贝尔格条件和李雅普诺夫中心极限定理及其数学意义。

22

大数定律

大数定律

大数定律

第5章大数定律和中心极限定理

第4章大数定律和中心极限定理

第5章大数定律和中心极限定理

大数定律的四种证法

大数定律与中心极限定律

第五章 大数定律 中心极限定律

第5章大数定律与中心极限定理答案

《辛钦大数定律的证明(在第15页).doc》

将本文的Word文档下载到电脑，方便编辑。

推荐度：

点击下载文档