第 5 章 大数定律与中心极限定理
理解依概率收敛、切比雪夫不等式、大数定律和中心极限定理,掌握正态近似计算。
Last updated on
本章研究大量随机变量的稳定性与极限分布,主线为依概率收敛、切比雪夫不等式、大数定律、中心极限定理和正态近似。
依概率收敛 → 切比雪夫不等式 → 大数定律 → 中心极限定理 → 正态近似计算。
其中,大数定律研究“平均值最终稳定在哪里”,中心极限定理研究“随机波动按照什么分布变化”。这也是理解本章最重要的一条主线。
一、第 5 章到底在研究什么?
前四章主要研究的是一个或有限个随机变量:
- 分布是什么;
- 概率是多少;
- 数学期望是多少;
- 方差是多少;
- 多维随机变量如何运算。
而第 5 章突然开始研究:
当随机变量的个数越来越多,即 时,会发生什么?
例如独立重复投掷硬币。
投 10 次,正面频率可能是 0.3、0.7。
投 100 次,往往开始靠近 0.5。
投 10000 次,频率通常更加靠近 0.5。
于是出现第一个问题:
为什么大量试验之后,“平均值”会变得稳定?
这就是大数定律。
但仅仅知道“趋向 0.5”还不够。我们还想知道:
偏离 0.5 的误差大概有多大?这种误差按照什么规律分布?
这就是中心极限定理。
所以整章可以概括为:
二、依概率收敛
这是整个第 5 章的基础语言。
1. 定义
设有随机变量序列
若对任意
都有
则称随机变量序列 依概率收敛于常数 ,记作
等价地,
讲义特别强调:依概率收敛的本质不是“每一次都越来越接近”,而是“偏离超过固定误差的概率越来越小”。
2. 直观理解
例如
如果
意思不是说每次试验一定都有
而是说,对于任意给定的误差范围,比如
都有
也就是随着样本量增大,
样本平均落在总体均值附近的概率越来越接近 1。
三、依概率收敛的运算性质
这部分非常适合做选择题和填空题。
如果
那么通常有:
若
则
进一步,如果函数 在 连续,那么
这实际上就是“连续函数保持依概率收敛”。讲义也把这一性质列为依概率收敛的重要运算工具。
四、切比雪夫不等式
这是第 5 章第一个真正要拿来做计算的工具。
1. 基本形式
若随机变量 的数学期望和方差存在,则对任意
有
等价地:
五、切比雪夫不等式到底有什么用?
它最大的特点是:
不需要知道随机变量是什么分布。
只需要知道:
就可以估计概率。
所以看到题目:
- 没告诉具体分布;
- 只告诉均值、方差;
- 问某个概率至少是多少;
- 问偏离均值超过某数的概率至多是多少;
基本就应该想到切比雪夫不等式。
六、切比雪夫不等式的标准题型
假设
要求估计
首先观察区间:
所以
等价于
于是
因此
七、一个特别重要的做题意识:先“对称化”
切比雪夫不等式天然针对的是:
也就是以数学期望为中心的对称区间。
例如:
而
这个区间不是关于 10 对称的,因此不能直接把半径写成
必须先寻找以 10 为中心、包含于原事件的对称区间。
例如:
包含在
中,所以可以利用
这是切比雪夫不等式题最常见的坑之一。讲义也专门指出,切比雪夫不等式只能直接处理“以期望为中心的对称偏差事件”。
八、为什么切比雪夫不等式能导出大数定律?
这是整个章节理论上的关键联系。
假设随机变量
相互独立,并且
定义样本平均:
那么
因为独立,
所以
注意最核心的地方:
于是切比雪夫不等式给出
当
时,
因此
也就是
这就是大数定律的基本思想:
平均以后,方差变成原来的 ,波动不断缩小,所以平均值逐渐稳定。
九、三个大数定律
考研中这一部分最重要的不是证明,而是:
分清三个定理分别需要什么条件。
讲义明确要求重点比较切比雪夫、伯努利和辛钦三个大数定律的条件。
十、切比雪夫大数定律
设随机变量序列
满足:
- 相互独立;
- 数学期望和方差存在;
- 方差一致有界,即存在常数 ,使
那么
也就是说:
它最大的特点
不要求同分布。
这是它和辛钦大数定律最重要的区别。
例如:
可以分别服从不同的分布,只要:
- 独立;
- 期望存在;
- 方差统一有界。
就可以使用。
十一、伯努利大数定律
设进行 次独立重复试验,每次事件 发生的概率为
记事件 在 次试验中发生的次数为
那么
也就是
十二、伯努利大数定律的意义非常重要
它从数学上解释了:
例如公平硬币:
正面出现次数记为
那么
因此大量投掷之后,正面频率会越来越稳定在
附近。
这也是概率可以用大量试验中的频率进行估计的理论基础。
十三、辛钦大数定律
这是做考研题非常常用的一个。
若
满足:
- 相互独立;
- 同分布;
- 数学期望存在:
则
也就是
十四、辛钦大数定律最值得注意的条件
它不要求方差存在。
只要求:
存在。
所以和切比雪夫大数定律相比:
- 辛钦要求同分布;
- 但是对方差要求更弱。
讲义也专门指出:辛钦大数定律要求独立同分布且数学期望存在,但不要求方差存在。
十五、三个大数定律必须这样区分
| 定理 | 独立 | 同分布 | 期望 | 方差 | 典型对象 |
|---|---|---|---|---|---|
| 切比雪夫大数定律 | 要 | 不要求 | 要 | 存在且一致有界 | 一般随机变量平均 |
| 辛钦大数定律 | 要 | 要 | 要 | 不要求 | 独立同分布样本平均 |
| 伯努利大数定律 | 独立重复试验 | 成功概率相同 | 自动满足 | 自动满足 | 事件发生频率 |
讲义给出的识别方式可以概括成:
- 看到“次数、频率” → 伯努利大数定律;
- 独立但未必同分布,方差一致有界 → 切比雪夫;
- 独立同分布,只要求期望存在 → 辛钦。
十六、考研高频题型:求依概率收敛的极限
这是这一章很重要的题。
典型形式:
不要看到平均就直接说答案是
真正应该做的是令
如果 独立同分布,那么通常 也独立同分布。
因此由辛钦大数定律:
也就是
讲义把这类题总结成:先识别“真正参与取平均的随机变量序列”。
十七、经典例题:指数分布的平方平均
讲义和题库中有一道很典型的题:
总体 服从参数为 2 的指数分布,
为简单随机样本,求
依概率收敛于什么。
指数分布参数为 2,因此
由
得到
所以
令
则 独立同分布,并且
由辛钦大数定律:
十八、这类题的万能模板
若题目出现:
第一反应应该是:
第一步:定义新变量
第二步:判断
是否独立同分布。
第三步:求
第四步:辛钦大数定律
常见的 包括:
甚至
十九、大数定律和中心极限定理到底有什么区别?
这是整章必须真正理解的问题。
大数定律
研究:
得到:
它只告诉我们:
样本平均最终会靠近 。
但没有详细描述误差。
中心极限定理
进一步研究:
这个差本身越来越小,于是把它放大:
经过合适标准化后,会出现:
所以中心极限定理研究的是:
样本平均在 附近怎样波动。
因此记住:
二十、列维—林德伯格中心极限定理
讲义中的一般中心极限定理采用独立同分布形式。
设
独立同分布,并且
令
那么
更严格地,对于任意实数 ,
其中
是标准正态分布函数。
二十一、为什么标准化是这个形式?
首先:
所以中心应该减去:
然后因为独立:
因此标准差是:
所以标准化自然得到:
这实际上比死记公式重要得多。
二十二、中心极限定理最值得背下来的近似形式
当 很大时:
所以:
近似服从:
注意:
因此标准差是:
而不是:
二十三、中心极限定理做题的标准流程
如果题目给:
要求:
第一步:
第二步:
第三步标准化:
于是:
近似为
所以:
二十四、题库典型题:生产 100 件产品
配套题库有一道非常标准的中心极限定理题:
每件产品生产时间独立,服从指数分布,平均时间 10 分钟,求生产 100 件产品总时间位于 15 小时至 20 小时之间的概率。
设:
为第 件产品所需时间。
指数分布均值为 10,所以
指数分布的标准差同样为 10:
总时间:
于是:
标准差:
时间换算:
于是:
近似为
因此:
利用
得到:
二十五、棣莫弗—拉普拉斯中心极限定理
这是本章第二个中心极限定理,专门处理二项分布。
若
则
因此:
二十六、它为什么其实只是一般中心极限定理的特例?
定义:
则
并且:
因为
所以一般中心极限定理直接得到:
所以:
二十七、二项分布正态近似
做题时直接记:
若
且 足够大,则:
于是标准化:
二十八、题库经典题:100 个球放 5 个盒子
每个球等可能放入 5 个盒子中的一个。
指定其中一个盒子。
每个球进入该盒子的概率为:
100 个球相互独立。
所以指定盒子的球数:
因此:
标准差:
要求:
标准化:
得到:
这是题库中的标准二项正态近似题。
二十九、连续性修正
这是二项分布正态近似中一个需要知道的细节。
二项分布是离散的,而正态分布是连续的。
例如:
如果要求更精细,可以改成:
其中
一般来说:
可近似修正为:
讲义同时提醒:如果教材或题目没有采用连续性修正,应按照题目的近似口径处理。
三十、一般中心极限定理 vs 二项中心极限定理
这个地方一定不能混。
情况一
题目说:
100 个独立零件,每个重量随机。
研究:
这是:
情况二
100 个产品,每个产品合格概率为 0.9。
研究合格产品数量:
则:
应该想到:
三十一、千万不要“看见很多个变量就说二项分布”
二项分布一定要求每个随机变量是:
型成功/失败变量。
例如每袋糖果重量:
显然不是 0-1 变量。
那么:
一般不服从二项分布。
只能利用中心极限定理近似正态。
讲义将“把一般随机变量之和误认为二项分布”列为本章高频错误。
三十二、一个很重要的“标准化反推”题型
题库中还有一种很典型的题:
相互独立,求
先求:
方差:
令:
标准中心极限定理形式为:
而题中的变量:
它的渐近方差为:
所以它趋于:
因此:
这类题实际上考的是:
你是否真正理解“标准化”,而不是只会背公式。
题库确实把这种题作为本章基础题型。
三十三、本章还有一个高频真题方向:切比雪夫 + 样本平方平均
例如真题形式:
独立同分布,
估计:
讲义的真题分类中收录了这一类型。
令:
则:
而
因此:
由切比雪夫不等式:
这个题把第 4 章数字特征和第 5 章切比雪夫不等式结合起来,非常典型。
三十四、本章真正需要掌握的 5 大题型
讲义总结的题型基本可以归纳为下面五类。
题型 1:切比雪夫不等式估计概率
看到:
- 只知道均值方差;
- 求概率上界、下界;
立即考虑:
题型 2:判断使用哪个大数定律
先检查:
是否独立同分布?
是:
是否不同分布但独立,方差有界?
是:
是否在说事件发生频率?
是:
题型 3:求依概率极限
看到:
立即做:
再算:
最后:
题型 4:一般随机变量和的正态近似
看到:
先算:
再统一写:
不要一上来硬背:
前一个写法更不容易错。
题型 5:二项分布正态近似
看到:
直接写:
三十五、本章最重要的一个统一思想
事实上,无论一般中心极限定理还是二项分布正态近似,真正的统一公式都是:
然后:
所以如果忘记:
到底放在哪里,不要硬回忆。
直接重新求:
然后:
几乎不会错。
三十六、考研最容易出错的地方
讲义把本章易错点总结得很好,可以压缩成下面几条。
1. 大数定律不是说随机变量本身收敛
不是:
一般研究的是:
2. 方差和标准差不能混
如果:
则:
但是:
3. 样本平均的方差与标准差
标准差为:
4. 二项分布方差
不是:
而是:
5. “相同期望方差”不代表“同分布”
中心极限定理讲义中的独立同分布条件不能随便删掉。
6. 辛钦不要求方差存在
但是一定要求:
存在。
例如柯西分布连期望都不存在,就不能直接使用辛钦大数定律。
三十七、本章公式总表
建议最后把这些公式真正记熟。
依概率收敛
切比雪夫不等式
切比雪夫大数定律
伯努利大数定律
辛钦大数定律
一般中心极限定理
总和近似分布
样本平均近似分布
二项分布中心极限定理
二项正态近似
这些也是讲义最后给出的核心公式框架。
三十八、最后给出一个“做题决策树”
以后看到第 5 章题,可以直接按这个流程判断。
第一问:题目是在求概率界,还是求极限/近似概率?
如果只给期望方差,要求“至少/至多”:
如果出现:
并且问依概率极限:
再看是否独立同分布,通常用:
如果出现大量随机变量的:
并要求概率:
如果出现:
或者“大量独立重复试验中的成功次数”:
最后不管哪种中心极限定理,都回到同一个核心:
即减均值,除标准差,再查标准正态分布函数。
如果把第 5 章压缩成一句考研做题口诀,就是:
这章题目本身通常不算特别复杂,真正的难点是识别模型 + 正确标准化。只要把“三个大数定律的条件”和“两种中心极限定理的使用对象”彻底区分开,第 5 章会变成概率论里相对稳定的得分章节。