第 7 章 参数估计与假设检验
掌握矩估计、最大似然估计、估计量评价、置信区间与假设检验,建立统计推断的统一框架。
Last updated on
本章进入统计推断:利用样本信息估计总体中的未知参数,并通过样本证据检验关于总体参数的假设。内容分为参数估计与假设检验两条主线。
一、先建立第 7 章的总框架
整个第 7 章实际上只回答两个问题:
问题 1:总体参数到底是多少?
这是参数估计。
问题 2:别人声称总体参数是某个值,这一说法是否可信?
这是假设检验。
参数估计又分:
- 点估计:直接猜一个数;
- 区间估计:给一个可靠区间。
因此:
统计推断
│
┌───────────┴───────────┐
│ │
参数估计 假设检验
│ │
┌────┴────┐ 判断假设
│ │
点估计 区间估计
│ │
矩估计/MLE 置信区间资料特别强调,本章与第 6 章不是两章孤立内容:第 6 章学的标准正态分布、χ² 分布、t 分布、F 分布以及正态总体抽样分布,在第 7 章全部变成了解题工具。
可以把第 6、7 章理解成:
第 6 章:统计量服从什么分布? 第 7 章:知道这个分布以后,怎么估计参数、检验参数?
二、点估计:用一个统计量“猜”参数
1. 估计量和估计值到底有什么区别?
假设总体分布中有未知参数 θ。
抽取简单随机样本:
我们构造一个统计量:
用它估计 θ。
它叫估计量。
真正抽样之后,例如得到:
代进去得到:
这时得到的具体数字叫估计值。
最重要的区别:
估计量是随机变量;估计值是一次抽样以后得到的具体数。
三、矩估计法
这是考研最重要的两个点估计方法之一。
资料给出的本质非常简单:
总体矩不知道,但样本矩知道,于是用样本矩代替总体矩。
1. 一个未知参数
如果只有一个未知参数 θ,一般找一个总体矩:
如果它可以写成:
那么用样本一阶矩:
代替总体一阶矩:
解 θ。
2. 两个未知参数
有两个参数就通常列两个矩方程:
再解两个未知参数。
一般地,有 k 个未知参数,就设法建立 k 个矩方程。
四、资料例 7.1:正态总体的矩估计
资料中的典型题:
设总体
其中 μ 和方差均未知,求二者的矩估计量。
总体一阶矩:
总体二阶原点矩:
样本的一阶、二阶矩:
以及
建立矩方程:
因此:
以及
再利用恒等式:
得到:
这里非常重要:
不是平时定义的样本方差,因为样本方差为:
因此:
而不是:
这是高频易错点。
五、矩估计一个非常重要的技巧:一阶矩没用怎么办?
不是“一个参数就必须使用一阶矩”。
资料例 7.4 就体现了这个问题。
如果概率密度关于 0 对称,从而:
这个式子里面根本没有待估参数,那么一阶矩无法帮助我们估计参数。
这时向上找:
甚至必要时找更高阶矩。
所以矩估计真正的原则是:
找能够把未知参数解出来的总体矩。
而不是机械地“有一个参数就用一阶矩”。
六、最大似然估计 MLE
第二个超级重点。
它的思想比矩估计更有统计意义:
已经观察到了这一批样本,那么什么参数值会使“出现这一批样本”最有可能?就把这个参数值作为估计。
资料也把“写出似然函数并求最大值”视为核心。
七、最大似然估计的标准四步法
假设连续总体概率密度为:
样本独立同分布,因此联合密度:
这个函数叫似然函数。
第一步:写似然函数
连续型:
离散型:
第二步:通常取对数
因为:
所以乘积会变成求和。
于是研究:
通常明显简单。
第三步:求导
令:
求出候选参数。
多个参数则:
……
第四步:确认确实取得最大值
考研大多数常规题中,解出来就是答案。
但有一类题必须警惕:
参数出现在样本取值范围中。
这时候最大值往往在边界取得,不能机械求导。
例如总体:
样本必须满足:
其中:
似然函数又随 θ 增大而减小,于是最大值在最小允许 θ 处取得:
这种“最大值、最小值型 MLE”是非常值得重点掌握的拓展题型。
八、资料例 7.2:典型最大似然估计
资料给出概率密度:
其中:
似然函数:
取对数:
求导:
令其为零:
所以:
于是:
这就是最标准的 MLE 模板。
九、最大似然估计的不变性
这是非常好用的性质。
如果 θ 的最大似然估计是:
而需要估计:
那么通常直接:
资料例 7.15、7.16 都专门用到了这一性质。
例如:
的 MLE 是:
那么 σ 的 MLE:
不用重新写似然函数。
十、矩估计与最大似然估计有什么本质区别?
矩估计:
总体的矩 ≈ 样本的矩。
最大似然:
哪个参数最能解释已经看到的样本?
做题区别:
矩估计的启动信号
看到“求矩估计”,立刻想:
再用:
替换。
最大似然的启动信号
立刻写:
或者:
十一、估计量的三个评价标准
资料明确要求掌握:
- 无偏性;
- 有效性;
- 一致性(相合性)。
1. 无偏性
如果:
那么:
直观解释:
如果无限次重复抽样,所有估计结果的平均值恰好等于真正参数。
2. 最经典例子:为什么样本方差除以 n−1?
我们知道:
满足:
所以:
是:
的无偏估计量。
而:
满足:
因此它是有偏估计量。
所以注意:
MLE 不保证无偏。 矩估计也不保证无偏。
“怎么得到估计量”和“这个估计量好不好”是两个不同问题。
十二、有效性
如果两个估计量都是无偏的:
比较它们的方差。
如果:
则第一个估计量更有效。
直观上:
两个人平均都猜得对,但第一个人的估计波动更小、更稳定。
所以:
十三、资料例 7.9:无偏 + 有效综合题
资料给出总体:
比较:
与:
两者都无偏。
然后利用 χ² 分布。
因为:
以及因为总体均值已知为 0:
利用:
则:
得到:
而:
显然:
所以:
这里很有意思:
已知总体均值是 0 后,不需要用样本均值估计 μ,于是损失的信息更少,因此估计方差反而更精确。
十四、一致性(相合性)
如果随着:
估计量越来越接近真实参数,即:
就称为一致估计。
直观上:
样本越多,估计越来越靠谱。
常见证明思路:
如果:
且:
通常可借切比雪夫不等式证明:
十五、区间估计:为什么不能只给一个数?
点估计例如:
但这个结果没有说明:
10 到底准不准?
所以我们希望给一个范围,例如:
而且这个区间要具有某种可靠程度。
于是就出现置信区间。
资料把“构造分布已知的枢轴量”作为区间估计的关键。
十六、正确理解“95% 置信区间”
假设置信度:
正确理解不是:
“参数有 95% 的概率落在已经算出来的这个区间里。”
经典频率学派里参数 θ 是固定常数,不是随机变量。
准确理解:
如果无限次重复抽样,并按照同一规则构造区间,那么约 95% 的这些随机区间会覆盖 θ。
这一区别很容易在概念选择题中考。
十七、区间估计的灵魂:枢轴量
所谓枢轴量,就是:
含未知参数和样本,但它本身的分布不再含其他未知参数。
比如:
σ 已知。
我们有:
它的分布完全已知,所以可以通过它反解 μ。
十八、一个正态总体:均值 μ 的区间估计
这是整个区间估计最重要的分类。
情况一:方差已知
总体:
σ 已知。
有:
取:
代入并反解 μ:
这就是 U/Z 区间。
95% 时:
十九、资料例 7.17:区间长度和置信度关系
资料指出:
区间长度:
因此固定 σ 和 n:
置信度越高,需要:
越大,因此区间越宽。
所以:
同时:
这就是一个经典考研选择题考点。
二十、情况二:方差未知
当 σ 未知时,不能再写:
因为 σ 不知道。
自然想到用 S 替代 σ:
这时候不再服从标准正态,而是:
因此:
必须牢记:
σ 已知 → 标准正态。 σ 未知 → t 分布。
这是第 7 章最重要的条件识别之一。
二十一、正态总体方差的区间估计
如果:
μ 未知,则:
于是利用:
分布两边截取概率。
最终标准结构是:
这里不同教材对 χ² 分位点的下标定义可能采用“左尾”或“右尾”习惯,因此最保险的做法不是只背上下标,而是先写概率关系,再解不等式。
这是非常重要的考试技巧。
二十二、为什么均值用 t,而方差用 χ²?
根源都在第 6 章。
对于正态总体:
而:
并且:
和:
相互独立。
于是:
就是:
因此:
所以所有公式不是凭空背出来的。
二十三、两个正态总体的均值差
若两个总体相互独立:
方差均已知
则:
所以:
二十四、资料例 7.18
资料给:
且:
样本均值:
求 95% 置信区间。
中心:
误差:
所以:
二十五、两个总体均值差:方差未知但相等
这是非常重要的 t 分布模型。
若:
但 σ² 未知,则构造合并方差:
然后:
服从:
因此对应置信区间:
资料例 7.8 还特别强调:
两总体均值使用这种 t 检验的前提,不是“两个样本方差相等”,而是两个总体方差相等。
即:
而不是:
二十六、两个正态总体的方差比
这是 F 分布。
因为:
以及:
两者独立,于是:
即:
这就是方差比区间估计和方差比较检验的基础。
二十七、到这里可以建立“分布选择表”
这是第 7 章最值得背的一张逻辑表。
| 要研究什么 | 条件 | 用什么 |
|---|---|---|
| 一个正态总体均值 | 方差已知 | 标准正态 |
| 一个正态总体均值 | 方差未知 | t |
| 一个正态总体方差 | 均值未知 | χ² |
| 两总体均值差 | 两方差已知 | 标准正态 |
| 两总体均值差 | 两方差未知但相等 | t |
| 两总体方差比 | 两独立正态总体 | F |
真正做题时先别代数字。
第一件事应该问:
研究的是均值还是方差?一个总体还是两个总体?方差已知还是未知?
答案出来以后,分布几乎自动确定。
二十八、假设检验到底在干什么?
现在进入第二大部分。
例如有人说:
某产品平均寿命是 1000 小时。
我们拿一批样本,发现平均只有 700 小时。
怎么办?
逻辑不是:
700 ≠ 1000,所以假设错。
因为抽样本身就有随机误差。
而是:
如果总体均值真的等于 1000,那么出现现在这么极端的样本结果的概率到底有多小?
如果小到离谱,就怀疑原假设。
这就是“小概率原理”。
资料明确把它解释成一种带概率性质的反证思路。
二十九、原假设与备择假设
原假设:
备择假设:
例如:
叫双侧检验。
如果:
是右侧检验。
如果:
是左侧检验。
三十、如何快速判断左侧、右侧、双侧?
真正决定方向的是:
不是:
因此牢牢记:
看备择假设的符号。
如果:
右侧。
如果:
左侧。
如果:
双侧。
三十一、假设检验的四步模板
资料明确给出四步。
第一步:提出假设
写:
和:
第二步:选统计量
要求:
当原假设成立时,该统计量分布已知。
比如:
第三步:由显著性水平确定拒绝域
显著性水平:
通常:
或者:
第四步:代入样本计算
如果统计量落入拒绝域:
否则:
考试教材有时写“接受 H₀”,但从统计语言来说,“不能拒绝”更加准确,因为没发现足够证据反对它,不代表已经证明它是真的。
三十二、两类错误:必考概念
资料专门给出。
第一类错误
实际上:
是真的,却把它拒绝了。
叫:
弃真错误。
概率记:
第二类错误
实际上:
是假的,却没有拒绝它。
叫:
取伪错误。
概率记:
因此记忆:
三十三、为什么不能同时让 α、β 都无限小?
假设样本容量固定。
如果为了不误杀:
把拒绝域做得特别小。
那么第一类错误 α 确实会减小。
但代价是:
真正错误的 H₀ 也越来越不容易被拒绝。
于是 β 往往增加。
所以在固定样本容量下,两类错误存在矛盾。
统计学通常先控制:
例如:
然后在这个前提下设计检验。
三十四、资料例 7.7:两类错误
资料给:
原假设下:
备择假设下:
规定:
时拒绝 H₀。
第一类错误:
H₀ 真的,却落进拒绝域。
因此:
所以:
第二类错误:
H₁ 真的,却没有拒绝 H₀。
因此:
所以:
这类题不要套别的公式,直接根据“弃真、取伪”的定义列概率。
三十五、一个正态总体均值检验:σ 已知
总体:
σ 已知。
检验:
用:
在 H₀ 成立时:
双侧
拒绝域:
右侧
拒绝域:
左侧
拒绝域:
三十六、一个正态总体均值检验:σ 未知
σ 未知,改用:
在 H₀ 成立时:
于是双侧:
右侧:
左侧:
三十七、资料例 7.19:为什么这是左侧 t 检验?
资料中的药物题非常经典。
旧药平均使血压增加:
新药声称副作用更小。
因此真正想证明的是:
所以:
注意:
“副作用更小”决定了备择假设是“小于”,所以是左侧检验。
方差未知,所以使用:
样本算出:
所以:
在:
自由度:
情况下:
左侧拒绝域:
由于:
所以拒绝 H₀。
因此样本支持:
即新药副作用更小。
这一题几乎把假设检验全过程全部包含了。
三十八、正态总体方差的检验
总体:
检验:
如果 μ 未知:
在 H₀ 下:
双侧检验时:
方差太小和太大都值得怀疑。
所以拒绝域在 χ² 分布的两边。
如果备择是假设方差更大,则只看右尾;更小则只看左尾。
三十九、两个正态总体均值差的检验
如果两总体方差未知但相等:
使用合并样本方差:
检验:
统计量:
且:
四十、两个正态总体方差比较:F 检验
检验:
在 H₀ 成立时:
服从:
因此:
比较两个正态总体方差 → 想 F 分布。
四十一、区间估计和假设检验其实是一回事的两种表达
这是第 7 章一个很深的重要理解。
例如考虑:
显著性水平:
同时构造 μ 的:
置信区间。
如果:
落在置信区间里面:
数据与 H₀ 相容,一般不拒绝 H₀。
如果:
落在置信区间外面:
H₀ 对应的数据结果过于极端,拒绝 H₀。
所以:
资料也明确强调了这种内在联系。
四十二、按照资料总结,第 7 章四大考研题型
资料最后把本章题目高度归纳成四种。
题型一:无偏性、有效性
典型问法:
- 某估计量是否无偏;
- 求常数,使估计量无偏;
- 比较两个无偏估计量谁更有效;
- 求估计量的方差。
启动公式:
以及:
题型二:矩估计 + 最大似然估计
矩估计:
最大似然:
或者离散型:
题型三:区间估计
核心不是死背所有区间,而是判断:
- 一个总体还是两个总体;
- 估计均值还是方差;
- 方差已知还是未知;
- 应该构造 U、t、χ² 还是 F。
题型四:假设检验
标准过程:
→ 找统计量
→ 找 H₀ 下分布
→ 根据 α 找拒绝域
→ 代样本
→ 下结论。
四十三、最容易犯的 10 个错误
**第一,把估计量和估计值混淆。**估计量是随机变量,估计值才是具体数字。
**第二,认为 MLE 一定无偏。**完全错误。正态总体方差的 MLE 就是典型反例。
**第三,矩估计机械只用一阶矩。**如果一阶矩不含参数,就应该改用二阶甚至更高阶矩。
**第四,最大似然只知道求导。**参数出现在分布支持范围时,最大值经常出现在样本最大值、最小值等边界。
**第五,把方差未知的均值问题仍然用标准正态。**必须先检查 σ 是否已知。
**第六,把样本方差相等当成两个总体 t 检验的理论前提。**理论前提是:
不是:
**第七,单双侧判断看 H₀。**真正决定方向的是 H₁。
**第八,看到“显著性水平 0.05”就全部查 0.025。**只有双侧检验通常才把 α 分到两端;单侧直接用 α。
**第九,把“不拒绝 H₀”理解成“证明 H₀ 正确”。**二者不等价。
**第十,χ²、F 分布的上下分位点下标死背。**不同教材记号可能不同,最好从概率关系出发。
四十四、考试时最实用的“识别算法”
拿到一道第 7 章题,可以按下面顺序思考。
第一问:要求是什么?
如果题目说“估计”,进入参数估计。
如果说“判断”“检验”“能否认为”“是否支持”,进入假设检验。
第二问:如果是点估计,用哪种方法?
说“矩估计”:
说“最大似然”:
说“评价估计量”:
和:
第三问:如果是区间或检验,研究谁?
研究均值:
重点考虑标准正态或 t。
研究方差:
重点考虑 χ²。
研究两个方差之比:
重点考虑 F。
第四问:方差已知吗?
均值问题中:
方差已知:
方差未知:
四十五、第 7 章真正需要形成的“条件反射”
最后把最重要的内容压成六句话:
1
2
3
4
5
6
再加上假设检验:
四十六、从考研复习角度,优先级怎么排?
结合这份资料的章节安排和例题,建议按下面优先级掌握:
第一梯队:必须熟练
矩估计、最大似然估计、无偏性、一个正态总体均值检验、正态总体参数置信区间。
第二梯队:必须会判断模型
两总体均值比较、χ² 方差问题、F 方差比问题、单双侧检验。
第三梯队:用于区分度
MLE 不变性、支持集含参数的最大似然估计、估计量有效性、两类错误 α 与 β、一致性证明。
其中最需要真正理解而不是死背的是:
为什么 σ 已知用标准正态,σ 未知用 t;为什么方差问题用 χ²;为什么两个方差比较用 F。
一旦把这几个抽样分布和第 6 章联系起来,第 7 章大量公式实际上都可以现场推出来,而不用硬记。
因此,第 7 章最核心的解题能力可以概括成一句话:
这同时贯穿了区间估计和假设检验,也是整章真正的主线。