概率论与数理统计总览
概率论与数理统计补充讲义：概率论与数理统计总览
Last updated on
概率论和数理统计其实是在研究同一件事的两个方向：
概率论：已知随机规律，研究“会发生什么”。 数理统计：观察已经发生的数据，反过来推断“背后的随机规律是什么”。
可以把它们理解成一对“正问题”和“反问题”。
一、先从一个最根本的问题开始：什么是“概率”？
现实世界里有大量事情不是完全确定的。
例如：
- 明天会不会下雨？
- 抛一枚硬币会正面还是反面？
- 一个新生产的芯片会不会坏？
- 某个人的身高是多少？
- 股票明天涨还是跌？
- 考试随机抽到哪一道题？
- 一个网络数据包多久到达？
这些事情虽然不能在发生之前精确知道结果，但往往又不是毫无规律。
比如抛一枚均匀硬币：
一次抛掷结果无法准确预测。
但抛很多次之后，正面比例大约会接近
这就是概率论要研究的核心现象：
单次结果具有偶然性，大量重复之后却呈现稳定规律。
这叫作：
二、什么叫随机现象？
所谓随机现象，就是：
在相同或近似相同条件下重复试验，每一次具体结果无法事先确定，但大量试验的结果存在统计规律。
比如掷骰子。
一次结果可能是：
你不知道下一次究竟是多少。
但是如果骰子公平，那么长期来看：
这就是一种随机规律。
所以概率并不等于“完全不知道”。
恰恰相反：
概率是用数学描述不确定性中的规律。
三、“概率”到底是什么？
最直观地说：
表示事件 发生的可能程度。
它满足：
如果
说明事件几乎不可能发生。
如果
说明事件几乎必然发生。
例如公平硬币：
公平骰子：
四、为什么概率不是简单的“次数比例”？
很多人最开始会觉得：
概率不就是“发生次数 ÷ 总次数”吗？
例如抛硬币 次，正面出现 次：
这个数叫：
而不是严格意义上的概率。
概率是理论上的：
频率则是实验得到的：
概率论中有一个极其重要的思想：
当试验次数足够大时，
这就是大数定律背后的思想。
因此可以把概率和频率理解成：
五、概率论到底在研究什么？
概率论研究的是：
已知随机系统的规律，推导随机结果的性质。
例如假设我们已经知道：
那么可以问：
两个骰子的点数和为 7 的概率是多少？
答案：
这就是典型的概率论问题。
因为：
概率模型已经知道，我们要求结果。
六、概率论的基本结构
概率论实际上建立了一整套数学语言。
核心可以概括成：
一个一个来看。
1. 随机试验
例如：
抛一次骰子。
2. 样本空间
所有可能结果组成：
称为样本空间。
3. 随机事件
例如：
点数为偶数。
那么事件：
于是：
七、为什么后来还要引入“随机变量”？
因为直接研究事件不够方便。
比如抛两个骰子，我们真正关心的可能不是：
第一个是多少、第二个是多少？
而是：
两个骰子的总点数是多少？
于是定义随机变量：
那么：
这时候随机问题就被转化成了：
一个“随机取值的变量”有哪些取值？各自概率是多少？
这就是随机变量。
八、什么是概率分布？
概率分布描述：
一个随机变量会以怎样的概率取不同的值。
比如公平骰子：
这就是 的概率分布。
常见分布包括：
- 二项分布
- 泊松分布
- 几何分布
- 均匀分布
- 指数分布
- 正态分布
而其中最著名的是：
九、为什么正态分布这么重要？
正态分布的密度函数为：
看起来很复杂。
但它之所以极其重要，是因为很多现实中的随机变量都近似正态分布，例如：
- 身高
- 测量误差
- 制造误差
- 考试成绩的一些情形
- 多个随机因素叠加产生的结果
背后的原因就是：
它大致说明：
很多彼此独立的小随机因素加起来之后，其总效果往往趋向正态分布。
因此正态分布成为概率统计中的核心模型。
十、概率论最重要的几个数字
假设随机变量为 。
1. 数学期望
表示随机变量长期平均意义上的中心。
例如公平骰子：
所以：
注意：
骰子永远不会掷出 。
所以数学期望并不一定是某一次可能出现的结果。
它表示的是：
2. 方差
定义为：
它描述：
随机变量围绕平均值波动得有多厉害。
方差越大：
方差越小：
十一、那么什么叫“数理统计”？
现在把问题反过来。
假设有一枚硬币。
但是你不知道它是不是公平的。
也就是说，你不知道：
怎么办？
你开始做实验。
抛了 次：
于是你可能猜：
这里你做的就不是传统概率论了。
而是：
因为现在的问题是：
我不知道真实概率模型，只观察到了数据，希望通过数据推断模型。
十二、概率论与数理统计最大的区别
这是整门课程最值得理解的一句话。
概率论
已知：
例如：
其中 已知。
求：
或者求：
也就是：
数理统计
反过来。
观察到：
但不知道：
于是希望估计：
也就是：
所以二者的关系非常漂亮：
十三、举一个非常直观的例子
假设一家工厂生产螺丝。
每个螺丝长度是一个随机变量 。
概率论问题
假设已经知道：
问：
一个螺丝长度超过 mm 的概率是多少？
这是：
因为概率分布已知。
数理统计问题
现在不知道真实均值。
随机抽取 个螺丝，测量：
得到样本平均：
然后估计：
这就是：
十四、统计里的“总体”和“样本”是什么？
这是考研概率论后半部分最基本的概念。
假设全国有 万个学生。
他们的身高组成一个巨大的集合。
这叫：
但是不可能测量所有人。
于是随机抽 人：
这叫：
统计学的目标就是：
十五、什么是“统计量”？
从样本构造出来的函数叫统计量。
最重要的是样本均值：
以及样本方差：
它们分别用来估计总体均值和总体方差。
大致来说：
所以统计学实际上是在设计：
什么样的样本函数，最适合推断未知参数？
十六、数理统计主要研究哪几件事？
考研数学里的数理统计主要分为几个模块。
第一类：参数估计
比如总体：
但是 不知道。
希望用：
估计 。
例如：
这叫：
还有区间估计。
例如：
得到：
称为 置信区间。
十七、什么是假设检验？
假设一家饮料厂说：
每瓶平均容量为 。
即声称：
你随机抽取一些瓶子。
发现平均只有：
那么问题是：
这个差异只是随机波动，还是厂家实际上没有装够？
于是提出：
称为原假设。
然后根据样本判断：
是否有足够证据拒绝 。
这就是：
十八、概率论与统计学的整体逻辑
可以把整门课程画成：
概率论主要研究上半部分：
统计学主要研究下半部分：
十九、概率思想最早是怎么来的？
概率论的历史很有意思。
它最早并不是为了研究科学，而是：
二十、概率论诞生之前：人类早就在处理随机问题
古代人很早就会：
- 掷骰子
- 抽签
- 赌博
- 占卜
古埃及、古希腊、古罗马都使用骰子。
但长期以来，人们没有真正建立概率数学。
原因之一是：
古代数学主要研究确定性的几何和数。
例如：
这是确定的。
而：
下一次骰子是不是 6？
看起来无法严格计算。
因此随机性很长时间没有进入主流数学。
二十一、16世纪：卡尔达诺第一次系统研究赌博概率
意大利数学家：
中文通常译作：
卡尔达诺
生活于：
他本人非常喜欢赌博。
于是开始研究骰子游戏中的概率。
他写了一本：
《机会游戏之书》
其中已经出现很多现代概率思想，例如：
- 等可能结果
- 有利结果数
- 总结果数
实际上已经接近：
不过这本书在他死后才出版，因此影响有限。
二十二、1654 年：现代概率论真正诞生
这是概率史上非常著名的故事。
法国有一个职业赌徒：
他遇到了一个赌博问题。
最著名的问题叫：
假设两个人比赛：
- 谁先赢 3 局谁拿走全部奖金；
- 现在一个人赢了 2 局；
- 另一个人赢了 1 局；
- 比赛突然终止。
奖金应该怎么公平分？
表面看可以按：
分。
但实际上不对。
因为真正应该比较的是：
两个人最终获胜的概率。
德·梅雷于是找到数学家：
帕斯卡。
帕斯卡又与：
费马通信。
他们在：
年系统讨论这个问题。
这通常被认为是：
二十三、惠更斯：第一本概率论教材
荷兰数学家：
惠更斯。
他在 1657 年发表：
《论赌博中的计算》
这是历史上第一部比较系统的概率论著作。
这时候概率论仍然主要服务于：
二十四、雅各布·伯努利：从赌博走向科学
接下来出现了一个极其关键的人：
雅各布·伯努利。
他的代表作：
《猜度术》
发表于：
其中包含概率论最重要的思想之一：
大数定律揭示：
单次随机，但大量重复之后具有稳定性。
例如真实概率为：
进行 次试验，成功次数为 。
那么频率：
随着 增大，会越来越接近：
这件事意义极其深远。
因为它解释了：
为什么我们可以通过大量数据认识概率规律？
这实际上也为统计学提供了理论基础。
二十五、棣莫弗：正态分布的雏形
18 世纪，法国数学家：
研究二项分布。
例如：
当 很大时，直接计算：
非常困难。
棣莫弗发现，可以用一种钟形曲线近似。
这就是：
也成为后来中心极限定理发展的重要一步。
二十六、拉普拉斯：概率论成为系统科学
18—19 世纪最重要的人物之一：
拉普拉斯。
他将大量概率结果系统化。
1812 年出版：
《概率分析理论》
拉普拉斯发展了：
- 古典概率
- 生成函数
- 中心极限定理思想
- 贝叶斯方法
- 误差分析
从这时开始，概率论逐渐从：
变成：
二十七、高斯：误差理论与正态分布
另一个传奇人物：
高斯。
天文学、测量学中有一个问题：
同一个量测很多次，结果为什么每次都不一样？
例如：
高斯研究测量误差时推广了正态分布。
所以正态分布又叫：
同时发展了著名的：
它后来成为统计学、机器学习的核心方法之一。
二十八、统计学其实比概率论的雏形还要早
“统计”这个思想来源于国家管理。
古代国家就需要统计：
- 人口
- 土地
- 粮食
- 税收
- 军队
所以 statistics 一词和“国家”有历史联系。
早期统计更多是：
例如：
某个国家有多少人口？
而不是现代意义上的数学推断。
二十九、17世纪：政治算术
英国出现了一批研究人口统计的人。
最著名的是：
格朗特。
1662 年，他分析伦敦的死亡记录。
研究：
- 出生人数
- 死亡人数
- 疾病原因
- 人口结构
这被认为是：
三十、概率论与统计学逐渐合流
到了 18—19 世纪，人们开始意识到：
仅仅收集数据不够。
我们真正想做的是：
这需要概率论。
于是：
逐渐结合。
产生：
也就是：
用概率论作为数学基础研究统计推断。
三十一、19世纪：统计学大规模发展
这一时期统计方法越来越广泛用于：
- 天文学
- 生物学
- 社会学
- 人口学
- 测量学
出现了很多重要概念。
三十二、Quetelet：把正态分布用于人类社会
比利时学者：
凯特勒。
他研究：
- 身高
- 体重
- 社会数据
并发现很多群体现象呈现类似正态分布的规律。
他推动了：
三十三、Galton：相关与回归思想
19世纪英国科学家：
高尔顿。
研究：
父母身高和子女身高之间有什么关系？
他发现：
高个父母的孩子通常也高，但往往没有父母那么极端。
由此产生一个著名概念：
英文：
Regression toward the mean
“回归”这个词后来变成机器学习和统计学中的：
同时，他还推动了“相关”的研究。
三十四、Pearson：现代统计学重要奠基人
高尔顿之后出现：
卡尔·皮尔逊。
他建立和发展了：
- 相关系数
- 回归
- 卡方检验
- 统计分布理论
著名的 Pearson 相关系数：
就是统计学里极其重要的概念。
三十五、20世纪：现代数理统计真正成熟
接下来是现代统计学最重要的人物之一：
费舍尔。
他在 20 世纪早期发展了大量现代统计学理论，包括：
- 极大似然估计
- 方差分析
- 实验设计
- 显著性检验
- Fisher 信息量
- F 分布
例如极大似然估计的核心思想是：
假设参数是：
观察到样本：
构造似然函数：
然后选择：
意思非常直观：
哪个参数最有可能产生我观察到的数据，就把它当成参数估计。
这是现代统计、机器学习中最重要的方法之一。
三十六、Neyman 与 Pearson：假设检验体系
后来：
和：
发展了完整的假设检验框架。
包括：
- 原假设
- 备择假设
- 第一类错误
- 第二类错误
- 显著性水平
- 检验功效
例如：
然后根据样本数据决定是否拒绝 。
这就是今天考研里学习的假设检验理论的重要来源。
三十七、概率论本身在 20 世纪也发生了一次革命
在 20 世纪以前，人们虽然会算概率，却一直有一个基础问题：
概率到底应该严格定义成什么？
最初的古典定义：
只适合：
有限个、等可能结果。
但是现实中很多问题不是这样。
例如：
有无限多个可能值。
怎么办？
三十八、Kolmogorov：建立现代概率论公理体系
1933 年，苏联数学家：
柯尔莫哥洛夫出版：
《概率论基础概念》
他利用集合论和测度论，建立了概率论的公理体系。
定义：
其中：
- ：样本空间
- ：事件集合
- ：概率测度
并要求满足三条基本公理。
公理一
公理二
公理三
若：
那么：
从此概率论成为一门严格的现代数学学科。
三十九、统计学后来又分成两大思想流派
现代统计学中有两种特别重要的方法。
1. 频率学派
把参数：
看成固定但未知的值。
而样本：
是随机的。
考研数学基本以这种思想为主。
2. 贝叶斯学派
贝叶斯思想可以追溯到：
贝叶斯。
核心公式：
在参数估计中写成：
其中：
叫先验分布，
叫似然，
叫后验分布。
也就是：
今天人工智能中也大量使用贝叶斯思想。
四十、20世纪后半叶：计算机彻底改变统计学
过去很多统计方法理论上存在，但算不动。
计算机出现后，可以处理海量数据。
于是产生了很多新方法：
- Monte Carlo 方法
- Bootstrap
- MCMC
- 数值优化
- 大规模回归
- 时间序列
- 随机过程
统计学开始从：
进入：
四十一、统计学后来如何发展成机器学习？
这条发展线特别重要。
传统统计学主要关心：
例如：
是否真的影响 ？
而机器学习更强调：
例如有：
寻找函数：
使得：
于是出现：
- 线性回归
- Logistic 回归
- 决策树
- 随机森林
- 支持向量机
- 神经网络
因此今天：
它们之间实际上有一条连续的发展链。
四十二、用一个例子串起概率、统计、机器学习
假设研究学生成绩 与学习时间 的关系。
收集数据：
建立模型：
其中：
这里的正态分布属于：
根据数据估计：
属于：
最后用：
预测一个新学生的成绩：
其实本质上是一条完整链条。
四十三、为什么概率统计在现代科学里如此重要？
因为现实世界很少完全确定。
例如物理测量：
通信系统：
金融：
医学：
计算机网络：
AI：
所以现代科学里有大量问题，本质上都是：
概率论就是研究不确定性的数学。
统计学则是：
如何从不完全的数据中认识世界。
四十四、概率论与微积分、线性代数是什么关系？
它们并不是相互独立的。
概率论大量使用微积分。
例如连续随机变量满足：
期望：
所以：
高维统计、机器学习又大量使用线性代数。
例如随机向量：
协方差矩阵：
线性回归：
所以现代数学工具之间可以这样理解：
四十五、考研里的“概率论与数理统计”为什么这样编排？
现在你再去看考研数学中的目录，其实逻辑就非常清楚了。
通常先学：
第一部分：概率论
从：
到：
再到：
然后：
再研究：
然后学习两个核心极限定理：
和：
这些回答：
如果随机模型已知，它会表现出什么规律？
然后进入：
第二部分：数理统计
研究：
引入：
再研究：
- 抽样分布
- 点估计
- 矩估计
- 极大似然估计
- 无偏性
- 有效性
- 区间估计
- 假设检验
回答的是：
已经拿到了样本，怎样推断未知总体？
所以整本书不是知识点堆在一起，而是一条完整逻辑：
四十六、最后用一句话理解概率论
可以把概率论理解成：
人类试图给“不确定性”建立数学规律。
它关心：
四十七、再用一句话理解数理统计
数理统计则是：
当我们看不到真实规律时，通过有限数据推断真实世界。
也就是：
四十八、整段历史压缩成一条主线
你可以记住这条历史脉络：
最核心的认识就是：
而
这两个方向合在一起，就是人类用数学研究不确定世界的一套完整方法。