特征值、特征向量与相似对角化
线性代数补充讲义:特征值、特征向量与相似对角化
Last updated on
可以把特征值、特征向量、相似对角化看成线性代数里非常核心的一条主线:
一个矩阵代表一种线性变换;特征向量是在这种变换下“方向不变”的特殊方向,特征值描述沿这个方向被放大、缩小或翻转多少;相似对角化则是在寻找一套最适合这个变换的坐标系,使这个复杂变换变成各个方向独立缩放。
如果真正理解了这句话,后面的公式就会变得很自然。
一、先从“矩阵到底在干什么”开始
矩阵最重要的理解不是“一堆数字”,而是:
矩阵代表一个线性变换。
例如
作用于向量
得到
它的几何意义非常简单:
- 横坐标放大 2 倍;
- 纵坐标放大 3 倍。
也就是说,这个矩阵已经非常“干净”。
但一般矩阵不是这样的,例如
你看着它,很难一眼说:
它到底在哪些方向放大多少?
特征值和特征向量,就是为了回答这个问题。
二、什么是特征向量?
1. 一般向量经过矩阵后,方向会改变
对于一般向量 ,矩阵作用后得到
通常:
和原来的
方向不同。
例如一个向量原来朝东北,经过矩阵以后可能变成朝西北。
2. 但有一些特殊方向,经过变换后方向不乱跑
如果存在一个非零向量
使得
那么我们称:
- 是矩阵 的特征向量;
- 是对应的特征值。
这就是特征值特征向量的定义。
三、这个公式究竟是什么意思?
核心就是
左边:
表示矩阵对向量做了一次线性变换。
右边:
表示仅仅把原向量乘了一个数。
所以这个等式说明:
矩阵对这个特殊向量的作用,本质上居然只是“乘一个数”。
因此:
当
方向不变,长度放大。
当
方向不变,长度缩短。
当
方向发生反转,同时长度按
缩放。
当
则
说明这个方向被矩阵完全压扁了。
四、为什么特征向量如此特殊?
想象一个线性变换把整个平面进行:
- 拉伸;
- 压缩;
- 剪切;
- 旋转;
- 翻转;
- 或这些操作的组合。
平面上绝大多数向量的方向都会改变。
但是有时会存在一些非常特殊的直线:
这条直线上的向量变换以后仍然留在这条直线上。
这些方向就是特征方向。
而特征向量就是沿这些方向取出的非零向量。
因此严格地说:
真正本质的其实不是某一个特征向量,而是一个“特征方向”。
因为如果
那么对于任意非零常数 ,
所以
全部都是同一特征值对应的特征向量。
五、为什么要研究特征值?
因为对于复杂矩阵
直接研究
可能很复杂。
但如果找到了特征向量:
那么在这些方向上,矩阵的行为异常简单:
也就是说:
复杂的矩阵变换,在自己的“天然方向”上,其实就是单纯缩放。
这正是特征值理论最深刻的思想之一。
六、来看一个真正有意义的例子
设
我们先试两个方向。
取
那么
所以:
也就是说,在
这个方向上,矩阵放大 4 倍。
再取
有
所以
于是这个看起来并不简单的矩阵,本质上其实是:
- 沿 方向放大 4 倍;
- 沿 方向放大 2 倍。
这才是矩阵 真正的“内在结构”。
七、特征值公式是怎么来的?
我们要求
移项:
因为
所以
我们要求特征向量不能是零向量:
因此这个齐次方程必须存在非零解。
根据线性方程组理论:
存在非零解,当且仅当
不可逆。
所以
这就是特征方程。
八、为什么必须令行列式为零?
因为如果
那么
可逆。
于是
两边左乘逆矩阵:
但特征向量要求
矛盾。
因此必须满足:
这其实没有任何神秘之处。
九、实际怎么求?
还是
求
即
于是
展开:
因此
求 对应的特征向量:
即
得到
因此可以取
类似得到
十、一个特别重要的认识:特征值不是“坐标系的产物”
矩阵里的元素会随着基的改变而发生变化。
但是特征值不会因为换坐标系而改变。
为什么?
因为特征值描述的其实是:
这个线性变换本身有哪些天然缩放倍率。
它属于线性变换的内在性质,而不是某套坐标系的表面写法。
这就引出了:
相似矩阵
十一、什么叫两个矩阵相似?
如果存在可逆矩阵 ,使得
则称 相似。
很多学生会把这个公式硬背。
实际上它真正的含义非常简单:
和 是同一个线性变换,在两套不同基下的矩阵表示。
十二、为什么会出现 ?
这是理解相似变换最关键的一步。
假设现在有:
- 旧坐标系;
- 新坐标系。
设新基为
把这些基向量作为列组成:
假设某个向量在新基下坐标为
那么在旧基下:
然后矩阵 在旧坐标系中作用:
最后再转换回新坐标系:
所以新坐标系中的矩阵就是
这就是相似公式的来源。
因此可以记成一个过程:
所以:
十三、那么“相似对角化”是什么?
如果可以找到一个可逆矩阵 ,使
其中
那么称 可以相似对角化。
也可以写成
十四、为什么偏偏会变成对角矩阵?
因为如果把一组特征向量作为新的基:
而且
那么
等于
所以
这又可以写成
于是
左乘 :
所以对角化根本不是一个凭空出现的技巧。
其本质就是:
把特征向量当成新的坐标轴。
十五、这是理解相似对角化最重要的一幅图景
原来的标准坐标轴可能是:
但是矩阵 自己真正喜欢的方向可能是:
如果你坚持用
来看它,矩阵就显得很复杂:
但是如果改用
作为坐标轴,
那么矩阵变成
这说明:
原来的复杂矩阵,其实只是因为你选了一套“不合适的坐标系”。
换到矩阵自己的天然坐标系以后:
直接变成
再简单不过。
十六、所以相似对角化到底在干什么?
可以浓缩成一句:
寻找一种坐标系,使一个复杂线性变换变成若干互不干扰的一维缩放。
比如三维情况下:
意味着:
- 第一个特征方向放大 2 倍;
- 第二个特征方向放大 5 倍;
- 第三个特征方向反向,大小不变。
复杂的多维运动,被彻底拆成了几个独立的一维问题。
十七、为什么有些矩阵不能对角化?
关键是:
要拿特征向量作为一组基。
在 维空间中,一组基需要
个线性无关向量。
因此:
这是最重要的判定思想。
十八、不同特征值对应的特征向量一定线性无关
这是一个非常重要的定理。
如果
互不相同,那么对应的特征向量
必然线性无关。
因此,如果一个 阶矩阵有 个互不相同的特征值,那么:
注意:
反过来不成立。
即使特征值有重复,也可能可以对角化。
例如单位矩阵
只有一个不同的特征值:
但任何非零向量都是特征向量,因此当然可以对角化。
十九、代数重数与几何重数
假设特征方程中
那么 的代数重数为 3。
但对应特征向量来自
这个解空间的维数叫:
几何重数。
例如可能只有
那么只能找到一个线性无关特征向量。
虽然 在特征方程里出现了 3 次,但却没有足够的特征方向。
所以无法对角化。
基本关系是
矩阵可对角化的本质条件则是:
二十、一个不能对角化的经典例子
例如
特征方程:
因此只有
且代数重数为 2。
求特征向量:
得到
所以只有一个特征方向:
二维空间需要两个线性无关的基向量,但这里只有一个。
所以无法构造
因此不能对角化。
二十一、为什么对角化这么重要?
因为对角矩阵太容易计算了。
例如
那么
进一步
所以如果
那么
同理
这能把一个很复杂的矩阵高次幂问题瞬间简化。
二十二、为什么中间的 会消掉?
因为
例如
整理:
所以
因此矩阵幂变得非常简单。
二十三、这在现实里有什么用?
应用极其广泛。
1. 动态系统
例如
那么
如果
则
因此系统长期行为由
决定。
如果
该方向越来越小。
如果
该方向越来越大。
如果
可能持续振荡或保持。
所以:
特征值决定系统是否稳定。
二十四、微分方程里也一样
考虑
如果存在特征向量
猜一个解
那么
另一方面
因此确实满足方程。
所以特征值决定:
这样的增长或衰减模式。
这就是为什么微分方程、控制理论里到处都是特征值。
二十五、PCA 为什么也会出现特征向量?
数据分析里的 PCA(主成分分析)本质上是在找:
数据变化最大的方向。
数据的协方差矩阵是一个对称矩阵。
它的:
- 特征向量 = 数据的主要方向;
- 特征值 = 沿这个方向的数据方差大小。
最大的特征值对应的特征向量,就是最主要的变化方向。
所以 PCA 的本质就是:
换一套最适合数据的坐标轴。
这和对角化思想其实完全相同。
二十六、为什么对称矩阵特别重要?
对于实对称矩阵
存在一个非常强大的结论:
实对称矩阵一定可以找到一组正交单位特征向量。
于是可以组成正交矩阵
并且
因此
或者
这叫:
正交对角化。
这比普通相似对角化更漂亮。
因为不仅换了一套特征向量坐标系,而且这套坐标系仍然是:
- 互相垂直;
- 长度为 1。
所以只是进行了旋转或反射,没有把坐标系扭曲。
二十七、特征向量一定正交吗?
不是。
这是一个非常常见的误区。
一般矩阵的不同特征值对应特征向量:
但:
只有对于实对称矩阵等特殊情况,才有漂亮的正交性质。
例如:
时,不同特征值对应的特征向量一定正交。
二十八、从“换坐标”角度理解对角化
这是我最推荐你真正掌握的理解。
假设
任何向量都可以写成
于是
利用特征关系:
所以在特征向量坐标系中:
原坐标
经过变换以后直接变成
这就是为什么矩阵变成:
没有交叉项。
没有
因为各个方向完全解耦了。
二十九、因此“对角矩阵”的真正含义是什么?
例如
它不是仅仅“主对角线上有数字”。
它真正表示:
三个坐标方向互不干扰。
分别进行
所以所谓对角化,其实就是:
把耦合系统变成解耦系统。
这句话在数学、物理、工程中都非常重要。
三十、为什么叫“特征”值?
英文是:
- eigenvalue;
- eigenvector。
其中德语 eigen 大概有:
自己的、固有的、本征的
意思。
所以有时候中文也叫:
- 本征值;
- 本征向量。
它强调的是:
这些值并不是人为坐标系附加给矩阵的,而是这个线性变换自身固有的结构。
所以“特征值”这个翻译其实非常准确。
三十一、相似矩阵为什么有相同的特征值?
因为它们表示的是同一个线性变换,只是坐标系不同。
代数上也可以证明。
如果
那么
因为
所以
取行列式:
又因为
所以
因此特征多项式完全一样。
所以特征值一样。
三十二、特征值和行列式、迹有什么关系?
如果一个 阶矩阵的特征值为
按代数重数计算,那么:
以及
其中
是矩阵的迹,即主对角线元素之和。
这两条在考研里非常常用。
三十三、为什么行列式等于特征值乘积?
如果能对角化:
那么
而
所以
更一般情况下这个结论仍然成立。
三十四、为什么行列式为零等价于有零特征值?
根据
因此
当且仅当至少一个
而
是特征值意味着存在
满足
这意味着 把某个非零方向压缩到了零。
因此矩阵丢失了信息,当然不可逆。
这又把很多概念连接起来:
这些其实是同一件事情的不同描述。
三十五、特征值还能告诉我们矩阵高次作用后的主要方向
假设
且
那么
提取 :
因为
所以当
时:
因此方向最终越来越接近
这说明:
绝对值最大的特征值对应的特征方向,往往决定一个系统长期的主导行为。
这就是“主特征值”的意义。
Google PageRank、幂迭代法等背后都有类似思想。
三十六、把几个核心概念串成一条完整逻辑链
你可以这样理解整个章节:
第一步:矩阵
矩阵描述线性变换:
第二步:寻找特殊方向
寻找
这些是矩阵自己的天然方向。
第三步:求特征值
由于
需要非零解,所以
第四步:求特征向量
对每个 ,求
第五步:如果有足够多线性无关特征向量
组成
第六步:换到特征向量坐标系
得到
第七步:复杂线性变换彻底解耦
变成
三十七、最终最深层的理解
如果只记一句话,可以记:
特征向量是线性变换最自然的坐标轴,特征值是沿这些天然坐标轴的缩放倍率。
而:
相似对角化,就是放弃人为选定的标准坐标轴,改用线性变换自己的天然坐标轴描述问题。
于是原本复杂的
变成
因此对角化绝不只是为了“把矩阵化成对角矩阵”。
它真正的目的在于:
或者更形象地说:
矩阵表面上可能在旋转、剪切、拉伸、混合各个坐标,但如果能找到它自己的特征坐标系,你会发现它本质上只是在几个独立方向上分别乘了几个数。
这就是为什么特征值、特征向量、相似对角化会成为整个线性代数最核心的内容之一。