考研学习
补充知识线性代数

特征值、特征向量与相似对角化

线性代数补充讲义:特征值、特征向量与相似对角化

Last updated on

可以把特征值、特征向量、相似对角化看成线性代数里非常核心的一条主线:

一个矩阵代表一种线性变换;特征向量是在这种变换下“方向不变”的特殊方向,特征值描述沿这个方向被放大、缩小或翻转多少;相似对角化则是在寻找一套最适合这个变换的坐标系,使这个复杂变换变成各个方向独立缩放。

如果真正理解了这句话,后面的公式就会变得很自然。


一、先从“矩阵到底在干什么”开始

矩阵最重要的理解不是“一堆数字”,而是:

矩阵代表一个线性变换。

例如

作用于向量

得到

它的几何意义非常简单:

  • 横坐标放大 2 倍;
  • 纵坐标放大 3 倍。

也就是说,这个矩阵已经非常“干净”。

但一般矩阵不是这样的,例如

你看着它,很难一眼说:

它到底在哪些方向放大多少?

特征值和特征向量,就是为了回答这个问题。


二、什么是特征向量?

1. 一般向量经过矩阵后,方向会改变

对于一般向量 ,矩阵作用后得到

通常:

和原来的

方向不同。

例如一个向量原来朝东北,经过矩阵以后可能变成朝西北。


2. 但有一些特殊方向,经过变换后方向不乱跑

如果存在一个非零向量

使得

那么我们称:

  • 是矩阵 的特征向量;
  • 是对应的特征值。

这就是特征值特征向量的定义。


三、这个公式究竟是什么意思?

核心就是

左边:

表示矩阵对向量做了一次线性变换。

右边:

表示仅仅把原向量乘了一个数。

所以这个等式说明:

矩阵对这个特殊向量的作用,本质上居然只是“乘一个数”。

因此:

当

方向不变,长度放大。


当

方向不变,长度缩短。


当

方向发生反转,同时长度按

缩放。


当

则

说明这个方向被矩阵完全压扁了。


四、为什么特征向量如此特殊?

想象一个线性变换把整个平面进行:

  • 拉伸;
  • 压缩;
  • 剪切;
  • 旋转;
  • 翻转;
  • 或这些操作的组合。

平面上绝大多数向量的方向都会改变。

但是有时会存在一些非常特殊的直线:

这条直线上的向量变换以后仍然留在这条直线上。

这些方向就是特征方向。

而特征向量就是沿这些方向取出的非零向量。

因此严格地说:

真正本质的其实不是某一个特征向量,而是一个“特征方向”。

因为如果

那么对于任意非零常数 ,

所以

全部都是同一特征值对应的特征向量。


五、为什么要研究特征值?

因为对于复杂矩阵

直接研究

可能很复杂。

但如果找到了特征向量:

那么在这些方向上,矩阵的行为异常简单:

也就是说:

复杂的矩阵变换,在自己的“天然方向”上,其实就是单纯缩放。

这正是特征值理论最深刻的思想之一。


六、来看一个真正有意义的例子

设

我们先试两个方向。

取

那么

所以:

也就是说,在

这个方向上,矩阵放大 4 倍。

再取

有

所以

于是这个看起来并不简单的矩阵,本质上其实是:

  • 沿 方向放大 4 倍;
  • 沿 方向放大 2 倍。

这才是矩阵 真正的“内在结构”。


七、特征值公式是怎么来的?

我们要求

移项:

因为

所以

我们要求特征向量不能是零向量:

因此这个齐次方程必须存在非零解。

根据线性方程组理论:

存在非零解,当且仅当

不可逆。

所以

这就是特征方程。


八、为什么必须令行列式为零?

因为如果

那么

可逆。

于是

两边左乘逆矩阵:

但特征向量要求

矛盾。

因此必须满足:

这其实没有任何神秘之处。


九、实际怎么求?

还是

求

即

于是

展开:

因此


求 对应的特征向量:

即

得到

因此可以取

类似得到


十、一个特别重要的认识:特征值不是“坐标系的产物”

矩阵里的元素会随着基的改变而发生变化。

但是特征值不会因为换坐标系而改变。

为什么?

因为特征值描述的其实是:

这个线性变换本身有哪些天然缩放倍率。

它属于线性变换的内在性质,而不是某套坐标系的表面写法。

这就引出了:

相似矩阵


十一、什么叫两个矩阵相似?

如果存在可逆矩阵 ,使得

则称 相似。

很多学生会把这个公式硬背。

实际上它真正的含义非常简单:

和 是同一个线性变换,在两套不同基下的矩阵表示。


十二、为什么会出现 ?

这是理解相似变换最关键的一步。

假设现在有:

  • 旧坐标系;
  • 新坐标系。

设新基为

把这些基向量作为列组成:

假设某个向量在新基下坐标为

那么在旧基下:

然后矩阵 在旧坐标系中作用:

最后再转换回新坐标系:

所以新坐标系中的矩阵就是

这就是相似公式的来源。

因此可以记成一个过程:

所以:


十三、那么“相似对角化”是什么?

如果可以找到一个可逆矩阵 ,使

其中

那么称 可以相似对角化。

也可以写成


十四、为什么偏偏会变成对角矩阵?

因为如果把一组特征向量作为新的基:

而且

那么

等于

所以

这又可以写成

于是

左乘 :

所以对角化根本不是一个凭空出现的技巧。

其本质就是:

把特征向量当成新的坐标轴。


十五、这是理解相似对角化最重要的一幅图景

原来的标准坐标轴可能是:

但是矩阵 自己真正喜欢的方向可能是:

如果你坚持用

来看它,矩阵就显得很复杂:

但是如果改用

作为坐标轴,

那么矩阵变成

这说明:

原来的复杂矩阵,其实只是因为你选了一套“不合适的坐标系”。

换到矩阵自己的天然坐标系以后:

直接变成

再简单不过。


十六、所以相似对角化到底在干什么?

可以浓缩成一句:

寻找一种坐标系,使一个复杂线性变换变成若干互不干扰的一维缩放。

比如三维情况下:

意味着:

  • 第一个特征方向放大 2 倍;
  • 第二个特征方向放大 5 倍;
  • 第三个特征方向反向,大小不变。

复杂的多维运动,被彻底拆成了几个独立的一维问题。


十七、为什么有些矩阵不能对角化?

关键是:

要拿特征向量作为一组基。

在 维空间中,一组基需要

个线性无关向量。

因此:

这是最重要的判定思想。


十八、不同特征值对应的特征向量一定线性无关

这是一个非常重要的定理。

如果

互不相同,那么对应的特征向量

必然线性无关。

因此,如果一个 阶矩阵有 个互不相同的特征值,那么:

注意:

反过来不成立。

即使特征值有重复,也可能可以对角化。

例如单位矩阵

只有一个不同的特征值:

但任何非零向量都是特征向量,因此当然可以对角化。


十九、代数重数与几何重数

假设特征方程中

那么 的代数重数为 3。

但对应特征向量来自

这个解空间的维数叫:

几何重数。

例如可能只有

那么只能找到一个线性无关特征向量。

虽然 在特征方程里出现了 3 次,但却没有足够的特征方向。

所以无法对角化。

基本关系是

矩阵可对角化的本质条件则是:


二十、一个不能对角化的经典例子

例如

特征方程:

因此只有

且代数重数为 2。

求特征向量:

得到

所以只有一个特征方向:

二维空间需要两个线性无关的基向量,但这里只有一个。

所以无法构造

因此不能对角化。


二十一、为什么对角化这么重要?

因为对角矩阵太容易计算了。

例如

那么

进一步

所以如果

那么

同理

这能把一个很复杂的矩阵高次幂问题瞬间简化。


二十二、为什么中间的 会消掉?

因为

例如

整理:

所以

因此矩阵幂变得非常简单。


二十三、这在现实里有什么用?

应用极其广泛。

1. 动态系统

例如

那么

如果

则

因此系统长期行为由

决定。

如果

该方向越来越小。

如果

该方向越来越大。

如果

可能持续振荡或保持。

所以:

特征值决定系统是否稳定。


二十四、微分方程里也一样

考虑

如果存在特征向量

猜一个解

那么

另一方面

因此确实满足方程。

所以特征值决定:

这样的增长或衰减模式。

这就是为什么微分方程、控制理论里到处都是特征值。


二十五、PCA 为什么也会出现特征向量?

数据分析里的 PCA(主成分分析)本质上是在找:

数据变化最大的方向。

数据的协方差矩阵是一个对称矩阵。

它的:

  • 特征向量 = 数据的主要方向;
  • 特征值 = 沿这个方向的数据方差大小。

最大的特征值对应的特征向量,就是最主要的变化方向。

所以 PCA 的本质就是:

换一套最适合数据的坐标轴。

这和对角化思想其实完全相同。


二十六、为什么对称矩阵特别重要?

对于实对称矩阵

存在一个非常强大的结论:

实对称矩阵一定可以找到一组正交单位特征向量。

于是可以组成正交矩阵

并且

因此

或者

这叫:

正交对角化。

这比普通相似对角化更漂亮。

因为不仅换了一套特征向量坐标系,而且这套坐标系仍然是:

  • 互相垂直;
  • 长度为 1。

所以只是进行了旋转或反射,没有把坐标系扭曲。


二十七、特征向量一定正交吗?

不是。

这是一个非常常见的误区。

一般矩阵的不同特征值对应特征向量:

但:

只有对于实对称矩阵等特殊情况,才有漂亮的正交性质。

例如:

时,不同特征值对应的特征向量一定正交。


二十八、从“换坐标”角度理解对角化

这是我最推荐你真正掌握的理解。

假设

任何向量都可以写成

于是

利用特征关系:

所以在特征向量坐标系中:

原坐标

经过变换以后直接变成

这就是为什么矩阵变成:

没有交叉项。

没有

因为各个方向完全解耦了。


二十九、因此“对角矩阵”的真正含义是什么?

例如

它不是仅仅“主对角线上有数字”。

它真正表示:

三个坐标方向互不干扰。

分别进行

所以所谓对角化,其实就是:

把耦合系统变成解耦系统。

这句话在数学、物理、工程中都非常重要。


三十、为什么叫“特征”值?

英文是:

  • eigenvalue;
  • eigenvector。

其中德语 eigen 大概有:

自己的、固有的、本征的

意思。

所以有时候中文也叫:

  • 本征值;
  • 本征向量。

它强调的是:

这些值并不是人为坐标系附加给矩阵的,而是这个线性变换自身固有的结构。

所以“特征值”这个翻译其实非常准确。


三十一、相似矩阵为什么有相同的特征值?

因为它们表示的是同一个线性变换,只是坐标系不同。

代数上也可以证明。

如果

那么

因为

所以

取行列式:

又因为

所以

因此特征多项式完全一样。

所以特征值一样。


三十二、特征值和行列式、迹有什么关系?

如果一个 阶矩阵的特征值为

按代数重数计算,那么:

以及

其中

是矩阵的迹,即主对角线元素之和。

这两条在考研里非常常用。


三十三、为什么行列式等于特征值乘积?

如果能对角化:

那么

而

所以

更一般情况下这个结论仍然成立。


三十四、为什么行列式为零等价于有零特征值?

根据

因此

当且仅当至少一个

而

是特征值意味着存在

满足

这意味着 把某个非零方向压缩到了零。

因此矩阵丢失了信息,当然不可逆。

这又把很多概念连接起来:

这些其实是同一件事情的不同描述。


三十五、特征值还能告诉我们矩阵高次作用后的主要方向

假设

且

那么

提取 :

因为

所以当

时:

因此方向最终越来越接近

这说明:

绝对值最大的特征值对应的特征方向,往往决定一个系统长期的主导行为。

这就是“主特征值”的意义。

Google PageRank、幂迭代法等背后都有类似思想。


三十六、把几个核心概念串成一条完整逻辑链

你可以这样理解整个章节:

第一步:矩阵

矩阵描述线性变换:

第二步:寻找特殊方向

寻找

这些是矩阵自己的天然方向。

第三步:求特征值

由于

需要非零解,所以

第四步:求特征向量

对每个 ,求

第五步:如果有足够多线性无关特征向量

组成

第六步:换到特征向量坐标系

得到

第七步:复杂线性变换彻底解耦

变成


三十七、最终最深层的理解

如果只记一句话,可以记:

特征向量是线性变换最自然的坐标轴,特征值是沿这些天然坐标轴的缩放倍率。

而:

相似对角化,就是放弃人为选定的标准坐标轴,改用线性变换自己的天然坐标轴描述问题。

于是原本复杂的

变成

因此对角化绝不只是为了“把矩阵化成对角矩阵”。

它真正的目的在于:

或者更形象地说:

矩阵表面上可能在旋转、剪切、拉伸、混合各个坐标,但如果能找到它自己的特征坐标系,你会发现它本质上只是在几个独立方向上分别乘了几个数。

这就是为什么特征值、特征向量、相似对角化会成为整个线性代数最核心的内容之一。

On this page

一、先从“矩阵到底在干什么”开始二、什么是特征向量?1. 一般向量经过矩阵后,方向会改变2. 但有一些特殊方向,经过变换后方向不乱跑三、这个公式究竟是什么意思?当四、为什么特征向量如此特殊?五、为什么要研究特征值?六、来看一个真正有意义的例子七、特征值公式是怎么来的?八、为什么必须令行列式为零?九、实际怎么求?十、一个特别重要的认识:特征值不是“坐标系的产物”相似矩阵十一、什么叫两个矩阵相似?十二、为什么会出现 ?十三、那么“相似对角化”是什么?十四、为什么偏偏会变成对角矩阵?十五、这是理解相似对角化最重要的一幅图景十六、所以相似对角化到底在干什么?十七、为什么有些矩阵不能对角化?十八、不同特征值对应的特征向量一定线性无关十九、代数重数与几何重数二十、一个不能对角化的经典例子二十一、为什么对角化这么重要?二十二、为什么中间的 会消掉?二十三、这在现实里有什么用?1. 动态系统二十四、微分方程里也一样二十五、PCA 为什么也会出现特征向量?二十六、为什么对称矩阵特别重要?二十七、特征向量一定正交吗?二十八、从“换坐标”角度理解对角化二十九、因此“对角矩阵”的真正含义是什么?三十、为什么叫“特征”值?三十一、相似矩阵为什么有相同的特征值?三十二、特征值和行列式、迹有什么关系?三十三、为什么行列式等于特征值乘积?三十四、为什么行列式为零等价于有零特征值?三十五、特征值还能告诉我们矩阵高次作用后的主要方向三十六、把几个核心概念串成一条完整逻辑链第一步:矩阵第二步:寻找特殊方向第三步:求特征值第四步:求特征向量第五步:如果有足够多线性无关特征向量第六步:换到特征向量坐标系第七步:复杂线性变换彻底解耦三十七、最终最深层的理解