深度学习中，Roon 说过一句话，被很多人当作信条：最大的 whitepill 是：局部极小值在高维空间中很罕见。也就是说，你的模型很难卡在局部最优里。但它到底有没有道理？如果有道理，道理又在哪里？

这句观点并非对每个光滑函数都字面成立。比如凸函数可能只有一个全局极小值，压根没有鞍点。它的精确版本需要一个「景观的概率模型」，以及退化与非退化临界点之间的区分。这篇文章会把这句直觉，分三步严格化：

1. 对 Morse 函数而言，临界点是孤立的，因此在所处区域中占据零体积。
2. 在非退化临界点的条件下，局部极小值要求 Hessian 正定，即所有 N 个独立曲率方向都为正。
3. 在 Hessian 表现得像大型中心化随机对称矩阵的随机景观模型中，正定是指数级罕见的事件，鞍点则压倒性地常见。

Kac–Rice 公式为这一现象在高斯随机场中提供了严格的计数框架，Morse 理论则解释了为什么「指数」是临界点的自然拓扑不变量。下面我们一步步把这条链路走完。

我们习惯把优化问题想象成一幅二维或三维的地形图：有山峰（极大值）、山谷（极小值）、还有山口（鞍点，像马鞍一样一边上一边下）。这种直觉在低维时很管用。

但当维度 NN 变得很大——几千、几百万，甚至更多——这幅图景就开始「失真」。想象你站在高维空间的一个点上：此时脚下不再只有「前后左右」两个方向，而是有 NN 个相互独立的方向可以移动。要说这个点是一个真正的谷底（局部极小值），你必须保证：无论往哪个方向迈一小步，海拔都会升高。

这个直觉在数学上如何精确化？我们从最基础的定义开始。

设 f:RN→Rf: \mathbb{R}^N \to \mathbb{R} 是二阶连续可微函数，记作 f∈C2(RN)f \in C^2(\mathbb{R}^N)。C2C^2 假设保证了 Hessian 良定义且对称。

定义 2.1（梯度）。函数 ff 在 x=(x1,…,xN)∈RNx=(x_1,\dots,x_N)\in\mathbb{R}^N 处的梯度是向量

∇f(x):=(∂f∂x1(x)⋮∂f∂xN(x))∈RN.\nabla f(x) := \left(\begin{array}{c}\dfrac{\partial f}{\partial x_1}(x)\\ \vdots \\ \dfrac{\partial f}{\partial x_N}(x)\end{array}\right)\in\mathbb{R}^N.

定义 2.2（临界点）。若 xc∈RNx_c \in \mathbb{R}^N 满足

∇f(xc)=0,\nabla f(x_c) = 0,

则称该点为 ff 的临界点。对开区域上的光滑函数，内部的局部极小值与局部极大值都必然是临界点。

定义 2.3（Hessian）。ff 在 x∈RNx\in\mathbb{R}^N 处的 Hessian 是 N×NN\times N 矩阵

Hf(x)=∇2f(x):=[∂2f∂xi∂xj(x)]i,j=1N.H_f(x) = \nabla^2 f(x) := \left[\frac{\partial^2 f}{\partial x_i \partial x_j}(x)\right]_{i,j=1}^N.

由于 f∈C2f\in C^2，由 Clairaut 定理可得

∂2f∂xi∂xj(x)=∂2f∂xj∂xi(x),\frac{\partial^2 f}{\partial x_i \partial x_j}(x) = \frac{\partial^2 f}{\partial x_j \partial x_i}(x),

因此 Hf(x)H_f(x) 是实对称矩阵。

Hessian 之所以重要，因为它是泰勒展开中的二次项。设 h=x−x0h = x - x_0，则

f(x0+h)=f(x0)+∇f(x0)Th+12hTHf(x0)h+o(∥h∥2).(1)f(x_0+h) = f(x_0) + \nabla f(x_0)^T h + \frac{1}{2}h^T H_f(x_0) h + o(\|h\|^2). \tag{1}

在临界点 xcx_c 处，线性项消失，因此局部几何由下式决定到二阶：

f(xc+h)−f(xc)=12hTHf(xc)h+o(∥h∥2).f(x_c+h) - f(x_c) = \frac{1}{2}h^T H_f(x_c)h + o(\|h\|^2).

由于 Hf(xc)H_f(x_c) 是实对称矩阵，谱定理给出由特征向量 v1,…,vNv_1,\dots,v_N 组成的标准正交基，对应的实特征值为 λ1,…,λN\lambda_1,\dots,\lambda_N。若

h=∑i=1Naivi,h = \sum_{i=1}^N a_i v_i,

则

hTHf(xc)h=∑i=1Nλiai2.(2)h^T H_f(x_c) h = \sum_{i=1}^N \lambda_i a_i^2. \tag{2}

因此，Hessian 的特征值就是 ff 在临界点处的主二阶曲率——每个特征值的符号，直接告诉我们函数沿对应方向「向上弯」还是「向下弯」。

定义 2.4（非退化极小值、极大值与鞍点）。设 xcx_c 是非退化临界点，即 Hf(xc)H_f(x_c) 没有零特征值。

• 若 Hf(xc)H_f(x_c) 的所有特征值都为正，则 xcx_c 是非退化局部极小值。
• 若 Hf(xc)H_f(x_c) 的所有特征值都为负，则 xcx_c 是非退化局部极大值。
• 若 Hf(xc)H_f(x_c) 至少有一个正特征值和至少一个负特征值，则 xcx_c 是鞍点。

定义 2.5（Morse 指数）。非退化临界点 xcx_c 的 Morse 指数是 Hf(xc)H_f(x_c) 的负特征值个数

index⁡(xc):=#{i:λi<0}.\operatorname{index}(x_c) := \#\{i : \lambda_i < 0\}.

非退化局部极小值的指数为 0，非退化局部极大值的指数为 NN，鞍点的指数在 1 到 N−1N-1 之间。

高维的困难此刻清晰可见。在 1 维中，非退化极小值只要求一个正的二阶导数。在 NN 维中，非退化局部极小值要求 NN 个同时成立的正曲率条件：

λ1>0, λ2>0, …, λN>0.\lambda_1 > 0,\ \lambda_2 > 0,\ \dots,\ \lambda_N > 0.

相比之下，鞍点只要求至少一个正特征值和至少一个负特征值。当 Hessian 是随机的、且对正曲率没有强偏好时，后者显然容易满足得多。

在讨论「临界点是不是极小值」之前，先确认一个更基础、但常被忽视的事实：临界点本身在空间中就是「测度为零」的稀疏集合。这个结论不难证明，但它还不是本文要讲的高维现象——它对一维函数同样成立。

定义 3.1（Morse 函数）。若 C2C^2 函数 f:RN→Rf:\mathbb{R}^N\to\mathbb{R} 的每个临界点都是非退化的，即对每个临界点 xcx_c 有

det⁡Hf(xc)≠0,\det H_f(x_c) \neq 0,

则称 ff 为 Morse 函数。

命题 3.2。若 ff 是 Morse 函数，则其临界点是孤立的。特别地，在 RN\mathbb{R}^N 的每个紧子集中，只有有限多个临界点，因此临界点集具有 Lebesgue 测度零。

证明：临界点是梯度映射 ∇f:RN→RN\nabla f: \mathbb{R}^N \to \mathbb{R}^N 的零点。该映射在 xcx_c 处的导数就是 Hessian Hf(xc)H_f(x_c)。若 xcx_c 非退化，则 Hf(xc)H_f(x_c) 可逆。由反函数定理，∇f\nabla f 在 xcx_c 附近局部可逆，因此 xcx_c 是 ∇f\nabla f 在某个邻域内的唯一零点。于是每个临界点都是孤立的。由于临界点集是闭集，紧区域内若有无限多个临界点，就会有一个同样为临界的聚点，这与孤立性矛盾。因此任何紧区域中只有有限多个临界点。有限集具有 Lebesgue 测度零。■\blacksquare

这说明：如果从 RN\mathbb{R}^N 中的一个盒子里均匀采样一点，恰好落在临界点上的概率为零。但真正有趣的问题是条件性的：

既然我们已经身处某个高维随机函数的临界点，那么这个临界点是非退化局部极小值的概率是多少？

这个问题的答案，由 Hessian 特征值的符号来回答。

在进入随机矩阵论证之前，先看一个最简单的鞍点例子，建立手感。

函数 f(x,y)=xyf(x,y) = xy 在 (0,0)(0,0) 处有一个临界点，因为

∇f(x,y)=(yx),\nabla f(x,y) = \binom{y}{x},

所以 ∇f(0,0)=0\nabla f(0,0) = 0。它的 Hessian 是

Hf(0,0)=(0110).H_f(0,0) = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}.

特征值为 11 和 −1-1，因此原点是一个鞍点。

这个例子也说明了为什么混合偏导数项会遮蔽几何。在 (x,y)(x,y) 坐标中，二阶导数 fxxf_{xx} 与 fyyf_{yy} 都为零，而混合导数 fxyf_{xy} 非零——主曲率方向并不是坐标轴。定义旋转后的坐标

u=x+y2,v=x−y2,u = \frac{x+y}{\sqrt2}, \qquad v = \frac{x-y}{\sqrt2},

等价地

x=u+v2,y=u−v2.x = \frac{u+v}{\sqrt2}, \qquad y = \frac{u-v}{\sqrt2}.

则

xy=u+v2⋅u−v2=u2−v22.xy = \frac{u+v}{\sqrt2}\cdot\frac{u-v}{\sqrt2} = \frac{u^2-v^2}{2}.

在旋转后的坐标中，Hessian 是对角的：

H=(100−1).H = \begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}.

此刻鞍点结构一目了然：函数在 uu 方向向上弯曲，在 vv 方向向下弯曲。

不变的事实并不是 Hessian 在某个选定坐标系中的具体矩阵元素，而是它的符号分布：一个正特征值、一个负特征值。这是西尔维斯特惯性定律（Sylvester's law of inertia） 的一个特例——该定律说，实二次型的正、负、零方向的数目，在可逆线性坐标变换下保持不变。

现在回到主线问题：假设我们随机站在高维景观的某个临界点上，它是局部极小值的概率有多大？

第一个启发式是把典型临界点处的 Hessian 建模为一个随机实对称矩阵。这个模型对每个随机函数并非字面上都正确——Hessian 可能与函数值、梯度或问题中其它结构相关——但它抓住了核心机制：如果 Hessian 没有强的正偏向，它的特征值谱就应当同时含有正负号。

仅仅出于直觉，假设每个 Hessian 特征值取正的概率为 1/21/2，且这些符号相互独立。那么

P(非退化局部极小值)=P(λ1>0,…,λN>0)=2−N.\mathbb{P}(\text{非退化局部极小值}) = \mathbb{P}(\lambda_1>0,\dots,\lambda_N>0) = 2^{-N}.

这已经在 NN 上指数衰减。独立性假设对对称随机矩阵的特征值并不成立——特征值彼此强烈排斥——但「正定很罕见」这一结论仍然正确，而且真正的随机矩阵估计还要更尖锐。

高斯正交系综（GOE） 是中心化随机实对称矩阵的标准模型。非正式地说，N×NN\times N 的 GOE 矩阵是其独立元素为高斯的对称矩阵，归一化方式使得特征值在 N→∞N\to\infty 时保持在 O(1)O(1) 量级。

维格纳半圆律（Wigner's semicircle law） 表明，中心化 GOE 矩阵的经验特征值分布在 N→∞N\to\infty 时收敛到关于零点对称的确定性半圆分布。因此，典型的大 GOE 矩阵有大量正特征值和大量负特征值，它的指数通常接近 N/2N/2，而不是接近 0 或 NN。

然而，一个临界点要成为非退化局部极小值，Hessian 必须正定。在 GOE 模型中，这就是事件

λmin⁡(H)>0.\lambda_{\min}(H) > 0.

这个事件迫使整个特征值谱——其自然的极限形状以零为中心——平移到正的一侧。这是一个大偏差事件。

定理 4.1（GOE 正定呈指数级罕见）。设 HNH_N 是 N×NN\times N 中心化 GOE 矩阵，采用通常的随机矩阵标度。则存在常数 c>0c>0，使得在 N→∞N\to\infty 时

P(HN正定)=P(λmin⁡(HN)>0)=exp⁡{−cN2+o(N2)}.\mathbb{P}(H_N \text{正定}) = \mathbb{P}(\lambda_{\min}(H_N)>0) = \exp\{-cN^2 + o(N^2)\}.

更精确地说，对高斯 β\beta 系综，指数具有 β θ(0) N2\beta\,\theta(0)\,N^2 的形式，其中 θ(0)=(log⁡3)/4\theta(0) = (\log 3)/4（Dean & Majumdar 的结果与约定）。

精确常数不如标度重要。要点在于：正定不仅是「不太可能」，对中心化 GOE 矩阵而言，它在 N2N^2 上呈指数级不可能——比前面粗糙估计里的 2−N2^{-N} 还要猛烈。于是，在随机 Hessian 模型中，

P(临界点是鞍点)⟶1,P(临界点是非退化局部极小值)⟶0.\mathbb{P}(\text{临界点是鞍点}) \longrightarrow 1, \qquad \mathbb{P}(\text{临界点是非退化局部极小值}) \longrightarrow 0.

在临界点 xcx_c 处，二阶近似为

f(xc+h)−f(xc)≈12hTHf(xc)h.f(x_c+h) - f(x_c) \approx \frac{1}{2}h^T H_f(x_c) h.

若 Hf(xc)H_f(x_c) 只要有一个负特征值 λ\lambda，对应特征向量 vv，那么

vTHf(xc)v<0,v^T H_f(x_c) v < 0,

沿 vv 移动一小段距离会使 ff 在二阶意义上减小：

f(xc+tv)−f(xc)≈12t2 vTHf(xc)v<0.f(x_c+tv) - f(x_c) \approx \frac{1}{2}t^2\, v^T H_f(x_c) v < 0.

因此，单个负特征值就摧毁了非退化局部极小值的可能性。在高维中，随机 Hessian 有很多机会获得这样的负方向。只有当这些方向都不向下弯曲时，非退化局部极小值才能存活。

随机矩阵论证解释了为什么随机 Hessian 不太可能正定。要把这一论证与实际随机函数联系起来，需要一种计数临界点并按指数分类的方法。标准工具是 Kac–Rice 公式。

设 ff 是区域 D⊂RND\subset\mathbb{R}^N 上足够正则的随机场。对 0≤k≤N0\le k\le N，定义

Ck(D):=#{x∈D:∇f(x)=0, index⁡(Hf(x))=k},C_k(D) := \#\{x\in D : \nabla f(x)=0,\ \operatorname{index}(H_f(x))=k\},

即 DD 中指数为 kk 的临界点个数。在正则性与非退化性假设下，Kac–Rice 给出

E Ck(D)=∫DE[∣det⁡Hf(x)∣ 1{index⁡(Hf(x))=k} ∣ ∇f(x)=0] p∇f(x)(0) dx.(3)\mathbb{E}\,C_k(D) = \\ \int_D \mathbb{E}\Big[|\det H_f(x)|\,\mathbf{1}\{\operatorname{index}(H_f(x))=k\}\ \Big|\ \nabla f(x)=0\Big]\, p_{\nabla f(x)}(0)\, dx. \tag{3}

这里 p∇f(x)(0)p_{\nabla f(x)}(0) 是梯度在零处的密度。行列式因子的出现，是因为梯度映射的零点要按局部雅可比体积变化来计数。指示函数则选出所需的指数。

方程 (3) 使问题变得精确。计数非退化局部极小值就是取 k=0k=0：

C0(D)=#{x∈D:∇f(x)=0, Hf(x)≻0}.C_0(D) = \#\{x\in D : \nabla f(x)=0,\ H_f(x)\succ 0\}.

计数鞍点则是对 1≤k≤N−11\le k\le N-1 求和。

对许多高斯随机场，在 ∇f(x)=0\nabla f(x)=0 条件下，Hessian 的条件分布是一个正交不变的高斯矩阵，通常是 GOE 型矩阵加上一个依赖于场值的标量平移——这正是随机矩阵理论严格介入之处，Hessian 的指数分布控制着每一类临界点的期望个数。

在自旋玻璃模型中，这一方案已被详细执行。Bray 与 Dean 计算了大维空间上高斯场的平均临界点个数，把它作为能量与指数的函数。Aufinger、Ben Arous 与 Černý 利用 Kac–Rice 与 GOE 特征值渐近，对球面 pp-自旋自旋玻璃哈密顿量的复杂度给出了严格的渐近分析。这些工作展示了一种典型模式：临界点可能是指数级众多的，但主导指数通常不是 0——相反，在景观的大部分区域，占主导的临界点具有正比例的负特征值，即它们是鞍点。

因此，严格的概率陈述不是「每个高维函数都只有很少的局部极小值」，而是更接近：

在广泛的高维随机景观模型中，期望的临界点计数以鞍点为主，而指数为零的临界点只构成一个趋于消失或指数级更小的比例，除非处于特殊的低能区域。

Morse 理论为指数提供了拓扑诠释。它本身并不证明极小值是罕见的，而是解释为什么指数是应当追踪的正确不变量。

设 f:M→Rf: M\to\mathbb{R} 是紧光滑流形 MM 上的 Morse 函数。当抬高阈值 aa 并考察下水平集

Ma:={x∈M:f(x)≤a}M_a := \{x\in M : f(x)\le a\}

时，MaM_a 的拓扑只在 aa 经过临界值时改变。若临界点的指数为 kk，那么粗略地说，穿过该水平会连接一个 kk 维手柄：局部极小值的指数为 0，因此它会为下水平集创造出新的连通分支。指数为 1 的鞍点可以把分支合并。更高指数的鞍点则创造出更高维的隧道与空洞。

一个推论是欧拉示性数的 Morse 关系：

∑k=0N(−1)kCk=χ(M),(4)\sum_{k=0}^{N} (-1)^k C_k = \chi(M), \tag{4}

其中 CkC_k 是指数为 kk 的临界点个数，χ(M)\chi(M) 是 MM 的欧拉示性数。由于在复杂的随机景观中，χ(M)\chi(M) 通常相对于临界点总数很小，许多临界点必须在这个交错求和中相互抵消——相邻指数的鞍点天然适合这种抵消。

这一拓扑图景与概率图景一致：随机高维景观常常含有大量散布在各个指数上的鞍点。但重要的是不要夸大拓扑论证：球面上的函数可以只有一个极小值和一个极大值。Morse 理论约束着可能的临界点计数。随机矩阵理论与 Kac–Rice 则解释了为什么在随机高维模型中，计数的绝大部分通常是鞍点式的。

在非退化临界点附近，经过光滑坐标变换后，每个光滑函数都看起来像它的 Hessian 标准形——这正是 Morse 引理 的内容。

定理 B.1（Morse 引理）。设 f:M→Rf: M\to\mathbb{R} 光滑，p∈Mp\in M 是指数为 kk 的非退化临界点。则以 pp 为中心存在局部坐标 (u1,…,uN)(u_1,\dots,u_N)，使得

f(u)=f(p)−u12−⋯−uk2+uk+12+⋯+uN2.f(u) = f(p) - u_1^2 - \dots - u_k^2 + u_{k+1}^2 + \dots + u_N^2.

因此，在光滑局部坐标变换意义下，非退化临界点完全由其指数分类。非退化局部极小值的标准形为

f(p)+u12+⋯+uN2,f(p) + u_1^2 + \dots + u_N^2,

非退化局部极大值的标准形为

f(p)−u12−⋯−uN2,f(p) - u_1^2 - \dots - u_N^2,

而指数为 kk 的鞍点有 kk 个向下的方向和 N−kN-k 个向上的方向。这正是「指数」成为高维临界点自然语言的原因。

任何听起来很「美」的结论都需要打上补丁，这个也不例外。

1. 不是所有函数都适用。 RN\mathbb{R}^N 上的强凸函数，例如 f(x)=∥x∥2f(x)=\|x\|^2，只有一个临界点，而且它是严格的全局极小值，没有鞍点。因此，仅仅高维并不意味着极小值稀缺——起决定作用的是 Hessian 有没有系统性地偏向正定。
2. 正定是严格极小值的充分条件，而非必要条件。 退化的严格极小值是存在的：一维函数 f(x)=x4f(x)=x^4 在 x=0x=0 处有严格局部极小值，但其 Hessian 在那里为零。因此，Hessian 符号论证针对的是非退化的、即 Morse 的临界点。
3. 结论依赖于随机景观系综。 中心化、类 GOE 的 Hessian 导致鞍点主导。Hessian 强烈向正方向平移的模型可以有许多极小值。在高斯场模型中，以极低函数值为条件，可以把 Hessian 谱向上平移，使极小值在景观底部附近更可能出现。
4. 罕见并不意味着不存在。 即使极小值在所有临界点中的占比趋于零，在某些模型中极小值的绝对数目仍可能随 NN 增长。变得罕见的只是「随机选出的临界点是极小值」这一概率。

有了这些限定，可以更准确地表述为：在许多 Hessian 谱近似无偏的高维随机景观中，一个典型的非退化临界点压倒性地倾向于成为鞍点。 Morse 临界点中的局部极小值要求所有 Hessian 特征值为正，而这一正定事件随维度增长呈指数级罕见。

这有助于解释为什么高维优化常被描述为「鞍点逃逸问题」，而非单纯的「坏局部极小值问题」。这一陈述不应被过度解读：它并不证明梯度下降总是有效，也不是说所有实际目标都表现得像 GOE 随机矩阵——真实的损失函数具有架构、数据、对称性、退化与约束，远比理想化模型复杂。

尽管如此，几何上的教训是有用的：

1. 高维中，绝大多数临界点是鞍点，其负特征值方向提供了逃离的「出口」（负曲率方向）。
2. 因此，优化卡住的主因不是「掉进局部极小值的陷阱」，而是在高原或鞍点附近「停滞」。
3. 算法如 SGD（随机梯度下降）自带的噪声，恰好能高效地把优化过程推离这些鞍点。而二阶算法（如牛顿法）反而需要谨慎处理负曲率方向，否则容易被带偏。

最后提醒一点：上述结论适用于随机、无结构化的景观。在深度学习中，由于对称性（如神经元置换）和平坦极小值的存在，景观结构更加复杂，但「鞍点主导」这一高维几何直觉依然成立。

NN 维中的非退化局部极小值必须通过 NN 个同时成立的曲率检验——在临界点处，每个 Hessian 特征值都必须为正。鞍点只需要正负号的混合。随机矩阵理论表明，大型中心化对称矩阵天然具有这样的混合：它们的谱散布在零附近，有大量正、负特征值。「所有特征值都落在正侧」这一事件是一个大偏差。

这解释了高维的直觉。临界点本身是光滑景观中体积为零的特征，但在临界点之中，决定性的问题是 Hessian 的符号。在随机模型中，典型的符号其指数靠近中间，而不是极端：非退化局部极小值指数为 0，非退化局部极大值指数为 NN，鞍点占据两者之间的所有指数。随着 NN 增长，中间压倒了极端。

因此，最好把这一观点理解为一条稳健的概率原则，而非关于每个高维函数的定理：

在高维随机景观中，指数为零的 Morse 临界点是例外，而鞍点才是默认。

这正是深度学习等现代优化能够成功的理论基石之一：绝大多数临界点是鞍点，其负曲率方向提供了逃离的出口。带噪声的一阶方法能高效地把优化过程推开这些鞍点。

参考来源：《Why Local Minima Are Rare in High-Dimensional Landscapes》，Grant Stenger.