神经网络训练与优化：BP、过拟合、Hessian 与鞍点

神经网络模型#

1943年一直沿用至今的M-P神经网络模型

万有逼近能力#

BP算法#

误差逆传播(error BackPropagation，简称BP)算法，亦称反向传播算法

BP算法是一种迭代算法，基于梯度下降(gradient descent)策略， 数学推导过程不多做阐述，详见西瓜书or南瓜书

缓解过拟合#

由于神经网络强大的表示能力，其经常容易过拟合，为此我们有以下两种策略

1 前言#

当训练损失降不下去时，应同时检查模型容量、数据、实现、超参数和优化过程。鞍点与平坦区域只是可能原因之一，不能仅凭损失曲线直接判断。下面使用 Hessian 矩阵说明驻点附近的局部曲率。

2 梯度下降收敛停滞的关键原因#

对于标准梯度下降，若精确到达 $\nabla L(\boldsymbol\theta)=\boldsymbol0$ 的点，参数更新量会变为零。但梯度为零并不意味着一定到达局部最小值，也可能到达局部最大值或鞍点。

• 局部最小值点：在其充分小的邻域内，沿任意方向移动都不会得到更小的函数值。
• 鞍点：在其邻域内同时存在使函数值增大和减小的方向。
• 驻点：满足 $\nabla L(\boldsymbol\theta)=\boldsymbol0$ 的点，包括局部极小值、局部极大值和鞍点等。

当我们遇到梯度为零的驻点时，可以先使用 Hessian 矩阵的特征值判断它可能是局部极小值、局部极大值还是鞍点。

3 Hessian 矩阵与二次型#

在点 $\boldsymbol\theta'$ 附近，损失函数的二阶泰勒展开为：

其中 $H(\boldsymbol\theta')$ 是 Hessian 矩阵，由损失函数对各参数的二阶偏导数组成。对二阶连续可微的标量函数，Hessian 是对称矩阵。

若 $\boldsymbol\theta'$ 是驻点，则 $\nabla L(\boldsymbol\theta')=\boldsymbol0$。令 $\boldsymbol v=\boldsymbol\theta-\boldsymbol\theta'$，可得到：

若 $\boldsymbol u$ 是 Hessian 的特征向量，对应特征值为 $\lambda$，则：

因此：

由于 $\|\boldsymbol u\|_2^2>0$，沿特征向量方向的局部曲率符号由 $\lambda$ 决定：

• $\lambda>0$：该方向局部向上弯曲。
• $\lambda<0$：该方向局部向下弯曲。

在驻点处，所有特征值均大于零时为严格局部极小值，均小于零时为严格局部极大值，同时存在正负特征值时为鞍点。若存在零特征值，二阶判别通常不足以下结论。

4 如何理解图中的收敛点#

图示实验重复训练同一网络，并比较收敛点的训练损失与 Hessian 正特征值比例。正特征值比例越高，表示在数值计算所覆盖的方向中，局部向上弯曲的方向越多。

这张图可以描述为：

1. 左侧点群的正特征值比例较低，并在该实验中对应较高损失，说明这些点附近存在较多非正曲率方向。
2. 右侧点群的正特征值比例较高，并对应较低损失。若仍存在可信的负特征值，则 Hessian 不定，数学上仍属于鞍点；若负特征值非常接近零，则还要考虑数值误差。

图中的 never reach a real "local minima" 可以理解为该实验中的观察，而不能直接推广为所有神经网络训练的普遍定理。实际训练还可能停在近似驻点、平坦区域或退化极小值附近，Hessian 的微小负特征值也可能受到数值近似影响。

5 总结#

1. 高维非凸优化中，鞍点和平坦区域都可能造成训练变慢，但不能断言模型最终几乎总是停在鞍点。
2. 在驻点处，Hessian 正定对应严格局部极小值，负定对应严格局部极大值，不定对应鞍点；存在零特征值时需要更高阶分析。
3. 若存在可靠的负曲率方向，沿其移动可能帮助优化算法逃离鞍点。
4. 低训练损失与良好泛化不是同一概念，不能仅凭正特征值比例判断泛化性能。