M-P神经网络模型#

激活函数#

回顾第三章线性模型中的对数几率回归模型和单位阶跃函数

最理想状态是用==单位阶跃函数==输入值映射为0/1，但由于其不连续、不光滑的性质， 我们使用==Sigmoid函数==将输入值映射为(0，1)，Sigmoid函数即型为S的函数，其中我们最常用的就是对数几率函数： $s i g m o i d ( x ) = \frac { 1 } { 1 + e ^ { - x } }$ 对率函数有很好的==性质==：$f ^ { \prime } ( x ) = f \left( x \right) ( 1 - f \left( x \right) )$

名词概念：#

仅需一个包含足够多神经元的隐层，多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数

引入原因：#

很多算法都具有万有逼近能力，不是神经网络所特有的，如决策树、支持向量机等等。 而之所以在神经网络中强调其万有逼近能力，是因为其数学公理方面的理论薄弱，为了证明其有效性而进行说明。

1.早停(early stopping)#

将数据集分为训练集和验证集，若验证集得到的误差升高，则停止训练。

但是很显然神经网络的误差可能是细微的波动，但却造成了训练的停止，有点像决策树中的预剪枝，基于贪心的策略。

所以采用：

• 若训练误差连续α轮的变化小于b，则停止训练使用验证集
• 若训练误差降低、验证误差升高，则停止训练

2.正则化(regularization)#

在误差目标函数中增加一项描述网络复杂度

$E = \lambda \frac { 1 } { m } \sum _ { k = 1 } ^ { m } E _ { k } + ( 1 - \lambda ) \sum _ { i } w _ { i } ^ { 2 }$

偏好比较小的连接权和阀值，使网络输出更“光滑”