1.信息增益(Information Gain)#

计算==某属性==的信息增益，用根节点的信息熵-属性各个属性值的信息熵的加权平均值 信息增益越大，意味着使用属性a进行划分获得的纯度提升越大 $Gain ( D , a ) = E n t ( D ) - \sum _ { v = 1 } ^ { V } \frac { | D ^ { v } | } { | D | } E n t ( D ^ { v } )$

2.增益率(Gain Ratio)#

由于信息增益对于取值数目较多的属性==有所偏好==，所以引进增益率进行选择最优划分属性，比如著名的C4.5决策树算法

==当属性a的可能取值数目越多时(即V越大)，IV(a)越小，相应的增益率就越大==

1
我们可以这样理解，IV(a)计算的其实就是信息熵，当属性值数目越多时，样本分类就越多且彼此之间就越分散越混乱，而我们希望分类效果越好，就需要减少属性值可能取值个数。

$Gain \space R a t i o ( D , a ) = \frac { G ain( D , a ) } { I V ( a ) }$ $I V ( a ) = - \sum _ { v } ^ { V } \frac { | D ^ { v } | } { D } \log _ { 2 } \frac { | D ^ { v } | } { D }$

3.基尼指数(Gini Index)#

含义：==反映从数据集中随机抽取两个样本，其类别标记不一致的概率==

用于CART决策树，既可以用于==分类==问题，也可以用于==回归==问题

基尼指数越小，则数据集纯度越高 G i n i ( D ) = 1 - \sum _ { k = 1 } ^ { | y | } p _ { k } ^ { 2 }$$$$ G i n i \space I n d e x ( D , a ) = \sum _ { v = 1 } ^ { V } \frac { | D ^ { v } | } { | D | } G i n i ( D ^ { v } )

预剪枝(Prepruning)#

运用==贪心思想==，可能有弊端

在建立决策树的过程中进行剪枝，代入测试数据 将 当前精度 与 增加划分属性后的精度 进行比较， 判断是否需要增加划分属性

后剪枝 (Postpruning)#

在决策树建立完成后进行剪枝，代入测试数据 将 当前精度 与 把该结点属性变成叶子节点后的精度 进行比较 判断是否需要剪去不要的树枝 优点：欠拟合风险小，泛化性能较好