[计 图情]?信息增益

...。 上述的ID3算法的核心问题是选取在树的每个结点要测试的属性。我们希望选择的是最有利于分类实例的属性，信息增益(Information Gain)是用来衡量给定的属性区分训练样例的能力，而ID3算法在增长树的每一步使用信息增益从候选属性中选择属性。

?信息增益法

信息增益法（Information Gain）：通过统计某个特征项在文档中出现或者不出 现的次数来判断文档的类别。特征t对于类别L的信息增益计算公式为：

?资讯获利

资讯获利(Information Gain)是由以某一属性为决策树节点所产生的子决策树之 Entropy与物件集合的Entropy所决定假设训练资料形成得集合S中有n 种类别Ci , i =...