请问，决策树节点的信息熵怎么算（先问公式）？

某个样本集中的信息熵计算，是2为底对数不是自然对数，可使用numpy计算，即，entrop=-(p1*np.log2(p1)+p2*np.log2(p2)+……)

划分后，每个子集要本子集的熵再乘以一个子集占上层样本集的占比即子集出现概率，再上层减子层子集熵的和即为信息增益。

决策树的信息增益传统方法上下层乘子集占比的方法不好，不如最上层乘以样本总数，下面各层子集去掉占比同样乘以该子集样本数，则信息增益熵减更直观。这事我写过论文发了的。

你们老师写的两公式是一致的，不过一个是针对两个状态事件或说双类别的概率，那个两概率相加和为一，一个多状态事件或说多类别的概率，写sigma其实是英文写求和的简写法，意思是按不同类别概率求全部的和。唯一有问题的是用了ln，那结果就对不上了，例如抛硬币各占五成概率，熵的正确答案是1比特，用ln绝对求不出1，-0.5log2(0.5)-(1-0.5)log2(1-0.5)就刚好1，因为2为底求0.5的对数结果是负1。