信息量:利用概率计算信息量 事件发生的概率越低,它含有的信息量就越大,因为它帮我们排除的不确定性越大。 信息熵一个系统内发生某个事件时,它能带给你的信息量的期望。感性理解:若 1 个系统内由大量小概率事件构成,则它的信息熵就大 H(X)=E(I(X))=E(−ln(P(X))) 条件熵 联合熵指向原始笔记的链接 X 是一个 随机变量 信息量与信息熵 信息增益 https://xiaoxubeii.github.io/articles/decision-tree-id3/