信息量:利用概率计算信息量

事件发生的概率越低,它含有的信息量就越大,因为它帮我们排除的不确定性越大。

信息熵

一个系统内发生某个事件时,它能带给你的信息量的期望。感性理解:若 1 个系统内由大量小概率事件构成,则它的信息熵就大

条件熵 联合熵

指向原始笔记的链接

X 是一个 随机变量

信息量与信息熵

信息增益

https://xiaoxubeii.github.io/articles/decision-tree-id3/