信息熵

一个系统内发生某个事件时，它能带给你的信息量的期望。感性理解：若 1 个系统内由大量小概率事件构成，则它的信息熵就大

$$H(X)=E(I(X))=E(-\ln (P(X)))$$

条件熵 联合熵