信息量：利用概率计算信息量 事件发生的概率越低，它含有的信息量就越大，因为它帮我们排除的不确定性越大。 信息熵一个系统内发生某个事件时，它能带给你的信息量的期望。感性理解：若 1 个系统内由大量小概率事件构成，则它的信息熵就大 H(X)=E(I(X))=E(−ln(P(X))) 条件熵 联合熵指向原始笔记的链接 X 是一个 随机变量
