信息熵的性质

• 可加性：$H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)$
• 非负性：熵结果非负
• 对称性：熵只和结构有关，不与具体的值有关（变量取值或者顺序）
• 最大离散熵定理：包含 n 种不同的离散信息，最大的信源熵是 $H(X)={\log }_{2}n$，证明：

$$H(X)-\log n=\sum p\log p^{-1}-\sum p\log n=\sum p\log \left(\frac{1}{np}\right)$$

令 $x=\frac{1}{np}$，因为 $\ln x\le x-1$

$$\sum p\log \left(\frac{1}{np}\right)=\sum p\frac{\ln \left(\frac{1}{np}\right)}{\ln 2}\le \frac{1}{\ln 2}\sum p\left(\frac{1}{np}-1\right)=\frac{1-\sum p}{\ln 2}=0$$

等式取等当且仅当 $x=\frac{1}{np}=1$ ，所以是等概率时最大

• 扩展性： 当一个事件概率很小的时候，它的信息量很大，但是对整个信息熵的影响很小。$x\ln x\to 0$
• 确定性：当有一个是 1 的时候（确知信源），最后的熵的结果为 0
• 极值性：对任意两个消息数相同的信源，有：

$$H[p(a_1),p(a_2)\dots ]\le -\sum p(a_i)\log p(b_i)$$

对其他信源的自信息量与自身分布求期望，结果要大于自身的熵。这个可以推出：

$$H(X|Y)\le H(X)$$

即已知 Y 的信息会导致 X 的不确定度下降

• 上凸性：熵是一个严格上凸函数： $H(\alpha P+(1-\alpha )Q)>\alpha H(P)+(1-\alpha )H(Q)$