信道容量

信道容量 C 是在所有可能的信源输入分布 $p(a_i)$ 中，能够达到的最大互信息 $I(X;Y)$

$$C=ma{x}_{p(a_i)}I(X;Y)$$

也就是不管你怎么好的编码，只要通过我这个信道，最大 平均互信息量 就定了（天花板），这个值就是信道容量

$$C=ma{x}_{p(a_i)}[H(X)-H(X\mid Y)]=ma{x}_{p(a_i)}[H(Y)-H(X\mid Y)]$$

通过等价转换，上面的式子可以有下面的理解：

• $H(X)-H(X\mid Y)$ 是“发送了多少信息 - 噪声损失了多少信息”
• $H(Y)-H(X\mid Y)$ 是“接收到了多少的惊喜度 - 噪声引入的惊喜度”