离散信道容量

单符号离散信源的数学模型

互信息量极其性质

互信息量

$$I(a_i;b_j)=\log \frac{p(a_i\mid b_j)}{p(a_i)}=\log \frac{p(a_i{b}_j)}{p(a_i)p(b_j)}$$ $$I(a_i;b_j)=I(a_i)-I(a_i\mid b_j)$$ $$I(a_i;b_j)=I^{\prime }(a_i{b}_j)-I^{\prime \prime }(a_i{b}_j)$$

这里的 I 指的是流经信道前后，$I^{\prime }$ 是前，这里可以认为是独立的，$I^{\prime \prime }$ 是后，可以认为不独立，

就是两者互相影响的那部分惊喜度，是惊喜度被条件确定降低下来的部分，代表已经确定的东西，代表从 b 得到的关于 a 的信息量

指向原始笔记的链接

平均互信息量

$$I(X;Y)=E(I(a_i;b_j))=\sum \sum p(a_i{b}_j)\log \frac{p(a_i{b}_j)}{p(a_i)p(b_j)}$$

什么，竟然和 互信息量 用一样的符号

平均互信息量是收到 Y 前后关于 X 的惊喜度减少的量，也是通信后整个系统惊喜度减少的量

信息就是负熵——从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息

平均互信息量的性质

• 对称性：$I(X;Y)=I(Y;X)$
• 非负性：$I(X;Y)\ge 0$
• 极值性：$I(X;Y)\le H(X)$

如果 X 和 Y 一一对应，则 $I(X;Y)=H(X)=H(Y)$

如果 X 和 Y 相互独立，则 $I(X;Y)=0$

凸函数性

$$I(X;Y)=\sum \sum p(a_i)p(b_j\mid a_i)\log \frac{p(b_j\mid a_i)}{\sum p(b_j\mid a_i)p(a_i)}$$

$I(X;Y)$ 在固定信道 $p(b_j\mid a_i)$ 的时候是信源 $p(a_i)$ 的上凸函数

两种不同的信源分布传输信息，取他们的“平均”信源分布，这种“平均”信源分布传输的互信息会大于等于分别传输的互信息的平均值。

在固定信源分布 $p(a_i)$ 的时候是信道 $p(b_j\mid a_i)$ 的下凸函数

“混合”两个信道的时候并不会比单独使用其中一个信道取平均值更好

数据处理定理

有这么一条马尔可夫链 X→Y→Z，这意味着 Z 的状态只取决于 Y 的状态，而与 X 的状态无关（给定 Y 的情况下，X 和 Z 是条件独立的）。那么有：

Z 能够告诉关于 X 的信息，最多只能和 Z 能够告诉你关于 Y 的信息一样多：

$$I(X;Z)\le I(Y;Z)$$

同样的，通过 Z 能够知道 X 的信息，最多也只能和通过 Y 能知道 X 的信息一样多：

$$I(X;Z)\le I(X;Y)$$

链式法则

$$I(X;Y_1,Y_2)=I(X,Y_1)+I(X;Y_2\mid Y_1)$$

$I(X;Y_2\mid Y_1)$ 代表在已知 $Y_1$ 的情况下，通过 $Y_2$ 还能获得多少关于 X 的信息

多次测量

多次测量的互信息量比单词测量的互信息量要大

$$I(X;Y_1{Y}_2)\ge I(X;Y_1)$$指向原始笔记的链接

信道容量

信道容量

信道容量 C 是在所有可能的信源输入分布 $p(a_i)$ 中，能够达到的最大互信息 $I(X;Y)$

$$C=ma{x}_{p(a_i)}I(X;Y)$$

也就是不管你怎么好的编码，只要通过我这个信道，最大 平均互信息量 就定了（天花板），这个值就是信道容量

$$C=ma{x}_{p(a_i)}[H(X)-H(X\mid Y)]=ma{x}_{p(a_i)}[H(Y)-H(X\mid Y)]$$

通过等价转换，上面的式子可以有下面的理解：

• $H(X)-H(X\mid Y)$ 是“发送了多少信息 - 噪声损失了多少信息”
• $H(Y)-H(X\mid Y)$ 是“接收到了多少的惊喜度 - 噪声引入的惊喜度”

指向原始笔记的链接

前面讨论的 链式法则 提到了，这是一个上凸函数，只要固定信道，那么在 $p(a_i)$ 的取值空间内肯定能够用凸优化的方法找到使互信息最大的那个

几种特殊的离散信道的信道容量：

• 离散无噪信道
• 具有拓展性能的无噪信道
• 具有归并性能的无噪信道
• 强对称离散信道
• 对称离散信道
• 准对称离散信道（输入对称信道）

求离散信道容量的一般方法