什么,竟然和 互信息量 用一样的符号
平均互信息量是收到 Y 前后关于 X 的惊喜度减少的量,也是通信后整个系统惊喜度减少的量
信息就是负熵——从一个事件获得另一个事件的平均互信息需要消除不确定度,一旦消除了不确定度,就获得了信息
平均互信息量的性质
- 对称性:
- 非负性:
- 极值性:
如果 X 和 Y 一一对应,则
如果 X 和 Y 相互独立,则
凸函数性
在固定信道 的时候是信源 的上凸函数
两种不同的信源分布传输信息,取他们的“平均”信源分布,这种“平均”信源分布传输的互信息会大于等于分别传输的互信息的平均值。
在固定信源分布 的时候是信道 的下凸函数
“混合”两个信道的时候并不会比单独使用其中一个信道取平均值更好
数据处理定理
有这么一条马尔可夫链 X→Y→Z,这意味着 Z 的状态只取决于 Y 的状态,而与 X 的状态无关(给定 Y 的情况下,X 和 Z 是条件独立的)。那么有:
Z 能够告诉关于 X 的信息,最多只能和 Z 能够告诉你关于 Y 的信息一样多:
同样的,通过 Z 能够知道 X 的信息,最多也只能和通过 Y 能知道 X 的信息一样多:
链式法则
代表在已知 的情况下,通过 还能获得多少关于 X 的信息
多次测量
多次测量的互信息量比单词测量的互信息量要大