互信息量

I (a_{i}; b_{j}) = lo g \frac{p ( a _{i} ∣ b _{j} )}{p ( a _{i} )} = lo g \frac{p ( a _{i} b _{j} )}{p ( a _{i} ) p ( b _{j} )}

I (a_{i}; b_{j}) = I (a_{i}) - I (a_{i} ∣ b_{j})

I (a_{i}; b_{j}) = I^{'} (a_{i} b_{j}) - I^{''} (a_{i} b_{j})

这里的 I 指的是流经信道前后， $I^{'}$ 是前，这里可以认为是独立的， $I^{''}$ 是后，可以认为不独立，

就是两者互相影响的那部分惊喜度，是惊喜度被条件确定降低下来的部分，代表已经确定的东西，代表从 b 得到的关于 a 的信息量

🪴 Cyril