联合自信息量

$$I(a_i{b}_j)=-\log p(a_i{b}_j)$$

当 X 和 Y 相互独立的时候，有

$$I(a_i{b}_j)=I(a_i)+I(b_j)$$

我们在用对数衡量世界概率的时候，对于两个独立事件同时发生所带来的信息理解成它们各自带来的信息相加