条件自信息量

$$I(a_i\mid b_j)=-\log p(a_i\mid b_j)$$ $$I(ab)=I(a)+I(b\mid a)=I(b)+I(a\mid b)$$

即

$$I(a\mid b)=I(ab)-I(b)$$

不确定度表示含有多少信息，信息量表示随机事件发生后能够得到多少信息

在已知 b 事件发生之后，如果 a 发生可以得到多少信息，这个信息量可以用 ab 同时发生得到的信息量减去 b 发生得到的信息量得到

表示 b 发生了，a 发生还能多带来的“惊喜度”。（可以假想两个几乎是因果的事件和同时买两种彩票）