自信息量

一个随机事件发生某一个结果后可以得到的信息量

$$I(a_i)=-\log p(a_i)$$

概率越小，信息量越大；概率越大，信息量越小；一个确定事件的信息量是 0

可以看作特定事件的“惊喜度”

单位：比特（bit 2）、奈特（nat e）、哈特（hart 10）

自信息量是一个随机变量的函数，可以推广到联合自信息量

当相互独立的时候，对数有一个比较好的性质：

$$I(a_i{b}_i)=I(a_i)+I(b_i)$$

自信息量的定义可通过公理化条件唯一确定。

自信息量的性质

1. ​非负性：$I(p)\ge 0$;
2. ​单调性：$p$ 越小，$I(p)$ 越大;
3. ​可加性：$I(p_1{p}_2)=I(p_1)+I(p_2)$。