条件熵

H (X ∣ Y) = E (I (a_{i} ∣ b_{i})) = \sum\sum p (a_{i} b_{i}) I (a_{i} ∣ b_{j})

这里是联合概率 $p (a_{i} b_{i})$ ，因为这里是两个变量的期望（两个自由度），要算两次，一次条件，一次单独的变量，合在一起就是联合概率了

代表在知道 X 的前提下，随机变量 Y 的平均剩余的不确定性。是一个单一的数值，概括了 X 变化时，Y 不确定性的整体情况

H (Y ∣ X) = H (X, Y) - H (Y)

🪴 Cyril