条件熵

在已知第二个随机变量的情况下，随机变量 Y 的 信息熵 还有多少

$$H(Y|X)=E(H(Y|X=x))=E\left(\ln \left(\frac{p(x)}{p(x,y)}\right)\right)$$

链式法则

$$H(Y|X)=H(X,Y)-H(Y)$$