信源熵 各个离散消息自信息量的数学期望，即信源的平均信息量。单位：比特/符号 H(X)=E(I(X)) 表示信源输出后，离散消息所提供的平均信息量 表示输出前，信源的平均不确定度。不确定度越高（越靠近等概率），熵越高。 反映了变量 X 的随机性