信源熵 各个离散消息自信息量的数学期望,即信源的平均信息量。单位:比特/符号 H(X)=E(I(X)) 表示信源输出后,离散消息所提供的平均信息量 表示输出前,信源的平均不确定度。不确定度越高(越靠近等概率),熵越高。 反映了变量 X 的随机性