信源熵

各个离散消息自信息量的数学期望,即信源的平均信息量。单位:比特/符号

  • 表示信源输出后,离散消息所提供的平均信息量
  • 表示输出前,信源的平均不确定度。不确定度越高(越靠近等概率),熵越高。
  • 反映了变量 X 的随机性