信息熵是什么?举例子说明?

信息理论的鼻祖之一Claude E.Shannon把信息（熵）定义为离散随机事件的出现概率.所谓信息熵,是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率.而信息熵和热力学熵是紧密相关的.根据Charles H.Bennett对Maxwell's Demon的重新解释,对信息的销毁是一个不可逆过程,所以销毁信息是符合热力学第二定律的.而产生信息,则是为系统引入负（热力学）熵的过程.所以信息熵的符号与热力学熵应该是相反的.一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高.我们可以认为,从信息传播的角度来看,信息熵可以表示信息的价值.这样子我们就有一个衡量信息价值高低的标准,可以做出关于知识流通问题的更多推论.
信息熵的计算是非常复杂的.而具有多重前置条件的信息,更是几乎不能计算的.所以在现实世界中信息的价值大多是不能被计算出来的.但因为信息熵和热力学熵的紧密相关性,所以信息熵是可以在衰减的过程中被测定出来的.因此信息的价值是通过信息的传递体现出来的.在没有引入附加价值（负熵）的情况下,传播得越广、流传时间越长的信息越有价值.
熵首先是物理学里的名词.在传播中是指信息的不确定性,一则高信息度的信息熵是很低的,低信息度的熵则高.具体说来,凡是导致随机事件集合的肯定性,组织性,法则性或有序性等增加或减少的活动过程,都可以用信息熵的改变量这个统一的标尺来度量.