如何理解信息熵

Question

如题所述

Answer 1

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
中文名
信息熵
外文名
informationentropy
提出者
C. E. Shannon
时间
1948 年
借鉴
热力学的概念
快速
导航
基本内容信息含义
理论提出
信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。
Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。
基本内容
通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之不确定性就大。
不确定性函数f是概率P的减函数；两个独立符号所产生的不确定性应等于各自不确定性之和，即f(P1,P2)=f(P1)+f(P2)，这称为可加性。同时满足这两个条件的函数f是对数函数，即
。
在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即

Answer 2

信息熵是计算机概念中的一种。可以理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。

信息熵也可以说是系统有序化程度的一个度量。信息的基本作用就是消除人们对事物了解的不确定性。

Answer 3

“在大规模网络流量中,数据越集中的地方熵值越小,数据越分散的地方熵值越大.”和“系统越有序，熵值越低；系统越混乱或者分散，熵值越高”。
1、当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。这是从信息的完整性上进行的描述。

2、当数据量一致时，“系统越有序，熵值越低；系统越混乱或者分散，熵值越高。这是从信息的有序性上进行的描述。

有序性和数据量二者并没有必然的联系，不能说数据量越大，有序性越差或越好，也不能说系统越有序，数据量越大或越小。这两者是两个不同的描述层面，所以是不矛盾的。

Answer 4

熵在物理学上指热能除以温度所得的商，标志热量转化为功的程度。在信息论中，用熵来表示不确定性和无组织性的度量，香农认为信息就是不确定性的减少，也就是熵值更少，信息增长是一个逆熵的过程（热力学中不可能）。这是后面一句话的解释，不知道前面一句出处是哪，要联系下上下文读一下才能理解我觉得说的数据越集中可能也是指信息的完整性更强，不确定更少.但是网络数据的信息也和传统理解不同，像波兹曼认为信息要带来行动，新闻是一种娱乐大于信息

Answer 5

觉得信息熵他其实就是一个信息差，就是因为现在社会的信息越来越多，我们不是都能了解