信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。 直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。 信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
n. comentropy
misc. information entropy
最大信息熵原理 maximum information entropy principle ; MIEP
方差加权信息熵 variance weighted information entropy
图像的信息量与信息熵 Information Content and Entropy
信息熵和均衡度 information entropy and equilibrium degree
二次信息熵 QEMI
广义信息熵原理 maximum generalized information entropy principle
信息熵原理 information entropy theory ; information entropy principle
信息熵模型 Information Entropy Model
And then a relative attribute reduction algorithm is mentioned based on information entropy.
后面又提到了基于信息熵的相对属性约简算法。
参考来源 - 粗糙集属性约简算法在数据挖掘中的研究·2,447,543篇论文数据，部分数据来源于NoteExpress
提出了基于最大互信息熵且具有奇数约束的优化得分函数。
A score function for optimization based on maximum mutual information entropy with odditional restriction is proposed.
后面又提到了基于信息熵的相对属性约简算法。
And then a relative attribute reduction algorithm is mentioned based on information entropy.
基于信息熵原理，预测了干扰对脆性激发的能力。
Otherwise, based on the entropy of information principles, to forecast the ability of interference to motivate brittleness.
应用推荐