熵 （Entropy）的概念最早起源于物理学，用于度量热力学系统中的无序程度。后来在信息论中发展起来,用来度量系统的不确定性。 系统可能处于多种不同状态，假定每种状态出现的概率为pi，那么该系统熵的定义为： 看一种特殊情形，当系统仅有两种状态的情形时，熵的变化可以绘图 1 如下：
## 用curve函数绘图
curve(-x*log2(x) - (1-x)*log2(1-x),xlab="概率",ylab="熵值",lwd=2)
Figure 1: 两状态下的熵值随概率变化
上图中可以看到，当两种状态的概率相等时，熵的取值最大，反之，当其中一种状态的概率接近于1时，熵最小。进一步推而广之，如果系统的若干状态越均衡，则熵值越大；如果系统的若干状态越不均衡，则熵值越小，因此，通过计算熵值，既可以反映系统的稳定状态，也可以反映系统中状态的分布多样性。
