H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)
信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；
http://blog.csdn.net/dark_scope/article/details/8459576
2017/02/11
原文：http://www.cnblogs.com/yestinsong/p/6390822.html
