网站建设专业用语,网站建设类的公司名怎么起,怎么建设自己收费网站,做网站需要用到那些软件本专栏包含信息论与编码的核心知识#xff0c;按知识点组织#xff0c;可作为教学或学习的参考。markdown版本已归档至【Github仓库#xff1a;information-theory】#xff0c;需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。 文章目录联合熵条件熵联合… 本专栏包含信息论与编码的核心知识按知识点组织可作为教学或学习的参考。markdown版本已归档至【Github仓库information-theory】需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。 文章目录联合熵条件熵联合熵
联合集 XY 上, 对联合自信息 I(xy)I(x y)I(xy) 的平均值称为联合熵:
H(XY)Ep(xy)[I(x⇌y)]−∑x∑yp(xy)logp(xy)\begin{array}{l} H(X Y)\underset{p(x y)}{E}[I(x \rightleftharpoons y)] \\ -\sum_{x} \sum_{y} p(x y) \log p(x y) \end{array} H(XY)p(xy)E[I(x⇌y)]−∑x∑yp(xy)logp(xy) 当有n个随机变量 X(X1,X2,…,Xn)X\left(X_{1}, X_{2}, \ldots, X_{n}\right)X(X1,X2,…,Xn) , 有
H(X)−∑X1,X2,…,Xnp(x1,x2,…,xn)logp(x1,x2,…,xn)H(\mathbf{X})-\sum_{X_{1}, X_{2}, \ldots, X_{n}} p\left(x_{1}, x_{2}, \ldots, x_{n}\right) \log p\left(x_{1}, x_{2}, \ldots, x_{n}\right) H(X)−X1,X2,…,Xn∑p(x1,x2,…,xn)logp(x1,x2,…,xn) 信息熵与热熵的关系
信息熵的概念是借助于热熵的概念而产生的。 信息熵与热熵含义相似 信息熵与热熵的区别: 信息熵的不增原理热熵不减原理 热熵的减少等于信息熵的增加。
条件熵
联合集 XY\mathbf{X Y}XY 上, 条件自信息I(y/x)I(y / x)I(y/x)的平均值定义为条件熵
H(Y/X)Ep(xy)[I(y/x)]−∑x∑yp(xy)logp(y/x)∑xp(x)[−∑yp(y/x)logp(y/x)]∑xp(x)H(Y/x)\begin{array}{l} H(Y / X)\underset{p(x y)}{E}[I(y / x)]-\sum_{x} \sum_{y} p(x y) \log p(y / x) \\ \sum_{x} p(x)\left[-\sum_{y} p(y / x) \log p(y / x)\right]\sum_{x} p(x) H(Y / x) \end{array} H(Y/X)p(xy)E[I(y/x)]−∑x∑yp(xy)logp(y/x)∑xp(x)[−∑yp(y/x)logp(y/x)]∑xp(x)H(Y/x) 推广
H(Xn∣X1,…,Xn−1)−∑X1,X2,…,Xnp(x1,x2,…,xn)logp(xn∣x1,…,xn−1)\begin{array}{l} H\left(X_{n} \mid X_{1}, \ldots, X_{n-1}\right) -\sum_{X_{1}, X_{2}, \ldots, X_{n}} p\left(x_{1}, x_{2}, \ldots, x_{n}\right) \log p\left(x_{n} \mid x_{1}, \ldots, x_{n-1}\right) \end{array} H(Xn∣X1,…,Xn−1)−∑X1,X2,…,Xnp(x1,x2,…,xn)logp(xn∣x1,…,xn−1) 注意当有n个随机变量 X(X1,X2,…,Xn)X\left(X_{1}, X_{2}, \ldots, X_{n}\right)X(X1,X2,…,Xn) 。
H(X,Y)H(Y)H(X∣Y)H(X)H(Y∣X)H(X)H(X1)H(X2∣X1)…H(Xn∣X1,X2,…,Xn−1)\begin{array}{l} H(X, Y)H(Y)H(X \mid Y)H(X)H(Y \mid X) \\ H(\mathbf{X}) H\left(X_{1}\right)H\left(X_{2} \mid X_{1}\right)\ldotsH\left(X_{n} \mid X_{1}, X_{2}, \ldots, X_{n-1}\right) \end{array} H(X,Y)H(Y)H(X∣Y)H(X)H(Y∣X)H(X)H(X1)H(X2∣X1)…H(Xn∣X1,X2,…,Xn−1) 注意 H(X∣Y)\mathbf{H}(\mathbf{X} \mid \mathbf{Y})H(X∣Y) 表示已知变量 Y\mathbf{Y}Y 后, 对变量 X\mathbf{X}X 尚存在的平均不确定性存在疑义。 已知信源 X[ABC1/31/31/3]X\left[\begin{array}{ccc}A B C \\ 1 / 3 1 / 3 1 / 3\end{array}\right]X[A1/3B1/3C1/3] 和 Y[DEF1/103/53/10]Y\left[\begin{array}{ccc}D E F \\ 1 / 10 3 / 5 3 / 10\end{array}\right]Y[D1/10E3/5F3/10] ,请快速两个信源的信息熵的关系。 答H(X) H(Y)。其实不用计算由上面可知一个简单的结论等概率时信息熵最大。 参考文献
Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.周炯槃. 通信原理第3版[M]. 北京北京邮电大学出版社, 2008.樊昌信, 曹丽娜. 通信原理第7版 [M]. 北京国防工业出版社, 2012.
