信息论基础第二版习题答案

信息论基础第二版习题答案

《信息论基础第二版习题答案》

信息论是一门研究信息传输、存储和处理的学科，它的理论基础是由克劳德·香农于1948年提出的。信息论的发展对于现代通信、计算机科学和统计学等领域都有着重要的影响。《信息论基础第二版》是信息论领域的经典教材，它系统地介绍了信息论的基本概念和原理，并提供了大量的习题来帮助读者加深对知识的理解。

在这本书中，作者对信息论的基本概念进行了详细的介绍，包括信息的度量、信道容量、编码理论等内容。习题部分则是为了帮助读者巩固所学知识，提供了大量的练习题目，涵盖了各个方面的知识点。下面我们就来看一下《信息论基础第二版》中的一些习题答案。

第一章习题1.1：什么是信息熵？请用公式表示。

答：信息熵是表示一个随机变量不确定性的度量，它的公式为H(X) = -

Σp(x)log2p(x)，其中p(x)表示随机变量X取值为x的概率。

第二章习题2.3：什么是信道容量？如何计算信道容量？

答：信道容量是表示信道的传输能力，它的计算公式为C = Wlog2(1 + S/N)，其中W表示信道带宽，S表示信号功率，N表示噪声功率。

第三章习题3.2：简要说明香农编码的原理。

答：香农编码是一种无损压缩编码方法，它利用信息的统计特性来减少信息的冗余，从而实现对信息的高效压缩。

以上是《信息论基础第二版》中的一些习题答案，通过学习这些习题，读者可以更好地理解信息论的基本概念和原理。希望本书对广大读者在信息论领域的

学习和研究有所帮助。

信息论(第二版傅祖云编着)课后答案(1)

⋅ 第二章课后习题 【2.1】设有 12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， “12枚硬币中，某一枚为假币”该事件发生的概率为 P = 112 ； “假币的重量比真的轻，或重”该事件发生的概率为 P = 1 2 ； 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 I = log12 + log 2 = log 24比特 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P = 平每一次消除的不确定性为 I = log 3比特 因此，必须称的次数为 1 3 ，因此天 I 1 I 2 log 24 log 3 H 2.9次 因此，至少需称 3次。 【延伸】如何测量？分 3堆，每堆 4枚，经过 3次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3和 4”时，试问这三种情况分别获得多少信息量？ 解： “两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 因此该种情况发生的概率为 P = 1 1 6 6 1 36 ，该事件的信息量为：

⋅ ⋅ 5 = ⋅ ⋅ 2 = I = log 36 H 5.17比特 “两骰子总点数之和为 8”共有如下可能：2和 6、3和 5、4和 4、5和 3、6和 2，概 率为 P = 1 1 6 6 5 36 ，因此该事件的信息量为： 36 I = log H 2.85比特 5 “两骰子面朝上点数是 3和 4”的可能性有两种：3和 4、4和 3，概率为 P = 1 1 6 6 1 18 ， 因此该事件的信息量为： I = log18 H 4.17比特 【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解： 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 P = 1 7 ，因此此时从答案中获得的信息量为 I = log 7 = 2.807比特 而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6米以上的， 而女孩中身高 1.6米以上的占总数一半。假如我们得知“身高 1.6米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解： 设 A 表示女孩是大学生， P ( A ) = 0.25； B 表示女孩身高 1.6米以上， P ( B | A ) = 0.75， P ( B ) = 0.5 “身高 1.6米以上的某女孩是大学生”的发生概率为

第一章 第二章课后作业答案

信息论基础（于秀兰 陈前斌 王永）课后作业答案 注：X 为随机变量，概率P(X =x)是x 的函数，所以P(X)仍为关于X 的随机变量，文中如无特别说明，则以此类推。 第一章 1.6 [P (xy )]=[P(b 1a 1)P(b 2a 1)P(b 1a 2) P(b 2a 2)]=[0.360.040.120.48] [P (y )]=[P(b 1) P(b 2)]=[0.480.52] [P (x|y )]=[P(a 1|b 1)P(a 2|b 1)P(a 1|b 2) P(a 2|b 2)]=[0.750.250.0770.923 ] 第二章 2.1 (1) I (B )=−log P (B )=−log 18 =3(bit) 注：此处P (B )表示事件B 的概率。 (2) 设信源为X ， H (X )=E [−logP (X )]=−14log 14−2∙18log 18−12log 12 =1.75(bit/symbol) (3) ξ=1−η=1−1.75log4 =12.5% 2.2 (1) P(3和5同时出现)=1/18 I =−log 118≈4.17(bit) (2) P(两个2同时出现)=1/36 I =−log 136≈5.17(bit) (3) 向上点数和为5时（14，23，41，32）有4种，概率为1/9，

I =−log 19 ≈3.17(bit) (4) (5) P(两个点数至少有一个1)=1−5∙5=11 I =−log 1136 ≈1.71(bit) (6) 相同点数有6种，概率分别为1/36； 不同点数出现有15种，概率分别为1/18； H =6∙136∙log36+15∙118 ∙log18≈4.34(bit/symbol) 2.9 (1) H (X,Y )=E [−logP (X,Y )]=−∑∑P(x i ,y j )logP(x i ,y j )3 j=1 3i=1≈2.3(bit/sequence) (2) H (Y )=E [−logP (Y )]≈1.59(bit/symbol) (3) H (X |Y )=H (X,Y )−H (Y )=0.71(bit/symbol) 2.12 (1) H (X )=E [−logP (X )]=−2log 2−1log 1≈0.92(bit/symbol) Y 的分布律为：1/2,1/3,1/6； H (Y )=E [−logP (Y )]≈1.46(bit/symbol) (2) H (Y |a 1)=E [−logP (Y|X )|X =a 1]=−∑P (b i |a 1)logP (b i |a 1)i =−34log 34−14log 14 ≈0.81(bit/symbol) H (Y |a 2)=E [−logP (Y|X )|X =a 2]=−∑P (b i |a 2)logP (b i |a 2)i

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞ -∞ ?→∞ - -?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N : 2 2 x -)时， 信源具有最大熵，其值为 0.6155hart(或1.625bit 或 1 lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或() lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础第二版习题答案

信息论基础第二版习题答案 信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。 第一章：信息论基础 1.1 信息的定义和度量 习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。求当p=0.5时，事件的信息量。 答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。 习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。 答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为 I(p(1-p)) = -log(p(1-p))。 1.2 信息熵和条件熵 习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。 答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。 习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。 答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即

H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。 第二章：信道容量 2.1 信道的基本概念 习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。 习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。 2.2 信道编码 习题1：假设有一个二进制对称信道，其错误概率为p，要使得传输的信息错误率小于等于ε，应该选择什么样的编码方式？ 答案：根据信道编码定理，要使得传输的信息错误率小于等于ε，应该选择编码方式，使得编码后的码字长度满足n > H(p)/ε。 习题2：假设有一个高斯信道，信道的信噪比为S/N，要使得传输的信息错误率小于等于ε，应该选择什么样的编码方式？ 答案：对于高斯信道，要使得传输的信息错误率小于等于ε，应该选择编码方式，使得编码后的码字长度满足n > 0.5log(1 + S/N)/ε。 通过以上习题的解答，读者可以更好地理解信息论的基础概念和原理，对于信息的度量、信息熵、信道容量和信道编码有更深入的理解。信息论作为一门重要的学科，不仅在通信领域有广泛应用，还在数据压缩、密码学等领域发挥着重要作用。希望读者通过学习《信息论基础第二版》和本文提供的习题答案，能够对信息论有更全面的认识和理解。

信息论习题(含答案).doc

信息理论基础习题集【考前必看】 一、 判断： 1、 必然事件和不可能事件的自信息量都是0 。 2、 自信息量是)(i x p 的单调递减函数。 3、 单符号离散信源的自信息和信源熵都具有非负性。 4、 单符号离散信源的自信息和信源熵都是一个确定值。 5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的 6、自信息量、条件自信息量和联合自信息量之间有如下关系： )/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 7、自信息量、条件自信息量和互信息量之间有如下关系： /()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-=8、当随机变量X 和Y 9、当随机变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 10 11、平均互信息量布p （y j /x i 12、m 其所含符号的依赖关系相同。 i log 2n ，其中n 是信源X 的消息个数。 p （x i ）），使信道所能传送的信息率的最大值。 19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。 20、率失真函数对允许的平均失真度具有上凸性。 21、信源编码是提高通信有效性为目的的编码。 22、信源编码通常是通过压缩信源的冗余度来实现的。 23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 25、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。

信息论与编码[第二版]曹雪虹[最全版本]答案

《信息论与编码（第二版）》雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132 231231 112331223231 W W W W W W W W W W W W ?++=???+=???=???++=?计算可得1231025925625W W W ?=???=? ? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状 态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p ==(0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p ==(0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p ==(1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p ==(1|10)(01|10)0.5p p ==

信息论与编码(第二版)曹雪虹(版本)答案

《信息论与编码（第二版）》曹雪虹答案 第二章 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概 率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论基础智慧树知到答案章节测试2023年潍坊学院

第一章测试 1.信息论的奠基人是（）。 A:香农 B:哈特利 C:阿姆斯特朗 D:奈奎斯特 答案:A 2.下列不属于信息论的研究内容的是（）。 A:纠错编码 B:信源、信道模型 C:信息的产生 D:信道传输能力 答案:C 3.下列不属于消息的是（） A:图像 B:信号 C:文字 D:语音 答案:B 4.信息就是消息. （） A:对 B:错 答案:B 5.信息是不可以度量的，是一个主观的认识。（） A:对 B:错 答案:B 6.任何已经确定的事物都不含有信息。（） A:错 B:对 答案:B 7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。（） A:错 B:对 答案:B 8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （），使信息传输系统达到最优化。 A:保密性 B:可靠性

C:认证性 D:有效性 答案:ABCD 9.下列属于香农信息论的主要研究理论的是（）。 A:传输理论 B:调制理论 C:压缩理论 D:保密理论 答案:ACD 10.信源编码的作用包含（）。 A:检错纠错 B:提升信息传输的安全性 C:数据压缩 D:对信源的输出进行符号变换 答案:CD 第二章测试 1.信息传输系统模型中，用来提升信息传输的有效性的部分为（） A:信道 B:信源 C:信源编码器、信源译码器 D:信道编码器、信道译码器 答案:C 2.对于自信息，以下描述正确的是（） A:以e为底时，单位是比特 B:以10为底时，单位是奈特。 C:以2为底时，单位是奈特。 D:以2为底时，单位是比特。 答案:D 3.信息熵的单位是（） A:无法确定 B:比特每符号 C:比特 答案:B 4.必然事件和不可能事件的自信息量都是0 。（） A:错 B:对 答案:A 5.概率大的事件自信息量大。（） A:错

信息论基础第二章信源熵-习题答案.doc

为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是: (]\25 X —— ,4丿 此消息的信息量是：/ =-log/? = 87.811 bit (2)此消息中平均每符号携带的信息量是：//〃 = 87.811/45 = 1.951 bit 解释为什么> Iog6不满足信源储的极值性。 解： 6 H(X)= -工 /?(%,) log p(xj i = -(0.2 log 0.2+ 0.19 log 0.19 + 0.181og0.18 + 0.171og0」7 + 0.161og0.16 + 0.171og0.17) =2.657 bit / symbol W(X)>log 2 6 = 2.585 6 不满足极值性的原因是工#(兀)=1.07 > i 。 2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求: (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合(无序)对的*商和平均信息量； (4) 两个点数之和(即2, 3,…，12构成的子集)的储； (5) 两个点数中至少有一个是1的自信息量。 解： 2.4 设离散无记忆信源 X P(X) 兀[=0 兀2 = 1 兀3 = 2 X 4 =3 3/8 1/4 1/4 1/8 ,其发出的信息 2. 6 ■ X ' x 2 兀4 尤5 兀6 ' > P(X). [0.2 0.19 0.18 0.17 0.16 0」7 4 H(X)= -工"(xjlog #(兀)= 2.010 /=! 设信源 求这个信源的储，并

信息论基础-练习与思考5

✧ 题目 1． 一个（7，1）重复码，求其生成矩阵和监督矩阵以及码的最小距离min d 。 2． 一个线性分组码的监督矩阵为⎥⎥⎥⎥ ⎦ ⎤⎢⎢⎢ ⎢⎣⎡=101011101011100001101010010100100110H ，求其生成矩阵以及码的最小距离min d 。 3． 设一个（15，4）循环码的生成多项式1110651)(x x x x x x g +++++=。 （1） 求此码的监督多项式h(x)； （2） 求此码的生成矩阵（非系统码和系统码形式）； （3） 求此码的监督矩阵。 4． 一个（7，3）线性分组码的生成矩阵为⎥⎥⎥⎦ ⎤⎢⎢⎢⎣⎡=100111001001110011101G （1） 构造一个等价的系统码生成矩阵； （2） 求其监督矩阵； （3） 构造所有可能的伴随式S 的表，并求其所对应的最大可能错误图样E （4） 求min d ，并说明它能可靠地纠几个错？ （5） 若信息位)101 (=U ,求对应的码字； （6） 它与（7，4）汉明码的关系如何？ 5． 已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101， 111000，011101，000000。求该码的输出矩阵与监督矩阵，并讨论其纠错能力。 6． 设一个（7，4）循环码的生成多项式1)(3 ++=x x x g ，当接收矢量为)1100100 (=r 时，试问接收是否有错？如果有错，至少有几个错？该码能否纠这些错？并求译码器的码字 C '。 ✧ 答案 ✧ 一个（7，1）重复码，求其生成矩阵和监督矩阵以及码的最小距离min d 。 1． 对于（7，1）重复码有)0000000 (，)1111111(两种形式， 可以看出它的生成矩阵是)1111111(=G ，又由于C1=C0;C2=C0;C3=C0;C4=C0;C5=C0;C6=C0,可知其监督矩阵为(求解方法：先对生成矩

信息论基础 课后习题答案

信息论基础课后习题答案 问题1 问题：信息论的基本目标是什么？ 答案：信息论的基本目标是研究信息的传递、存储和处理 的基本原理和方法。主要关注如何量化信息的量和质，并通过定义信息熵、条件熵、互信息等概念来描述信息的特性和性质。 问题2 问题：列举一些常见的信息论应用领域。 答案：一些常见的信息论应用领域包括： •通信领域：信息论为通信系统的性能分析和设计提 供了基础方法，例如信道编码和调制调制等。 •数据压缩领域：信息论为数据压缩算法的研究和实 现提供了理论依据，例如无损压缩和有损压缩等。

•隐私保护领域：信息论用于度量隐私保护方案的安 全性和隐私泄露的程度，在隐私保护和数据共享中起着重 要作用。 •机器学习领域：信息论被应用于机器学习中的特征 选择、集成学习和模型评估等任务中，提供了许多有用的 数学工具和概念。 •生物信息学领域：信息论被应用于分析DNA序列、蛋白质序列和生物网络等生物数据，发现其中的模式和规 律。 问题3 问题：信息熵是什么？如何计算信息熵？ 答案：信息熵是衡量一个随机变量的不确定性或信息量的 度量值。信息熵越大，表示随机变量的不确定性越高，每个可能的取值都相对等可能发生；反之，信息熵越小，表示随机变量的不确定性越低，某些取值较为集中或者出现的概率较大。 信息熵的计算公式如下所示： H(X) = -Σ P(x) * log2(P(x))

其中，H(X) 表示随机变量 X 的信息熵，P(x) 表示随机变量X 取值为 x 的概率。 问题4 问题：条件熵是什么？如何计算条件熵？ 答案：条件熵是在给定其他随机变量的条件下，一个随机变量的不确定性或信息量的度量。条件熵基于条件概率定义，用于描述一个随机变量在给定其他相关随机变量的条件下的信息量。 条件熵的计算公式如下所示： H(Y|X) = -Σ P(x, y) * log2(P(y|x)) 其中，H(Y|X) 表示随机变量 Y 在给定随机变量 X 的条件下的条件熵，P(x, y) 表示随机变量 X 取值为 x 且随机变量 Y 取值为 y 的概率，P(y|x) 表示随机变量 Y 在给定随机变量 X 取值为x 的条件下取值为 y 的概率。 问题5 问题：互信息是什么？如何计算互信息？

信息论基础试题及答案

信息论基础试题及答案 信息论基础试题及答案 填空题（每题2分） 1、信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2、电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则可组成103?10个不同的画面。按等概计算，平均每个画面可提供的信息量约为（106bit/画面）。 （考点：信息量的概念及计算） 3、按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4、英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5、如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的'概念） 6、按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7、码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。 （考点：线性分组码的基本概念） 8、和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量）

9、对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t 个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。（考点：线性分组码的纠检错能力概念） 判断题（每题2分） 1、信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。（对）（考点：信源剩余度的基本概念） 2、信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道都是无记忆信道。（错）（考点：有色噪声信道的概念） 3、若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4、在一个二元信道的n次无记忆扩展信道中，输入端有2n个符号序列可以作为消息。（对） 5、卷积码的纠错能力随着约束长度的增加而增大，一般情况下卷积码的纠错能力劣于分组码。（错）（考点：卷积码的纠错能力）

信息论基础各章参考答案

各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为 哪个时,第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略）

第四章 信息论基础 习题及解答

第四章 习题解答 4-1、某一信源以概率1/2、1/4、1/8、1/16、1/32和1/32产生6种不同的符号1x 、2x 、 3x 、4x 、5x 和6x ，每个符号出现是独立的，符号速率为1000（符号）/秒。（1）请计算 每个符号所含的信息量；（2）求信源的熵；（3）求单位时间内输出的平均信息量。 解： （1）按定义，各符号所含的信息量分别为 ()()()12121 log log 12 I x p x bit =-=-= ()()()22221 log log 24I x p x bit =-=-= ()()()32321 log log 38 I x p x bit =-=-= ()()()42421 log log 416I x p x bit =-=-= ()()()52521 log log 532I x p x bit =-=-= ()()()6262 1 log log 532 I x p x bit =-=-= （2）信源的熵 ()()() ()5 21222222 log 111111111111 log log log log log log 22448816163232323211345516168555025228163232323216 i i i H X p x p x ==-=------++++=+++++===∑比特符号 （3）单位时间内输出的平均信息量 ()()25 10001562.516 S I H X R == ⨯=比特 4-2 一个离散信号源每毫秒发出4种符号中的一个，各相互独立符号出现的概率分别为0.4、0.3、0.2和0.1，求该信号源的平均信息量与信息速率。 解： 信号源的平均信息量，即熵为：

信息论试卷含答案

《信息论基础》参考答案 一、填空题（共 15 分，每空 1 分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为 0，最大熵为 log 23 bit/ 符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或 H(S)/logr= H r (S) ）。 5、当 R=C 或（信道剩余度为 0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8 、若连续信源输出信号的平均功率为 2 ，则输出信号幅度的概率密度是高斯分布或正态分布或 1 x 2 1 log 2 e f x e 2 2 时，信源具有最大熵，其值为值 2 。 2 2 9、在下面空格中选择填入数学符号“ ,,,”或“ ” （ 1）当 X 和 Y 相互独立时， H （ XY ） =H(X)+H(X/Y)=H(Y)+H(X) 。 （2） H 2 X H X 1X 2 H X 1X 2X 3 2 H 3 X 3 （ 3）假设信道输入用 X 表示，信道输出用 Y 表示。在无噪有损信道中， H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码(第二版)曹雪虹(最全版本)答案

《信息论与编码（第二版）》曹雪虹答案（一）第二章 Equation Chapter 1 Section 12.1一个马尔可夫信源有3个符号，转移概率为：，，，，，，， ，，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 设状态u1，u2，u3稳定后的概率分别为W1，W2、W3 由得计算可得 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2， =0.8，=0.5，=0.5，=0.5，=0.5。画出状态图，并计算各状态的稳态概率。 解： 于是可以列出转移概率矩阵： 状态图为：

00 01 10 11 0.8 0.2 0.5 0.50.50.5 0.2 0.8 设各状态00，01，10，11的稳态分布概率为 W1,W2,W3,W4 有 得 计算得到 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：(1)(2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

信息论试卷含答案

第 1 页 《信息论基础》参考答案 一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为3 2log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源及信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2 σ，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值 21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。 （2）≥ （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)