信息论与编码复习资料(新)

“信息论与编码”复习

1．消息、信号、信息的含义、定义及区别。

信息是指各个事物运动的状态及状态变化的方式。

消息是指包含信息的语言，文字和图像等。

信号是消息的物理体现。

消息是信息的数学载体、信号是信息的物理载体

信号：具体的、物理的

消息：具体的、非物理的

信息：非具体的、非物理的

同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息

2．信息的特征与分类。

1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；

2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；

3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；

4信息是可以量度的，信息量有多少的差别。

31948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。

4．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。

信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。

信宿需要研究的问题是能收到或提取多少信息。

信道的问题主要是它能够传送多少信息，即信道容量的多少。

5．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？

通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。

从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。

提高可靠性：信道编码。增加冗余。

提高安全性：加密编码。

6．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？

信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：

?不确定度是信源符号固有的，不管符号是否发出；

?自信息量是信源符号发出后给予收信者的；

?为了消除该符号的不确定度，接受者需要获得信息量。

自信息量

8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。

自信息量指的是该符号出现后，提供给收信者的信息量。

9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。

信源熵：

10. 信源熵的基本性质与定理及其理解？

?熵的性质

对称性

非负性

确定性

香农辅助定理

最大熵定理

小结：信源熵H(X)的三种物理含义：

表示信源输出后，每个离散消息所提供的平均信息量。表示信源输出前，信源的平均不确定度。

反映了变量X的随机性。

14. 最大离散熵定理及理解。

克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。

36. 什么是最佳编码？说出Shannon、Fano和Huffman编码的基本方法和主要特点。

37. 理解Huffman编码是最佳编码？

38. 游程编码相关定义与步骤？

40.简要说明下面几种译码准则：（1）最优译码准则；（2）最大似然译码准则

BSC信道的最大似然译码可以简化为信道的最大似然译码可以简化为最最小汉明距离译码小汉明距离译码。

46.纠错编码的分类（从不同的角度）？

48.分组码具有纠、检错能力的物理本质（许用码组和禁用码组）？

49.二进制分组码纠、检错能力与汉明距离的关系？

50.汉明距离和汉明重量的定义？错误图样的定义？随机错误和突发错误的定义？

52.线性分组码的定义、构造、性质？

53.线性分组码的伴随式、标准阵的定义及性质？

54.循环码的定义及其性质？系统循环码的编码方法？

55.循环码的生成矩阵和一致校验矩阵的构造？

56.循环码的伴随式及其性质？

● 汉明距离与线性分组码

线性分组码通常用于前向纠错，可表示为(n,k)，其中n 为码字长度，k 为信息位长度，从而校验位长度为n-k

在m(=2k )个码字构成的码中，两个长度为n 的码字之间的汉明距离(码距)是指两个码字对应位置上不同码元的个数；对于二元码，码距可表示为：

1(,),1,2,,,k k

n

i j i j k d c c c c i j m i j ==⊕=≠∑

长度为n 的码字的汉明重量(码重)是指码字中非零码元的个数；对于二元码，码重可表示为：

1()1,2,,k

n

i i k w c c i m ===∑

对于二元码，两个长度为n 的码字之间的码距可用码重表示：

(,)()

,1,2,,,k k i j i j d c c w c c i j m i j =⊕=≠

线性分组码(n,k)能检e 个错误并能纠t 个错误的充要条件是：min 1d e t ≥++ 最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的min 3d ≥ 将错误序列E 的随机结果e i 称为错误图案，当e ik =1时，表示第i 个码字的第k 位在传输中出现错误。

最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的错误图案为00...01，00...10，...，01...00，10 (00)

● (7,4)汉明码 设码字为：12345671,2,,i i i i i i i i c c c c c c c c i m ==，，其中1234i i i i c c c c 为信息位，长度为

k=4，567i i i c c c 为校验位，长度为n-k=3 (7,4)汉明码的编码由生成矩阵产生：

1

23456

71

23

41

000111010011000101010

00101

1i i i i i i i i i i i c c c c c c c x x x x ??????????=??????????

(7,4)汉明码的最小距离：min ,min (,)3

,1,2,,16,i j i j

d d c c i j i j ===≠

由线性分组码(n,k)能检e 个错误并能纠t 个错误的充要条件min 1d e t ≥++，(7,4)汉明码只能检出并纠正1个错误

信息论与编码复习题目

信息论复习提纲 第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。 第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）； 4．最大信源熵定理及证明； 5．本章所有讲过的例题； 第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明； 3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题； 第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离

散信道、准对称离散信道）； 2．本章讲过的例题； 第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题； 第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）； 3．本章所有讲过的例题； 第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题； 第八章循环码 1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：

信息论与编码课后习题答案

1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）

信息论与编码技术复习题2

《信息论与编码技术》复习题（2） 一、（32分）综合概念题 1. 什么是系统码和典型矩阵？写出常用的典型生成矩阵的两种形式。 2. 根据平均互信息定义的信道容量是指： a. 信道固定时的最大平均互信息； b. 信道固定时的最小平均互信息； c. 信源固定时的信道的最小平均互信息； d. 信源固定时的信道的最大平均互信息。 3. 什么是离散平稳信源？ a. 任意两个不同时刻随机矢量的各维概率分布都相同； b. 任意两个不同时刻随机矢量的各维概率分布都不相同； c. 任意两个不同时刻随机矢量的各维概率密度函数都相同； d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。 4. 设计一个信道容量为22 kbit/s 的电话信道，若信道上的信号与噪声的平均功率比值为20 dB ，请问该信道的通频带应该为多少？ 5. 设信源有q 个符号，则当信源 分布时熵最大，其最大值为 。 6. 当信道固定时，平均互信息是输入分布的 函数；当信源固定时，平均互信息是信道转移概率的 函数。 7. 信源编码是通过压缩信源冗余度来提高 ，而信道编码是增加冗余度来提高 。 8. 请判断具有下列码长{1, 2, 3, 3, 3, 4}的二进制码是否可构成唯一可译码。 二、（10分）设有对称信源(s = r = 4)，信源X = {a 1, a 2, ..., a r } = {0, 1, 2, 3}，信宿Y = { b 1, b 2, ..., b s } = {0, 1, 2, 3}。若失真度定义为：d (a i , b j ) = (b j -a i )2，求其失真矩阵D 。 三、（15分）某离散无记忆信源?? ????=??????4.06.0)(21a a x p X ，通过图1的信道传输，求： 图1 离散信道 （1）该信源中a 1和 a 2分别含有的自信息； （2）X 和Y 的信息熵； （3）信道的疑义度H (X|Y )； （4）接收到信息Y 后获得的平均互信息量。 四、（16分）设有一个离散无记忆信源?? ????=??????5.03.02.0)(321a a a x p X ， （1）对该信源进行二元费诺编码，计算其平均码长和编码效率；

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

信息论与编码复习题,德州学院

一、填空 1. 信息论基础主要研究信息的测度、 信道容量 、 信源和信道编码理论 等问题。 2. 必然事件的自信息量是0，不可能事件的自信息量是无穷大。 3. 若把掷骰子的结果作为一离散信源，则信源熵为 2log 。 4. 当事件i x 和j y 彼此之间相互独立时，平均互信息量为 0 。 5. 若二维平稳信源的信源熵为3bit/sign ，则其平均符号熵为1.5bit/sign 。 6. 信源熵H(X)表示信源输出后每个消息所提供的 平均信息量 。 7. 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为 1bit 。 8. 单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来描述。 9. 平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY) 。 10. 条件熵H （x|y ）和无条件熵H （X ）的关系是小于等于。 11. 对于理想信道，H （x|y ）等于0 ；I （x ；y ）= H （X ）。 12. 若YZ 统计独立，则H （YZ ）和H （Y ）、H （Z ）之间的关系是H （YZ ）=H （Y ）+H （Z ） 。 13. 对某含有7个消息的信源，其熵的最大值为2log 7，对应为等概分布分布。 14. 对某含有8个消息的信源，其熵的最大值为2log 8，对应为等概分布。 15. 对某含有6个消息的信源，其熵的最大值为2log 6，对应为等概分布。 16. 对某含有9个消息的信源，其熵的最大值为2log 9，对应为等概分布。 17. 十六进制脉冲所含的信息量是四进制脉冲的2 倍。 18. 八进制脉冲所含的信息量是二进制脉冲的3倍。 19. 十六进制脉冲所含的信息量是二进制脉冲的 4倍。 20. 离散平稳无记忆信源的N 次扩展信源的熵等于离散信源熵的N 倍。 21. 离散信源的熵越小，则该信源消息之间的平均不确定性越弱。 22. 对于r 进制树图，n 级节点的个数一般为n r 。 23. 信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何 时刻的输出符号无关，这种信道称之为 有干扰无记忆信道 。 24. 对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均 码长，则称该码为紧致码或最佳码 。 25. 分组码是前向纠错码 ，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。 26. 信源编码的目的是提高通信的有效性。 27. 对于香农编码和哈夫曼编码，编码方法唯一的是香农编码 。 28. 若纠错码的最小距离为dmin,则可以纠错任意小于等于（dmin-1）/2个差错。 29. 线性分组码是同时具有线性特性和分组特性的纠错码。 30. 道的输出仅与当前输入有关，而与过去无关的信道称无记忆信道。 31. 唯一可译码存在的充要条件是 1 1i n k i m -=≤∑ 。 32. 编码分为信源编码和信道编码两种。 33. 信道无失真传输信息的条件是信息传输速率小于信道容量。 34. 对称信道中，信源的最佳分布为等概分布。 35. 信源编码和信道编码的最大区别在于信源编码需减少信源的冗余度，而信道编码需增加信源的冗余。 36. 信道编码的目的是提高通信的可靠性。 37. 离散信源分为离散无记忆信源 和 离散有记忆信源。

信息论与编码期中试卷及答案

信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）

信息论与编码复习题

一、填空题 1.设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___Pi=1/4___时，信源熵达到最大值，为__2bit_，此时各个消息的自信息量为____2bit_______。 2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3_____个随机错，最多能 纠正___INT__个随机错。 3.克劳夫特不等式是唯一可译码___存在___的充要条件。 4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I （X ：Y ）=H （X ）-H （X/Y ） 5.__信源__编码的目的是提高通信的有效性，_信道_编码的目的是提高通信的可靠性，__ 加密__编码的目的是保证通信的安全性。 6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密 编码的目的是保证通信的 安全性 。 7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8_____时，信 源熵达到最大值，为___3bit/符号_________。 8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越__小____。 9.信源的冗余度来自两个方面，一是信源符号之间的_相关性__，二是信源符号分布的 __不均匀性___。 10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移 码估值 。 11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。 二、单项选择题 1.下面表达式中正确的是（ A ）。 A. ∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i y y x p )(),(ω D.∑=i i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有 16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个 组合之间相互独立。每秒传送25帧图像所需要的信道容量（ C ）。 A. 50106 B. 75106 C. 125106 D. 250106

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码期末试卷

上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩

信息论复习笔记

信息论回答了通信的两个最基本问题: （1）数据压缩的极限； （2）信道传输速率的极限； 信息、消息和信号 消息：信息的載體（能被感知和理解、進行傳遞和獲取） 信息：事物運動狀態或存在方式的不確定性的描述（香農）先驗概率：P(a i) 自信息：I(a i)=log[P-1(a i)]；（信息接收的不確定性） 互信息：I(a i;b i)= log[P-1(a i)]- log[P-1(a i|b i)]; （信息接收的多少度量） （若信道無干擾，則互信息等於自信息等於0） 優點：明確的數學模型、定量計算； 缺點：有適用範圍； 信號； 通信系统的模型 通信系统的基本要求:有效、可靠、保密、认证 2. 离散信源及其信息测度 ﹣离散信源的定义：輸出信息數有限、每次只輸出一個； ﹣自信息的定义及物理意义 事件發生前：事件發生的不確定性； 事件發生后：時間含有的信息量； 信息熵的定义及物理意义,信息熵的基本性质 定義：自信息的數學期望（ H(X)= -∑[ P(a i)logP(a i) ] ）信源的總體信息測度 （1）每個消息所提供的平均信息量；

（2）信源輸出前，信源的平均不確定性； 性質：（1）對稱性；（2）確定性； （3）非負性；（4）擴展性（可拆開）； （5）可加性；[ H(XY)=H(X)+H(Y) ] （6）強可加性；[ H(XY)=H(X)+H(Y|X) ] （7）遞增性； （8）極值性; [ H(p1,p2,p3…,p q)≤H(q-1,,…, q-1)= logq ] 等概率分佈信源的平均不確定性最大，稱為最大離散熵定理； —离散无记忆信源的扩展信源 —扩展信源的熵 H(X) = NH(X) —离散平稳信源：联合概率分布与时间起点无关； 熵：联合熵 H(X1X2)=∑∑P(a i a j)logP(a i a j) 条件熵 H(X2|X1)=-∑∑P(a i a j)logP(a i|a j) 关系：H(X1X2)=H(X1)+H(X2|X1) 熵率:离散平稳信源的极限熵 = limH(X N|X1X2…X N-1) —马尔可夫信源:某一时刻的输出只与此刻信源所处的状态有关而与以前的状态及以前的输出符号都无关； —马尔可夫信源的熵：H m+1=H(X m+1|X1X2…X m) —信源剩余度 熵的相对率η= H极限/H0 信源剩余度（输出符号间依赖强度）γ= 1-η=1-H极限/H0 3. 离散信道及其信道容量 —H(X;Y)=H(X)-H(X|Y) —离散信道的数学模型 —信道矩阵性質 （1）P(a i bj)=P(a i)P(b j|a i)=P(b j)P(a i|b j)；

信息论与编码复习资料(新)

“信息论与编码”复习 1．消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言，文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息 2．信息的特征与分类。 1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容； 2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理； 4信息是可以量度的，信息量有多少的差别。 31948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。 4．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。 信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。 信宿需要研究的问题是能收到或提取多少信息。 信道的问题主要是它能够传送多少信息，即信道容量的多少。

5．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？ 通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。 从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。 提高可靠性：信道编码。增加冗余。 提高安全性：加密编码。 6．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？ 信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同： ?不确定度是信源符号固有的，不管符号是否发出； ?自信息量是信源符号发出后给予收信者的； ?为了消除该符号的不确定度，接受者需要获得信息量。 自信息量 8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。 自信息量指的是该符号出现后，提供给收信者的信息量。 9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。 信源熵：

信息论与编码理论习题答案全解

信息论与编码理论习题答案全解

第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，

信息论期末复习

第二章 信源熵 一、自信息量 1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ，那么它的自信 息量为：)(log )(2i i a p a I -= （bit ） 2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。 在事件发生后，)(i a I 表示事件发生所提供的信息量。 二、信源熵 1. 定义： 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信 源的平均信息量： )(log )(])(1[log )]([)( 212i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。 3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有： n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时，上式取等号。 4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方

信息论与编码复习总结

信息论与编码复习总结 题型：填空、解答、计算 1、编码：无失真与限失真信源编码定理 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真 三大定理: 无失真信源编码定理（第一极限定理）（可逆） 信道编码定理（第二极限定理） 限失真信源编码定理（第三极限定理）（不可逆） Shannon(香农)信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论。通信系统模型方框图: 信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。 信源的描述：通过概率空间描述

平稳包含齐次，而齐次不包含平稳（重要，第二章计算题） 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，p j称为平稳分布（如下） 设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为w j=p(s j) 自信息量的特性： p(x i)=1,I(x i)=0; p(x i)=0,I(x i)=∞;非负性；单调递减性；可加性；定义：联合概率空间中任一联合事件的联合（自）信息量为： 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特

信道模型：二进制离散信道BSC；离散无记忆信道DMC；波形信道 信源编码器的目的：是使编码后所需的信息传输率R尽量小。 信源编码：主要任务就是减少冗余，提高编码效率。