当前位置：文档视界 › 信息论与编码知识点分布

信息论与编码知识点分布

注：

（1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。

（2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。

第二章信源与信源熵

1信源的不确定性 2单符号离散信源

（1）单符号离散信源的数学模型

121

2,,,

,,(),

(),,

()()i n i n x x x x X p x p x p x p x P X ??

???

=????????

?L L L L

（2）单符号离散信源的信息量（自信息量、联合信息量、条件信息量及三种信息量的关系）自信息量：

()log ()

i i I x p x =- 条件信息量：

2(/)log (/)

i j i j I x y p x y =-

联合信息量：

22()log ()log ()(/)()(/)()(/)

i j i j j i j i i j j j i I x y p x y p y p x y I x I x y I y I y x =-=-=+=+

互信息量：

(/)(;)log ()(/)()()()

()

i j i j i i j i j i j i p x y I x y I x I x y I x I y I x y p x ==-=+-

信源熵：

∑=-===n

i i i i i x p x p x p E x I E X H 1

22)

(log )(])(1

[log )]([)(

条件熵：

∑∑===

=m j n

j i j i j i y x I y x p y x I E Y X H 1

)/()()]/([)/( 联合熵：

∑∑∑∑====-==

n i m j n i m

j i j i j i j i y x p y x p y x I y x p XY H 1

)(log )()()()(

熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性；平均互信息量：

11()(;)()log (;)

()()

i j i j i j i j p x y I X Y p x y I Y X p x p y ====∑∑

各种熵之间的关系：

例题：在理解的基础上求解实际问题：

3多符号离散平稳信源

离散无记忆扩展信源：定义；

离散无记忆信源X 的N 次扩展信源的熵就是离散信源X 的熵的N 倍

()()N

H X NH X

离散平稳信源：定义；平均符号熵与极限熵；

4马尔可夫信源：定义；信源状态转移图；各态遍历定理；熵计算

第三章无失真信源编码

1信源编码的分类：

2 Kraft 不等式与码树表示法；平均码长；编码效率；

3定长编码定理；变长编码定理；

4香农、费诺、Huffman 、游程编码、LD 编码、算数编码、LZW 编码的编码过程。

第四章限失真信源编码

1失真测度与失真矩阵； 2平均失真度与保真度准则；

3信息率失真函数R （D ）及其定义域的确定； 4汉明失真下的的二元信源R （D ）的定义式； 5对称失真矩阵下n 元等概信源率失真函数的定义式；

6限失真信源编码定理及应用； 7多媒体压缩编码（了解）

第五章信道及信道容量

1一般信道的数学模型：

[]1121112

22212(|)(|)...(|)(|)

(|)...(|)(|)............(|)

(|)...

(|)m m n n m n p b a p b a p b a p b a p b a p b a P Y X p b a p b a p b a ?????

=???

2信道容量的定义：

()

max (;)

bit/i p x C I X Y =信道符号

3信道容量的计算：

特殊的单符号离散信道的信道容量一一对应关系的无损信道 2

2()

()

max (;)max ()max ()log

log i i i p x p x p x C I X Y H X H Y n m

=====

具有归并性能的无噪信道

2()

()

max (;)max ()log i i p x p x C I X Y H X n

=== 具有扩展性能的无噪信道

2()

()

max (;)max ()log i i p x p x C I X Y H Y m

===

强对称离散信道的信道容量

()

222

max[()(/)]max[()]

log log log 1

i i ni p x p x C H Y H Y X H Y H p n p p p n =-=-=++-

对称离散信道的信道容量（行可排列、列可排列性）

212()

max[()(/)]log (,,,)

i m p x C H Y H Y X m H q q q =-=-L

准对称离散信道的信道容量（行可排列，列不可排列--〉分割）

一般离散信道的信道容量计算步骤：

4多符号离散信道：

离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息量是单符号离散无记忆信道的平均互信息量的N倍。

独立并联信道（积信道与和信道）

N个独立并联信道的信道容量等于各个信道容量之和

级联信道

多级级联信道的总信道矩阵等于所有信道军阵的乘积。其容量用单幅号信道的信道容量计算方法即可。

第六章信道编码

1检错及纠错的基本原理；

2最小汉明距离与检错纠错能力；

3奇偶校验码、重复码、等重码的校验原理；

4最大后验概率准则译码、最大似然准则译码；5信道编码定理：

对离散平稳无记忆信道，其信道容量为C，输入序列长度为L。只要实际信息率R

a为任意大于零的正数。反之，若实际信息率R>C，则对任何编码，Pe必大于零。

6线性分组码定义

[N,K]线性分组码的设计过程（纠错能力、校正子、监督式、监督方程组、生成矩阵、校验矩阵）；7循环码的定义、码多项式的性质、循环码生成方法

第七章网络信息安全与密码学

1经典加密算法原理

2公钥加密算法RSA原理

3数字签名原理

4安全套接层（SSL）握手机制

信息论与编码填空题新

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后—加密—编码，再_信道编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是 C Wlog(1 SNR);当归一化信道容量 C/W 趋近于零时，也即信道完全丧失了通信能力，此时 E b /N 。为-1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H(K )就越小，其密文中含有的关于明文的信息量 I (MC )就越大。 5. 已知n = 7 的循环码g(x) x 4 x 2 x 1，则信息位长度k 为_3_，校验多项式h(x)=_x 3 x 1_。 6. 设输入符号表为 X = {0,1}，输出符号表为 Y = {0 , 1}。输入信号的概率分布为 p = (1/2 , 1/2)，失真函数为 d (0 , 0) = d (1 , 1) = 0 , d (0 , 1) =2 , d (1 , 0) = 1 ，贝U DU = _0_, R (Dn in ) = 1bit/symbol , 1 0 相应的编码器转移概率矩阵 [p(y/x )] = ; D max = 0.5 , R Dn ax ) = 0，相应的编码器转移概率矩 0 1 阵[p(y/x )]= 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55) , p 5,q 11,贝U (n) 40 ，他的秘密密钥(d,n )= (27,55)。若用户B 向用户A 发送n =2的加密消息，则该加密后的消息为 _8_。 1 ?设X 的取值受限于有限区间] a,b ],则X 服从均匀分布时，其熵达到最大；如 X 的均值为，方差受限为 2 ，则X 服从高斯分布时，其熵达到最大。 2 .信息论不等式：对于任意实数 z 0，有In z z 1，当且仅当z 1时等式成立。 3 ?设信源为 X={0, 1}, P (0) =1/8，则信源的熵为_1/8Iog 2 8 7/8log 2(7/8)比特/符号，如信源发出由m 个“0”和(100-m)个“1 ”构成的序列，序列的自信息量为 mlog 28 (100 m)Iog 2(7/8)比特 /符号。 4 .离散对称信道输入等概率时，输出为等概分布。 5 ?根据码字所含的码元的个数，编码可分为定长编码和变长编码。 U u 1 u 2 u 3 u 4 u 5 u 6 6?设DMS 为，用二元符号表 X {x 1 0,x 2 1}对 F U 0.37 0.25 0.18 0.10 0.07 0.03 其进行定长编码，若所编的码为{000 , 001, 010, 011, 100, 101}，则编码器输出码元的一维概率 P(x 1) 0.747 , P(x 2) 0.253 _。 1. 在现代通信系统中，信源编码主要用于解决信息传输中的有效性，信道编码主要用于解决信息传输中的可靠性，加密编码主要用于解决信息传输中的安全性。 2. 离散信源 X X 1 X 2 X 3 ，则信源的熵为 1.75bit/ 符号。 p(x) 1/2 1/4 1/8 1/8 1.在无失真的信源中，信源输出由 H (X )来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码教学大纲

《信息论与编码》课程教学大纲、课程基本信息二、课程内容及基本要求第一章绪论课程内容：

1 ?信息论之父--香农；信息论与香农信息论的形成与发展；香农信息论的中心问题及其局限性； 2．信息、消息、信号、信息的本质、信息的广义性； 3．通信系统基本模型：信源、信宿、信道、干扰、噪声、信源编码、信道编码。基本要求：1．了解信息论之父---Shannon（香农）和香农信息论的基本思想及其局限性；了解信息论的形成与发展过程；了解香农信息论的基本思想（中心问题）及其适用范围；2．理解消息、信息与信号的含义；理解消息、信息与信号之间的联系与区别；3．熟悉通信系统的基本模型及各模块的主要功能。本章重点香农信息论的中心问题、通信系统模型本章难点：信息、消息与信号的联系与区别；香农信息论的局限性第二章信源、信息量和信息熵课程内容： 1．无记忆信源与有记忆信源、离散信源与连续信源、离散序列信源、马尔可夫信源、离散无记忆信源、离散无记忆序列信源； 2．非平均信息量、信源熵、条件信息量、条件熵、噪声熵、损耗熵、联合熵、非平均互信息、平均互信息； 3．熵的性质、离散无记忆信源的序列熵、离散有记忆信源的序列熵；4．数据处理中信息的变化、连续信源熵；5．凸函数、互信息量的凸性，冗余度。基本要求： 1．了解并掌握信源的分类与特点； 2．理解并掌握非平均信息量、信源熵、互信息量、条件熵、联合熵、非平均互信息量、平均互信息的概念，计算；理解并掌握信源熵、信宿熵、噪声熵、损耗熵、平均

互信息之间的关系； 3．理解马尔可夫信源的概念、理解离散序列信源熵的概念； 4．理解熵的性质、熵的唯一性原理；理解连续信源的熵及连续熵的性质； 5．理解凸函数的含义和性质；了解凸函数在信息论中的应用。本章重点：非平均自信息量、条件信息量、互信息量、条件互信息量、熵、条件熵、熵的性质本章难点：平均互信息量、熵、离散序列信源熵、马尔可夫信源、条件熵、噪声熵、损耗熵第三章信源编码课程内容： 1．编码的定义与分类；奇异码与非奇码；唯一可译码与非唯一可译码；即时码与非即时码；克拉夫特不等式；码树；平均码长的计算；信息传输速率；2．无失真信源编码；定长码与定长编码定理；变长码与变长编码定理；最佳变长码编码定理；香农编码及其过程；费诺编码及其过程；哈夫曼编码及其过程；3．限失真信源编码；常用信源编码--- 游程编码、算术编码、预测编码、变换编码。基本要求： 1．理解并掌握编码的分类及特点；掌握平均码长的计算；掌握码树的使用； 2．理解无失真信源编码的含义；掌握定长码的特点与编码原理；掌握不定长编码的特点与编码原理； 3．掌握离散无记忆信源的等长编码及不等长编码；掌握香农编码原理、掌握费诺编码原理；掌握哈夫曼编码原理； 4．了解常用限失真信源编码方法—算术编码、游程编码、预测编码及变换编码的编码原理。

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为用霍夫曼编码方法代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码选择题

单项选择题 1.下面表达式中正确的是（A ）。 A. ∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i y y x p )(),(ω D.∑=i i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C ）。 A. 50?106 B. 75?106 C. 125?106 D. 250?106 3.已知某无记忆三符号信源a,b,c 等概分布，接收端为二符号集，其失真矩阵为d=???? ??????1 21 12 1,则信源的最大平均失真度max D 为（ D ）。 A. 1/3 B. 2/3 C. 3/3 D. 4/3 4.线性分组码不具有的性质是（ C ）。 A.任意多个码字的线性组合仍是码字 B.最小汉明距离等于最小非0重量 C.最小汉明距离为3 D.任一码字和其校验矩阵的乘积c m H T =0 5.率失真函数的下限为（ B ）。 A .H(U) B.0 C.I(U; V) D.没有下限 6.纠错编码中，下列哪种措施不能减小差错概率（ D ）。 A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽 7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（ A ）。 A. 0bit B. log6bit C. 6bit D. log240bit 8.下列陈述中，不正确的是（ D ）。 A.离散无记忆信道中，H （Y ）是输入概率向量的凸函数 B.满足格拉夫特不等式的码字为惟一可译码 C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强 D.满足格拉夫特不等式的信源是惟一可译码

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（√ ） 2. 线性码一定包含全零码。（√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。（√ ） 8. 信道容量是信道中能够传输的最小信息量。（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方法叫做最佳译码。（√ ）

信息论与编码试题集与答案

一填空题（本题20分，每小题2分） 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。按照信息的地位，可以把信息分成客观信息和主观信息。人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。信息的可度量性是建立信息论的基础。统计度量是信息度量最常用的方法。熵是香农信息论最基本最重要的概念。事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。

《信息论与编码》教学大纲

《信息论与编码》教学大纲一课程简介课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课学时：32 学分：2 开课学期：第六学期开课对象：通信、电子专业先修课程：概率论与数理统计、信号与系统、随机信号原理。参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月二课程性质、目的与任务信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。三教学基本内容与基本要求本课程总学时为32。其中理论教学为28，实验学时为4。主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。四教学内容与学时分配第3章离散信源无失真编码

第6章网络信息论（教学要求：A—熟练掌握；B—掌握；C—了解）五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时要求用Matlab编写程序，用软件完成循环码的编译码算法。六教学方法与手段常规教学与多媒体教学相结合。

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:154 4.0312.032= ?+?秒每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号所以信息速率为444.34 15 9183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

信息论与编码期中试卷及答案

信息论与编码期中试题答案一、（10’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。二、（10?）判断题（1）信息就是一种消息。（? ）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ）（3）概率大的事件自信息量大。（? ）（4）互信息量可正、可负亦可为零。（? ）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（? ）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ）（8）信源变长编码的核心问题是寻找紧致码（或最佳码）。（? ）（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分）故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）

信息论与编码技术

《信息论与编码技术》教学大纲一、课程信息课程代码：T0808007 课程名称：信息论与编码技术英文名称：Information Theory and Coding Techniques 课程类别：拓展课总学时：36 学时理论学时：36 学时实践学时：2 学时学分： 2 学分开设学期：第6学期适用对象: 通信工程本科专业学生考核方式：考查先修课程：信号与系统，数字信号处理，通信原理，概率论与数理统计大纲拟定人：张岩大纲审定人：吴顺伟二、课程简介《信息论与编码技术》课程是通信工程专业的专业拓展课，是通信工程专业的选修课程。本课程的主要内容是应用概率统计方法来研究信息的传输、存储和处理，建立通信系统的统计模型，对系统中的每个部分进行系统地描述，信息论理论应用于信源和信道就是编码。信息论与编码技术是一门对现代科学技术的发展具有重大的影响学科。本课程的教学目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。第一章：概论教学目标和要求：了解信息论的发展的历史，特别是香农信息论的发展；了解本书的主要内容；了解通信系统的模型，信息的传递，概率统计模型。教学重点与难点：通信系统的数学模型

实践环节：无建议使用的教学方法与手段：图文结合多媒体讲授教学学时：理论2学时实践0学时第一节信息论的发展概况信息的一般概念；香农信息定义；信息论与编码发展简史、数字通信系统模型第二节信息论与编码理论的主要内容第二章：信息熵教学目标和要求：掌握熵的定义及其性质，掌握各种信源信息熵的相关理论，会计算各种信源的信息熵。教学重点与难点：信息熵的定义及各种熵的计算实践环节：无建议使用的教学方法与手段：图文结合多媒体讲授教学学时：理论10学时实践0学时第一节单符号离散信源信源的数学模型及分类：信源的数学模型；信源的分类，离散信源的信息熵及其性质。自信息；信源的信息熵；熵的基本性质。第二节多符号离散信源离散无记忆信源的扩展信源，离散平稳信源，平稳信源的概念；二维平稳信源；一般离散平稳信源第三节连续信源单符号连续信源的熵；波形信源的熵；最大熵定理。第四节离散无失真信源编码定理第三章：信道容量教学目标和要求：了解信道容量的定义，掌握各种信道的信道容量的计算方法教学重点与难点：特殊信道的信道容量；连续信道的信道容量。实践环节：无建议使用的教学方法与手段：图文结合多媒体讲授教学学时：理论6学时实践0学时

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码试卷及答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

信息论与编码期末试卷

上海大学2011～2012学年度冬季学期试卷（A卷）课程名:信息论与编码课程号: 07276033学分: 4 应试人声明：我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。应试人应试人学号应试人所在院系题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸成绩

信息论和编码理论习题集答案解析

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52 134!13A ?=135213 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit

信息论与编码总结

信息论与编码 1. 通信系统模型信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | | （加密密钥）干扰源、窃听者（解密秘钥）信源：向通信系统提供消息的人或机器信宿：接受消息的人或机器信道：传递消息的通道，也是传送物理信号的设施干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况信源编码：编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性（代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化信道编码：编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性译码器：将落在纠检错范围内的错传码元检出或纠正基本途径：增大码率或频带，即增大所需的信道容量 2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =- 表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =- 联合自信息：(,)log ()XY i j XY i j I x y P x y =- 3. 互信息：;(/) () (;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y == 信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。 4. 信息熵：()()log ()i i i H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =- ∑ 联合熵：,()()log ()i j i j i j H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log ()() i j i j i j i j p x y I X Y p x y p x p y =∑

信息论与编码试卷与答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求：

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit