信息论与编码试卷及答案
一、（11’）填空题
（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信
源的信源熵H（X）
等于2.5，对信源进
行等长的无失真二
进制编码，则编码
长度至少为
3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关
二、（9'）判断题
（1）信息就是一种消息。（?）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√）
（3）概率大的事件自信息量大。（?）
（4）互信息量可正、可负亦可为零。（√）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（?）
（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ √ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ? ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（ √ ）
（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )
三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，
而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A 表示“大学生”这一事件，B 表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）
故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）
四、（5'）证明：平均互信息量同信息熵之间满足
I(X;Y)=H(X)+H(Y)-H(XY) 证明：
()()()
()
()()()()
()()
Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X
Y
i j i j i -=???
???---==∑∑∑∑∑∑log log log
; （2分）
同理
()()()
X Y H Y H Y X I -=; （1分） 则
()
()()Y X I Y H X Y H ;-= 因为
()()()
X Y H X H XY H += （1分） 故
()()()()Y X I Y H X H XY H ;-+=
即
()()()()XY H Y H X H Y X I -+=; （1分）
五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：
1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X 的数学模型。假设图上黑白消息出现前后没有关联，求熵()X H ； 2） 假设黑白消息出现前后有关联，其依赖关系为
，
，
，
，求其熵()X H ∞。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。 解：1）信源模型为 （1分）
（2分）
2）由题意可知该信源为一阶马尔科夫信源。 （2分） 由
（4分）
得极限状态概率
（2分）
（3分）
3）
119.02log )
(121=-=X H γ （1分）
447.02log )
(122=-
=∞X H γ （1分）
12γγ>。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反
映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）
六、（18’）.信源空间为
1234567()0.20.190.180.170.150.10.01
X x x x x x x x P X ????
=???????
?
，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
14
.3
)
(
7
1
=
=∑
=i
i
i
l
a
p
L
831
.0
14
.3
61
.2
)
(
=
=
=
L
X
H
R
七（6’）.设有一离散信道，其信道传递矩阵为??????????2/16/13/13/12/16/16/13/12/1，并设????
???
??
=
=
=4
1
)(
21
)(41
)(3
21x p x p x p ，试分别按最大后验概率准则与最大似然译码准则确定译码规则，
并计算相应的平均错误概率。
1）（3分）最小似然译码准则下，有，
2）（3分）最大后验概率准则下，有，
八（10'）.二元对称信道如图。
1）若()430=
p ，()4
1
1=p ，求()X H 、()Y X H |和()Y X I ;； 2）求该信道的信道容量。
解：1）共6分
()符号
/749.0|bit Y X H =
2）， （3分）此时输入概率分布为等概率分布。（1分）
九、（18'）设一线性分组码具有一致监督矩阵????
?
?????=110101100110111000H
1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G 。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。
解：1）n=6,k=3,共有8个码字。（3分）
2）设码字
()012345C C C C C C C =
由T T HC 0=得
???
??=⊕⊕⊕=⊕⊕=⊕⊕0
000135
034012C C C C C C C C C C （3分）
令监督位为
()012C C C ，则有
???
??⊕=⊕=⊕=3
404513
52C
C C C C C C C C （3分） 生成矩阵为?????
????
?101100110010011001 （2分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）
4）由T
T HR S =得
()101=S ，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）（1分）
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码，
然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是
log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时
E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码4
2
()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3
1x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??
????
；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??
?
???
。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题
1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ）
2. 线性码一定包含全零码。 （√ ）
3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×）
4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×）
5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×）
6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ）
7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ）
8. 信道容量是信道中能够传输的最小信息量。 （×）
9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
三、计算题
某系统（7，4）码
)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信
息位的关系为：
231013210
210c m m m c m m m c m m m
=++??
=++??=++? （1）求对应的生成矩阵和校验矩阵；
（2）计算该码的最小距离；
（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。 解：1. 10001100
10001100101110
001101G ??
???
?=??
????
101110011100100111001H ??
??=??????
2. d min =3
3.
4. RH T =[001] 接收出错
E =0000001 R+E=C = 1110010 (发码)
四、计算题
已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y
解: (0)2/3p x == (1)1/3p x ==
(0)1/3p y == (1)2/3p y ==
()()(1/3,2/3)H X H Y H ===0.918 bit/symbol (),(1/3,1/3,1/3)H X Y H ==1.585 bit/symbol ();()()(,)I X Y H X H Y H X Y =+-=0.251 bit/symbol
01
X Y
011/31/30
1/3
五、计算题
一阶齐次马尔可夫信源消息集},,{321a a a X ∈，
状态集},,{321S S S S ∈，且令3,
2,1,==i a S i i ，条件转移概率为
[]
??
??
?
?????=03132313131214141)/(i j S a P ，(1)画出该马氏链的状态转移图； (2)计算信源的极限熵。 解：(1)
（2）???
????=++=+=++=++132132
311212331
2311411332
231141w w w w w w w w w w w w w w →???
??===3.03.04.03
21w w w
H(X|S 1) =H (1/4,1/4,1/2)=1.5比特/符号 H(X|S 2)=H (1/3,1/3,1/3)=1.585比特/符号
H(X|S 3)=H (2/3,1/3)= 0.918比特/符号
()
3
|0.4 1.50.3 1.5850.30.918 1.3511
H
w H X S i i
i ==?+?+?=∑∞=比特/符号
六、计算题
若有一信源??
?
???=??????2.08.021x x P X ，每秒钟发出2.55个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输 （假设信道是无噪无损的，容量为1bit/二元符号）， 而信道每秒钟只传递2个二元符号。
（1） 试问信源不通过编码（即x 1→0,x 2→1在信道中传输） （2） 能否直接与信道连接？
（3） 若通过适当编码能否在此信道中进行无失真传输？ （4） 试构造一种哈夫曼编码(两个符号一起编码)，
（5） 使该信源可以在此信道中无失真传输。
解：1.不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s>2二元符号/s 2. 从信息率进行比较， 2.55*(0.8,0.2)H = 1.84 < 1*2 可以进行无失真传输
3.
4
1
0.640.16*20.2*3i i i K p K ===++=∑ 1.56 二元符号/2个信源符号
此时 1.56/2*2.55=1.989二元符号/s < 2二元符号/s
七、计算题
两个BSC 信道的级联如右图所示： （1）写出信道转移矩阵； （2）求这个信道的信道容量。
解： （1）
22122211(1)2(1)112(1)
(1)P PP ε
εεεεεεεεεεεεεεε--??
-+-????===??????----+??????
（2）2
2
log 2((1))C H εε=--+
信息理论与编码试卷Ａ答案
中南大学考试试卷
x 1x 1x 1x 2x 2x 1x 2x 2 0.64
1
011
100101
0.64
1
200 -- 2010 学年上学期期末考试试题时间100分钟
信息论基础课程 32 学时学分考试形式：闭卷
专业年级：通信07级总分100分，占总评成绩70%
注：此页不作答题纸，请将答案写在答题纸上
一填空题（本题20分，每小题2分）
1 无失真信源编码的中心任务是编码后的信息率压缩接近到 1 限失真压缩中心任务是在给定的失真度条件下，信息率压缩接近到
2 。
2信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 3 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用熵对信源的 4 的度量，同时也是衡量 5 大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，把这两个不确定量差值用 6 来表示，它表现了通信信道流通的7 ,若把它取最大值，就是通信线路的8 ，若把它取最小值，就是9 。
3 若分组码H阵列列线性无关数为n,则纠错码的最小距离d min为10 。
二简答题（本题20分，每小题4分）
1. 根据信息理论当前无失真压宿在压宿空间和速度两个方向还有研究价值吗？
2. 我们知道，“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备，它可以在一个音频电话线上传输二进制数据，并且没有太高的错误率。现在，我们上网用的“猫”的速度已可达到56Kbps了，但是，如果你用网络蚂蚁或其它软件从网上下载东西时，你会发现很多时候网络传输的速度都很低，远低于56Kbps（通常音频电话连接支持的频率范围为300Hz到3300Hz，而一般链路典型的信噪比是30dB）（摘自中新网）
3.结合信息论课程针对”信息”研究对象,说明怎样研究一个对象.
4. 用纠错编码基本原理分析由下列两种生成矩阵形成线性分组码的优劣
（1）（2）
5. 新华社电,2008年 5月16日下午6时半，离汶川地震发生整整100个小时。虚弱得已近昏迷的刘德云被救援官兵抬出来时，看到了自己的女儿。随即，他的目光指向自己的左手腕。女儿扑上去，发现父亲左手腕上歪歪扭扭写着一句话：“我欠王老大3000元。”
请列出上面这段话中信号、消息、信息。
三计算编码题（本题60分）
1. 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%。（10分）
（1） 若问一位女士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个
回答中各含多少信息量？从计算的结果得出一个什么结论？
（2） 如果问一位女士，问她回答（是或否）前平均不确定性和回答（是或否）后得到的
信息量各为多少？
2．黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。设黑色出现的概率为P(黑) = 0.5，白色出现的概率为P(白) = 0.5。（10分）
(1) 假设图上黑白消息出现前后没有关联，求信源的H ∞熵；
(2) 假设消息只前后有关联，其依赖关系为P(白/白) = 0.8，P(黑/白) = 0.2，P(白/黑) = 0.4，P(黑/黑) = 0.6，求信源的H ∞熵;
（3) 比较上面两个H ∞的大小，并说明其物理含义。
3． 离散无记忆信源 P(x1)=8/16； P(x2)= 3/16； P(x3)= 4/16； P(x4)=1/16；（10分）
(1) 计算对信源的逐个符号进行二元定长编码码长和编码效率； (2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。 (3) 你对哈夫曼码实现新信源为等概的理解。
4．设二元对称信道的传递矩阵为????
???
???3231313
2 若P(0) = 3/4, P(1) = 1/4，求该信道的信道容量及其达到信道容量时的输入概率分布；并说明物理含义。（10分） 5．设信源?
??
???=????
??4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为????
?
?????43416165
，求：（10分） (1) 收到消息y j (j=1)后，获得的关于x i (i=2)的信息量；
(2) 信源X 和信宿Y 的信息熵；信道疑义度H(X/Y)和噪声熵H(Y/X)； (3) 接收到信息Y 后获得的平均互信息量。 6二元(7，4)汉明码校验矩阵H 为：（10分）
（1）写出系统生成矩阵G ，列出错误形式和伴随矢量表，你能发现他们之间有什么联系，若没有这个表怎么译码，
（2）若收到的矢量0000011，请列出编码后发送矢量、差错矢量、和编码前信息矢量。
1111111010000110111010(|)
010********T P I ???
? ?
?=? ?? ????
列置换
一、填空题 (每空２分，共２0分) １．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2
σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log 22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。 6．设
DMS
为?
?
????=????
??03.007.010.018.025.037.0.654321
u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码
器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
二、简答题（30分）
１．设信源为??
????=??????4/34/121
x x P X X ，试求（1）信源的熵、信息含量效率以及冗余度；
（2） 求二次扩展信源的概率空间和熵。
解： （1）
)
(11)(2log /)()
3/4(log 4/34log 4/1)(222X H X H X H X H -=-===+=ηγη
（2）二次扩展信源的概率空间为：
)9/16(log 16/9)3/16(log 16/3)3/16(log 16/316log 16/1)(2222+++=XX H
２．什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为s r ?，则它们的分别信道
容量为多少？ 答：将H （X|Y ）称为信道},,{|Y P X X Y 的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr 。
将H （Y|X ）称为信道},,{|Y P X X Y 的噪声熵，噪声熵为零的信道就是确定信道，信道容量为logs 。 ３．信源编码的和信道编码的目的是什么？ 答：信源编码的作用：
（1）符号变换：使信源的输出符号与信道的输入符号相匹配；
（2）冗余度压缩：是编码之后的新信源概率均匀化，信息含量效率等于或接近于100%。 信道编码的作用：降低平均差错率。
４．什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？ 答：香农信道容量公式：)1(log )(02B
N P B P C S
S +=，B 为白噪声的频带限制，0N 为常数，输入X （t ）的平均功率受限于S P 。
由此，为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 ５．什么是限失真信源编码？
答：有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。
三、综合题（20+15+15）
１． 设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为
???
??
?=??????8/18/38/38/1),(),(),(),(22122111y x y x y x y x P XY XY 定义一个新的随机变量Y X Z ?=(普通乘积)
（1） 计算熵H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ），以及H （XYZ ）； （2） 计算条件熵 H （X|Y ），H （Y|X ），H （X|Z ），H （Z|X ），H （Y|Z ），H （Z|Y ），H （X|YZ ），
H （Y|XZ ）以及H （Z|XY ）；
（3） 计算平均互信息量I （X ；Y ），I （X ：Z ），I （Y ：Z ），I （X ；Y|Z ），I （Y ；Z|X ）以及I （X ：，
Z|Y ）。
解：（1）
1
2log 2/12log 2/1)(12log 2/12log 2/1)(2222=+==+=Y H X H
8
/1008/308/308/1111
110101100011010001000XYZ
8
/18/71
0Z
8log 8/1)7/8(log 8/7)(22+=Z H 8
/18/302/111
100100XZ
8log 8/1)3/8(log 8/32log 2/1)(222++=XZ H 8
/18/302/111
100100YZ
8log 8/1)3/8(log 8/32log 2/1)(222++=YZ H
（2）
))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=Y X H ))3/4(log 4/34log 4/1(2/1))3/4(log 4/34log 4/1(2/1)|(2222+++=X Y H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z X H )4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=X Z H
)1log 10log 0(8/1))3/7(log 7/3)4/7(log 7/4(8/7)|(2222+++=Z Y H
)4log 4/1)3/4(log 4/3(2/1)0log 01log 1(2/1)|(2222+++=Y Z H
)0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=YZ X H
)
0log 01log 1(8/1)0log 01log 1(8/3))3/4(log 4/34log 4/1(2/1)|(222222+++++=XZ Y H 0)|(=XY Z H
(3)
)|()();(Y X H X H Y X I -= )|()();(Z X H X H Z X I -= )|()();(Z Y H Y H Z Y I -=
)|()|()|;(YZ X H Z X H Z Y X I -= )|()|()|;(ZY X H Y X H Y Z X I -=
２． 设二元对称信道的输入概率分布分别为]4/14/3[][=X P ，转移矩阵为
[]??
?
??
?=3/23
/13/13
/2|X
Y P ， （１） 求信道的输入熵，输出熵，平均互信息量；
（２） 求信道容量和最佳输入分布； （３） 求信道剩余度。
解：（1）信道的输入熵4log 4/1)3/4(log 4/3)(22+=X H ；
??
????=6/112/14/12/1][XY P
]12/512/7[][=Y P
)5/12(log 12/5)7/12(log 12/7)(22+=Y H
)6/1,12/1(4/1)4/1,2/1(4/3)|(H H X Y H += )|()();(X Y H Y H Y X I -=
（2）最佳输入分布为]2/12/1[][=X P ，此时信道的容量为)3/1,3/2(1H C -= (3)信道的剩余度：);(Y X I C -
３． 设有ＤＭＣ，其转移矩阵为[]????
??????=2/16/13/13/12/16/16/13/12/1|X Y P ，若信道输入概率为[][]25.025.05
.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均
差错率。
解：????
?
?????=8/124/112/112/18/124/112/16/14/1][XY P
最佳译码规则：???
??===33121
1)()()(a
b F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；
极大似然规则：??
?
??===33221
1)()()(a
b F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
拟试题二
及 参考答案
多少信息量。
解：根据题意有????
??===3.07.05221k r k
r R ，??
?===3.064.01
28/11w w W 由15/4)2/1()2/1()2()1/1()1()1(=?+=r w p r w p r p r w p r p w p
所以15/11)2/1(1)2/2(=-=r w p r w p
得知5k Ω电阻的功耗为1/4W ，获得的自信息量为-/2((r w p lb
三、（18分）已知6符号离散信源的出现概率为????2
1
1
a 熵、Huffman 编码和费诺编码的码字、平均码长及编码
解：该离散信源的熵为8
1441221)()(6
1
lb lb p lb p x H i i i ++=
-=∑==1.933 bit/符号
Huffman 编码为： a 1 0.5 a 2 0.25 a 3 0.125 a 4 0.0625 a 5 0.03125 a 6 0.03125
0.0625
0.125
0.25
0.5
1
1
1
1 0
0 0
0 0
符号 概率 平均码长5*32
1
5*3214*1613*812*411*21=+++++=
l 编码效率为%100)(==
l
x H η
。
要用于解决信息传输中的 有效性 ，信道编码主要用
，加密编码主要用于解决信息传输中的 安全性 。
??
?
8/4x ，则信源的熵为 1.75bit/符号 。 n ，输出符号数为m ，信道转移概率矩阵为p ij ，则该信
K i ，码字个数为n ，则克劳夫特不等式为11
≤∑=-n
i K i m ， 要条件。
为 前向纠错 、 反馈重发 和 混合纠错 。
树的叶节点，则该码字为 唯一可译码 。
率矩阵为P ，稳态分布为W ，则W 和P 满足的方程为
，输出端的熵为H(Y)，该信道为无噪有损信道，则该信。
数为n ，则当信源符号呈 等概_____分布情况下，信
的增加，输入消息和输出消息之间的平均互信息量趋于
值分70%是2k Ω，30%是5k Ω；按功耗分64%是1/8W ，
0%是1/8W ，假如得知5k Ω电阻的功耗为1/4W ，问获得
符号码元/933.15*32
5*324=++
四、（14分）在图片传输中，每帧约有2 106个像素，分256个亮度电平，并假设亮度电平等概分布。试计算宽（信噪功率比为30dB ）。
解：
每个像素点对应的熵8256log log 22===n H bit/点 2帧图片的信息量bit H N I 7610*2.38*10*2*2**2=== 单位时间需要的信道容量s bit t I C t /10*3.560
10*2.357===
由香农信道容量公式SNR
C W SNR W C t
t 221(log )1(log +=
?+=
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
信息论与编码试卷与答案
一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论与编码试题集与答案(2014)
一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
信息论与编码试卷及答案(多篇)
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下：
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求：
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
信息论与编码期中试卷及答案
信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）
信息论与编码课后答案
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码理论习题答案
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码试题集与答案
一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。
信息论与编码(第二版)曹雪虹(最全版本)答案
《信息论与编码（第二版）》曹雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息理论与编码期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。 2、信号是 的载体，消息是 的载体。 3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。 4、某离散无记忆信源X ，其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是 ，二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件：一、 ； 二、 。 9、若某信道矩阵为????? ????? ??01000 1 000001 100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为 和 。 11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。（填 短码或长码） 12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。 16、对于密码系统安全性的评价，通常分为 和 两种标准。 17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。 20、时间戳根据产生方式的不同分为两类：即 和 。 二、选择题（每小题1分，共10分） 1、下列不属于消息的是（ ）。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源， 无记忆信源熵)(2X H 为（ ）。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 4、 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ ）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质： （ ） A ．非负性 B ．完备性 C ．对称性 D ．确定性 信息论与编码 信息论与编码
信息论与编码理论第二章习题答案
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源 1.1同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 62log 3615)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.11136 log log )(3611333==-=∴==
1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： bit w P w P w P w P m m P m I w P w I bit m P m P m P m P m bit m P m I bit m P m I n n y y n n y y n n y y n n y y 0454.0log99.5%99.5%-log0.5%-0.5% )(log )()(log )()(H % 5.99log )(log )(%5.0log )(log )(36 6.0log93%93%-log7%-7% )(log )()(log )()(H 105.0%93log )(log )(84.3%7log )(log )(: =??=?-?-=-=-=-=-==??=?-?-==-=-==-=-=平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于女： 平均每个回答信息量：：回答“不是”的信息量回答“是”的信息量：对于男士
信息论与编码试题
模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符 号，求和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求： （1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？ （2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量： ，， 10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求： （1）最佳概率分布？ （2）当，时，求平均互信息信道疑义度 （3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此 3.设线性分组码的生成矩阵为，求： （1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。 （2）求其对应的一致校验矩阵H。 （3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。 （4）若接收码字为000110，用伴随式法求译码结果。 4.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问： （1）试计算能否在10秒内将信源消息序列无失真传送完？ （2）若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？ 5.已知（7，4）循环码的生成多项式，求： （1）求该码的编码效率？ （2）求其对应的一致校验多项式
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=符号 2．设有一个无记忆信源发出符号A 和B ，已知4 3 41)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( = bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 1614141)(=?=AA p 1634341 )(=?=AB p 1634143)(=?=BA p 1694343)(=?=BB p 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3
信息论与编码试题集与答案(新)
" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方