信息论习题集
信息论习题集
第一章、判断题
1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）
2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）
3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）
4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）
5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能
被未授权者接收和理解。（√）
6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪
造的和被窜改的。（√）
7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信
息量越大。（×）
第二章
一、判断题
1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）
2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）
3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）
4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）
5、信源熵具有极值性，是信源概率分布P 的下凸函数，当信源概率分布为等概率分布时取
得最大值。（×）
6、离散无记忆信源的N 次扩展信源，其熵值为扩展前信源熵值的N 倍。（√）
7、互信息的统计平均为平均互信息量，都具有非负性。（×）
8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）
9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）
10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）
11、在信息处理过程中，熵是不会增加的。（√）
12、熵函数是严格上凸的。（√）
13、信道疑义度永远是非负的。（√）
14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6 ，求：
(1) “ 3 和 5 同时出现”事件的自信息量；
(2) “两个 1 同时出现”事件的自信息量；
(3)两个点数的各种组合（无序对）的熵或平均信息量；
(4)两个点数之和 (即 2， 3，， 12 构成的子集）的熵；
(5)两个点数中至少有一个是 1 的自信息。
2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为 1.6m 以
上，而女孩中身高 1.6m 以上的占总数一半。假如得知“身高 1.6m 以上的某女孩是大学
生”的消息，问获得多少信息量？、
2-3 两个实验和，联合概率为
（ 1）如果有人告诉你和的实验结果，你得到的平均信息量是多少？
（ 2）如果有人告诉你的实验结果，你得到的平均信息量是多少？
（3）在已知的实验结果的情况下，告诉你的实验结果，你得到的平均信息量是多少？
2-4 某一无记忆信源的符号集为，已知，（ 1）求信源符号的平均信息量；
（ 2）由 100 个符号构成的序列，求某一特定序列（例如有
。
个 0 和个 1）的
信息量的表达
（ 3）计算（ 2）中的序列熵。
2-5 有一个马尔可夫信源，已知转移概率为
。
试画出状态转移图，并求出信源熵。
2-6 有一个一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下：
j
i123
11/21/41/4
22/301/3
32/31/30
（ 1）求的联合熵和平均符号熵；
（ 2）求这个链的极限平均符号熵；
（ 3）求和它们对应的冗余度。
2-7 一阶马尔可夫信源的状态如图所示，信源X 的符号集为{0,1,2}。
（1）求平稳后的信源的概率分布；
（2）求信源熵；
（ 3）求当和时信源的熵，并说明其理由。
2-8 设有一信源，它在开始时以的概率发出，如果为时，则为的概率为；如果为时，则为的概率为；
如果为时，则为概率为只与有关。有
画出状态转移图，并且计算信源熵
，为
。
的概率为0。而且后面发出的概率
。试利用马尔可夫信源的图示法
第三章
一、判断题
1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√）
2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）
3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）
4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）
5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能
被未授权者接收和理解。（√）
6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪
造的和被窜改的。（√）
7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的
信息量越大。（×）
8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）
9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）
10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）
11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）
12、信源熵具有极值性，是信源概率分布P 的下凸函数，当信源概率分布为等概率分布时
取得最大值。（×）
13、离散无记忆信源的N 次扩展信源，其熵值为扩展前信源熵值的N 倍。（√）
14、互信息的统计平均为平均互信息量，都具有非负性。（×）
15、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）
16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）
17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）
18、在信息处理过程中，熵是不会增加的。（√）
19、熵函数是严格上凸的。（√）
20、信道疑义度永远是非负的。（√）
21、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）
22、对于离散无记忆信道，达到信道容量时其输入概率分布是唯一的、特定的。（√）
23、噪声功率相同的加性噪声信道中以高斯噪声信道的信道容量最大。（×）
24、典型序列中，信源符号出现的频率与它的概率接近。（√）
25、为有效抵抗加性高斯噪声干扰，信道输入分布应该是高斯分布。（√）
26、最大似然译码准则是使平均译码错误率最小的准则。（×）
27、加性高斯噪声信道的信道容量不大于相同平均功率的其他加性噪声信道的信道容量。（√）
28、非奇异的定长码是惟一可译码。（√）
29、 AWGN的信道容量的大小与系统的带宽成正比。（×）
30、信源编码可以提高信息传输的有效性。（√）
31、连续信源和离散信源的平均互信息都具有非互性。（√）
32、当信道输入独立等概率时，信道疑义度达到最大值。（×）
33、必然事件和不可能事件的自信息量都是0。（×）
34、事件所包含的信息量是与事件发生的概率成反比的。（×）
二、选择题
1 离散信源熵表示信源输出一个消息所给出的（ B ）。
A 、实际信息量； B、统计平均信息量； C、最大信息量； D、最小信息量；
2 平均互信息 I(X,Y) 等于（ C ）。
A、H(Y) ― H(X/Y) ；
B、 H(X) ― H(Y/X)
C 、H(Y) ― H(Y/X) ； D、H(XY)― H(X) ；
3 设连续信源输出的信号谱宽度为W，平均功率为 N（受限），则连续无噪信道的
信道容量为（ A ）。
A、Wlog(2 π eN)；
B、2Wlog(2 π eN)；
C、Wlog(2 π N)；
D、2Wlog(2 π N)；
4对于无记忆离散信源 X ，其熵值为 H(X) ，由其生成的扩展信源 X N的熵为 H(X N)，H(X) 与 H(X N )之间的关系是（ B ）。
A 、H(X N)=H(X) ；B、 H(X N )=NH(X) ；
N N N
C、H(X )= H (X) ；
D、H(X )= H(X)/N ；
5、关于信源编码和信道编码，下面的说法错误的是（ B ）
A、信源编码是为了减少冗余度，信道编码则是有意增加冗余度；
B 、信源编码提高了可靠性，降低了有效性；
D、信道编码提高了可靠性，降低了有效性。
6、以下关于离散平稳信源的说法不正确的是（ C ）
A、平稳信源发出的符号序列的概率分布与时间起点无关；
D、平稳信源的概率分布特性具有时间推移不变性。
7、将某六进制信源进行二进制编码如下表示，则这些码中是唯一可译码的是（ D ）
符号概率c1c2c3c4c5c6 u1/2000000101
1
u1/4001011010000001 2
u31/160100111101101010100 u41/16011011111101100110101 u1/1610001111111101001110110
5
u1/161010111111111101111001111
6
A 、c c c
6B、 c
2
c
3
c C、 c
1
c
2
c D 、 c
1
c
2
c
3
c
13636
8、关于线性分组码，下列说法正确的是（ B ）
A 、卷积码是线性分组码的一种；
B 、最小码距是除全零码外的码的最小重量；
C、具有封闭性，码字的组合未必是码字；
D、不具有封闭性，码字的组合未必是码
字。
9、香农公式是用在哪种信道中（ D ）
A 、二进制离散信道；
B 、离散无记忆信道；
C、离散输入，连续输出信道；
D、波形信道。
10、通信系统的性能指标为（A）
A 、有效性可靠性安全性经济性
B 、有效性可行性安全性保密性
C、保密性可靠性安全性经济性 D 、高效性可行性安全性经济性
11、信源存在冗余度的主要原因是（ C ）
A 、信源符符号间的相关性
B 、信源符号分布的不均匀性
C、信源符号间的相关性及分布的不均匀性 D 、以上都不对
12、对于（ n， k）线性分组码，设d为最小汉明距离，则以下正确的是（ D ）
min
A 、这组码能纠正u 个错误的充分必要条件是等d min=2u+1；
B 、具有检测 L 个错误的能力的充要条件是d min =L+1;
C、具有纠正 t 个错误，同时可以发现L(L>t)个错误的能力的充分条件是d min=t+L+1;
D、以上三个结论都不正确。
三、填空题
1、单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。
2、离散平稳无记忆信源X 的 N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
3、对于一阶马尔可夫信源，其状态空间共有个不同的状态。
4、根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半
连续信道。
5、对于离散无记忆信道和信源的N 次扩展，其信道容量=NC
6、信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的
条件是信息传输速率小于信道容量。
7、信源编码的目的是提高通信的有效性。
8、对于香农编码、费诺编码和霍夫曼编码，编码方法唯一的是香农编码。
9、在多符号的消息序列中，大量重复出现的，只起暂时作用的符号称为冗余位。
10、若纠错码的最小距离为 d , 则可以纠错任意小于等于个差错。
11、线性分组码是同时具有分组特性和线性特性的纠错码。
12、平均功率为 P 的高斯分布的连续信源，其信源熵为
13、当连续信源和连续信道都是无记忆时，则
14、信源编码与信道编码之间的最大区别是，信源编码需减少余度，而信道编码需增加信源的剩余度。
15、离散信源的熵值H(X) 越小，说明该信源消息之间的平均不确定性弱。信源的剩
减
16、信源符号间的相关程度越大，则信源的符号熵越小，信源剩余度越大。
17、唯一可译码的码长必须满足Kraft 不等式。
18、 R（ D）是满足 D 准则下平均传送每个信源符号所需要的最少比特数，它是定义域上严
格的递减函数。
19、 AWGN信道下实现可靠通信的信噪比下界-1.59dB，此时对应的频带利用率为0。
20、对于含有n 个信源符号的离散信源，其最大熵值为。对于连续信源，当幅度受限时，均匀分布具有最大熵，当平均功率受限时，高斯分布具有最大熵。
21、同时掷出两个正常的骰子，骰子分六面，每一面出现的概率是
现”这一事件的自信息量为 5.17 比特。
1/6，则“两个 1 同时出
22、已知信源的各个符号分别为字母 A 、B 、C、D ，现用四进制码元表示，每个码元的宽度
为 10ms，如果每个符号出现的概率分别为1/5， 1/4，1/4 ，3/10，则信源熵 H(X) 为 1.985 比
特/ 符号，在无扰离散信道上的平均信息传输速率为198.5 比特 / 秒。
23、已知 8 个码组，（ 000000）、（ 001110）、（ 010101）、（ 011011）、（ 100011）、（ 101101）、（110110 ）、（ 111000）。则该码组的最小码距为 3，若只用于检错可检测 2 位错码，若只用于纠错可纠正 1 位错码。
24、能获得最佳码的编码方式主要有香农编码、费诺编码、和霍夫曼编码。
25、八进制脉冲是二进制脉冲所含信息量的 3 倍。
26、 1948 年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信
息论。
27、对于 n 元 m 阶马尔可夫信源，其状态空间共有n m个不同的状态。
28、信道编码的最终目的是为了提高信号传输的可靠性。
四、简答题）
1、什么叫信息？
答：信息是事物运动状态或存在方式的不确定性的描述。
2、信源冗余度：信源冗余度也就是信源剩余度，它是指信源所含信息量与符号所能携带的最大信息量之间差别的度量。
3、线性分组码：分组码的信息码元与监督码元之间的关系为线性关系时，这种
分组码就称为线性分组码。而分组码是一组固定长度的码组，可表示为（n , k），通常它用于前向纠错。在分组码中，监督位被加到信息位之后，形成新的码。在
编码时， k 个信息位被编为 n 位码组长度，而 n-k 个监督位的作用就是实现检错与纠错。
4、熵功率：若平均功率为 P 的非高斯分布的信源具有熵为 h，称熵也为 h 的高斯信源的平均功率为熵功率。
5、什么是信源编码，试述香农第一编码定理的物理意义？
答：所谓信源编码就是对信源的原始符号按一定的规则进行变换，以新的编码符号代替原始信源符号，从而降低原始信源的冗余度。
香农第一编码定理的物理意义：无失真信源编码的实质就是对离散信源进行
适当的变换，使变换后新的码符号信源（信道的输入信源）即可能等概分布，以
使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率 R 达到信道容量 C，实现信源与信道理想的统计匹配。
6、若有一信源
每秒钟发出 2.66 个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损失），而信道每秒钟只传递 2 个二元符号。试问信源不经过编码能否直接与信道连接？通过适当编码能否与信道连接？采用何种编码，为什么？
答：因信源符号速率大于信道传输速率（ 2.66>2 ），所以不能直接连接
因为
所以，可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。
7、香农第二定理（信道编码定理）指出了“高效率、高可靠性”的信道编码存在性。则：
（1）高效率、高可靠性的含义是什么？
（2）存在这种信道编码的条件是什么？
（3）重复码是否是否满足“高效率、高可靠性”的条件，为什么？
（4）当前是否存在接近香农信道容量界的信道编码？
答：（ 1）高效率是指信息传输速率接近信道容量，高可靠性是指译码错误概率任意小。
（2）存在这种信道编码的必要条件是信息传输速率小于信道容量。
（3）重复码不满足“高效率、高可靠性”的条件，因为当。
（4）当前存在接近香农信道容量界的信道编码。
五、计算题
1、（ 10 分）由符号集合{0 ， 1} 组成的二阶马氏链，转
移概率为： p(0/00)=0.8 ， p(0/11)=0.7 ， p(1/00)=0.2 ，
p(1/11)=0.3 ， p(0/01)=0.5 ， p(0/10)=0.4 ， p(1/01)=0.5 ，
p(1/10)=0.6 。画出状态图，并计算各状态的稳态概率。
解：由已知条件可知题目的状态转移高率矩阵如下：
（ 3分）状态转移图为（ 3 分）
由状态转移概率矩阵知道，设各状态为S1234
、 S、 S、 S
，可知各状态之间满足关系：
(4 分)
六、编码题
1、已知一信源包含8 个符号，其概率分布分别为：P={0.1 ， 0.18， 0.4， 0.05， 0.06，0.1，0.07， 0.04} 。
（1）该信源每秒发送一个信源符号，求该信源的熵及其信息传输速率；
（2）对八个符号进行霍夫曼编码，写出相应的码字，并求出编码效率。
解：（ 1）信息传输速率（ 4分）
（2）（ 4 分）
S10.40.40.40.40.40.40.6
S20.180.180.180.190.230.370.4
S0.10.10.130.180.190.23
3
S0.10.10.10.130.18
4
S0.070.090.10.1
5
S60.060.070.09
S70.050.06
S80.04
编码码字分别为：1， 001， 011， 0000， 0100， 0101， 00010， 00011
平均码字为： L=2.61 编码效率为：（2 分）
3.1 设二元对称信道的传递矩阵为
(1) 若 P(0) = 3/4, P(1) = 1/4 ，求 H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容量及其达到信道容量时的输入概率分布；
3-2 某信源发送端有 2 个符号，，i＝1，2；，每秒发出一个符号。接受端有3
种符号， j ＝ 1， 2， 3，转移概率矩阵为。
（1）计算接受端的平均不确定度；
（2）计算由于噪声产生的不确定度；
（3）计算信道容量。
解：
3-3 设二进制对称信道的概率转移矩阵为,
(1)若, 求 H(X), H(X|Y), H(Y|X)和 I(X;Y).
(2)求该信道的信道容量及其达到信道容量时的输入概率分布.
3-4设某对称离散信道的信道矩阵为
求其信道容量。
3-5 设有扰信道的传输情况分别如图 3.17 所示。试求这种信道的信道容量。
3-6 求下列两个信道的信道容量，并加以比较。
（ 1）（ 2）
其中。
一、名词解释（25 道）
1、“本体论”的信息
2、“认识论”信息
3、离散信源
4、自信息量
5、离散平稳无记忆信源
6、马尔可夫信源
7、信源冗余度8、连续信源9、信道容量
10、强对称信道11、对称信道12、多符号离散信道
13、连续信道14、平均失真度15 、实验信道
16、率失真函数17、信息价值率18、游程序列
19、游程变换20、 L-D 编码21、冗余变换
22、 BSC 信道23 、码的最小距离24、线性分组码
25、循环码
二、填空（ 100 道）
1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
2、 1948 年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信
息论。
3、按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
4、按照信息的地位，可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
6、信息的可度量性是建立信息论的基础。
7、统计度量是信息度量最常用的方法。
8、熵是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是0 。
14、不可能事件的自信息量是∞ 。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X 的 N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
18、离散平稳有记忆信源的极限熵，。
19、对于 n 元 m 阶马尔可夫信源，其状态空间共有n m个不同的状态。
20、一维连续随即变量X 在 [a， b]区间内均匀分布时，其信源熵为log 2（ b-a）。
21、平均功率为P 的高斯分布的连续信源，其信源熵，H c（ X ） =。
22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。
24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率之比。
25、若一离散无记忆信源的信源熵 H（ X ）等于 2.5，对信源进行等长的无失真二进制编码，则
编码长度至少为 3 。
26、 m 元长度为 k i， i=1 ， 2，··· n 的异前置码存在的充要条件是：。
27、若把掷骰子的结果作为一离散信源，则其信源熵为log 6 。
2
28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“ 3 和 5 同时出现”这件事的自
信息量是 log 218（ 1+2 log 23）。
29、若一维随即变量 X 的取值区间是 [0，∞ ]，其概率密度函数为，其中：，
m 是 X 的数学期望，则X 的信源熵。
30、一副充分洗乱的扑克牌（52 张），从中任意抽取 1张，然后放回，若把这一过程看作
离散无记忆信源，则其信源熵为。
31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。
32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。
33、具有一一对应关系的无噪信道的信道容量C= log 2n。
34、强对称信道的信道容量C= log 2n-H ni。
35、对称信道的信道容量C= log 2m-H mi。
36、对于离散无记忆信道和信源的N 次扩展，其信道容量C N= NC 。
37、对于 N 个对立并联信道，其信道容量C N =。
38* 、多用户信道的信道容量用多维空间的一个区域的界限来表示。
39* 、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。40* 、广播信道是只有一个输入端和多个输出端的信道。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。
42、高斯加性信道的信道容量C=。
43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息
率小于信道容量。
44、信道矩阵代表的信道的信道容量C= 1 。
45、信道矩阵代表的信道的信道容量C= 1 。
46、高斯加性噪声信道中，信道带宽 3kHz ，信噪比为 7，则该信道的最大信息传输速率 C t= 9 kHz 。
47、对于具有归并性能的无燥信道，达到信道容量的条件是p（ y j） =1/m ）。
48、信道矩阵代表的信道，若每分钟可以传递6*10 5个符号，则该信道的最大信息
传输速率 C t= 10kHz 。
49、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。
50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。
51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性
就越大，获得的信息量就越小。
52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率也越小。
53、单符号的失真度或失真函数d（ x ， y）表示信源发出一个符号x，信宿再现y所引起
ij i j
的误差或失真。
54、汉明失真函数 d（ x i， y j） =。
55、平方误差失真函数d（ x i， y j） =（ y j- x i）2。
56、平均失真度定义为失真函数的数学期望，即 d（ x i，y j）在 X 和 Y 的联合概率空间P（XY ）中的统计平均值。
57、如果信源和失真度一定，则平均失真度是信道统计特性的函数。
58、如果规定平均失真度不能超过某一限定的值D，即：。我们把称为保真度准则。
59、离散无记忆 N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通
过单符号信道的平均失真度的N 倍。
60、试验信道的集合用P D来表示，则 P D =。
61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的最小值。
62、平均失真度的下限取0 的条件是失真矩阵的每一行至少有一个零元素。
63、平均失真度的上限 D max取 {D j： j=1 ， 2，···， m} 中的最小值。
64、率失真函数对允许的平均失真度是单调递减和连续的。
65、对于离散无记忆信源的率失真函数的最大值是2
log n 。
66、当失真度大于平均失真度的上限时 D max时，率失真函数R（D）= 0 。
67、连续信源X 的率失真函数R（ D） =。
68、当时，高斯信源在均方差失真度下的信息率失真函数为。
69、保真度准则下的信源编码定理的条件是信源的信息率R 大于率失真函数R（D ）。
70、某二元信源其失真矩阵D=，则该信源的 D max= a/2 。
71、某二元信源其失真矩阵D=，则该信源的D min= 0 。
72、某二元信源其失真矩阵D=，则该信源的R（D ）= 1-H （D/a ）。
73、按照不同的编码目的，编码可以分为三类：分别是信源编码、信道编码和安全编码。
74、信源编码的目的是：提高通信的有效性。
75、一般情况下，信源编码可以分为离散信源编码、连续信源编码和相关信源编码。
76、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
77、在香农编码中，第i个码字的长度k i和p （x i）之间
有关系。
78、对信源进行二进制费
诺编码，其编码效率为 1 。
79、对具有 8 个消息的单符号离散无记忆信源进行 4 进制哈夫曼编码时，为使平均码长最短，
应增加 2 个概率为0 的消息。
80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。
81、对于二元序列0011100000011111001111000001111111 ，其相应的游程序列是23652457 。
82、设无记忆二元序列中，“0”和“ 1”的概率分别是p 和 p ，则“ 0”游程长度L（0）
01
的概率为。
83、游程序列的熵等于原二元序列的熵。
84、若“ 0”游程的哈夫吗编码效率为η0，“1”游程的哈夫吗编码效率为η1，且η 0>η1
对应的二元序列的编码效率为η，则三者的关系是η0 >η>η 1 。
85、在实际的游程编码过程中，对长码一般采取截断处理的方法。
86、“ 0”游程和“ 1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但C
码必须不同。
87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为冗余位。
88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个缩短了的多元序列。
89、 L-D 编码是一种分帧传送冗余位序列的方法。
90、 L-D 编码适合于冗余位较多或较少的情况。
91、信道编码的最终目的是提高信号传输的可靠性。
92、狭义的信道编码即：检、纠错编码。
93、 BSC 信道即：无记忆二进制对称信道。
94、 n 位重复码的编码效率是1/n 。
95、等重码可以检验全部的奇数位错和部分的偶数位错。
96、任意两个码字之间的最小汉明距离有称为码的最小距d
min ，则 d =。
min
97、若纠错码的最小距离为d min，则可以纠正任意小于等于
98、若检错码的最小距离为d min，则可以检测出任意小于等于
99、线性分组码是同时具有分组特性和线性特性的纠错码。t=
l= d min-1
个差错。
个差错。
100、循环码即是采用循环移位特性界定的一类线性分组码
信息论习题
一、单项选择题 1．信息就是 ( C ) A.消息 B.数字、数据、图形 C.通信过程中，接受者所不知的知识（即不确定性） D.能量 2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥ D.当i x 和j y 统计独立时();0i j I x y = 3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+ D.()()()H XY H Y H X Y =- 4. 一个正常的骰子，也就是各面呈现的概率都是1 6 ，则“5出现”这件事件的自信息量 为 （C ） A.1 6 比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1 2 1 2 n n x x x X p p p P ?? ??= ? ?????，其中：0i p ≥，i ?，1 1n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1 i p n = ，i ?成立时等号成立 D.熵的取值小于等于信源的平均自信息量 7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ） A. [0，1] B. [0，2] C. [1，2] D . [1，3]
信息论习题
[例2.1.4 条件熵] 已知X ，Y }1,0{∈,XY 构成的联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。 解： 根据条件熵公式： ∑∑==-=m j n i j i j i y x p y x p Y X H 11 2)/(log )()/( )() ()/(j j i j i y p y x p y x p = 首先求∑==2 1 )()(i j i j y x p y p ，有 ) /(406 .0243log 8341log 8 1 ) 1/1(log )11() 0/1(log )10()1/0(log )01()0/0(log )00()/(, 4 3 )1/0()0/1() 1/1(41 2/18/1)0()00()0()00()0/0()0/0(2 1 )1()1(8 1 83)10()00()0()0(22222211111212111symbol bit p p p p p p p p Y X H p p p y p y x p p p y x p p y p p c y x p y x p y p p =???? ??--=-----============== ===+==+====从而有： 同理可求得[例2.1.5]将已知信源? ?? ? ?? =?? ??? ?5.05 .0)(21 x x X P X 接到下图所示的
信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 1x 0.981y 0.02 0.2 2x 0.82y 解：（1）由),/()()(i j i j i x y p x p y x P =求出各联合概率： 49.098.05.0)/()()(11111=?==x y p x p y x p 01.002.05.0)/()()(12121=?==x y p x p y x p 10.020.05.0)/()()(21212=?==x y p x p y x p 40.080.05.0)/()()(22222=?==x y p x p y x p （2）由,)()(1 ∑==n i j i j y x P y P 得到Y 集各消息概率： =)(1y p 59.010.049.0)()()(12112 1 1=+=+=∑=y x p y x p y x P i i 41.059.01)(1)(12=-=-=y p y p （3）由) ()()/(j j i j i y p y x p y x p = ，得到X 的各后验概率： 831.059 .049 .0)()()/(11111===y p y x p y x p 169.0)/(1)/(1112=-=y x p y x p 同样可推出976.0)/(,024.0)/(2221==y x p y x p
信息论习题集
信息论习题集 一、填空题 1、人们研究信息论的目的是为了高效、可靠安全地交换和利用各种 各样的信息。 2、单符号离散信源输出的消息一般用随机变量描述，而符号序列离散信源输出 的消息一般用随机矢量描述。 3、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。 5、必然事件的自信息是 0 ，不可能事件的自信息量是∞。 6、信道的输出仅与信道当前的输入有关，而与过去输入无关的信道称为 无记忆信道。 d，则可以纠正任意小于等于t= -1 7、若纠错码的最小距离为{ EMBED Equation.3 |min 个差错。 8、必然事件的自信息量是 0 ，不可能事件的自信息量是∞。 9、一信源有五种符号{a，b，c，d，e}，先验概率分别为=0.5，=0.25，=0.125，==0.0625。 符号“a”的自信息量为__1__bit，此信源的熵为____1.875____bit/符号。 10、已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出 2 个码元 错误，最多能纠正 1 个码元错误。 11、克劳夫特不等式是唯一可译码存在的充要条件。{00，01，10，11} 是否是唯一可译码？是。 12、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 13、对于离散无记忆信源，当信源熵有最大值时，满足条件为信源符号等 概分布。 二、选择题 1、下面哪一项不属于最简单的通信系统模型：（B） A．信源B．加密C．信道D．信宿 2、信道编码的目的是（ B ）。 A 提高通信系统的可靠性 B 提高通信系统的有效性 C 提高通信系统的保密性 D 提高通信系统的实时性 3、给定x i条件下随机事件y j所包含的不确定度和条件自信息量I(y j /x i)，（ C ） A数量上不等，含义不同 B 数量上不等，含义相同 C 数量上相等，含义不同 D 数量上相等，含义相同 4、下面哪一项不是增加信道容量的途径：（D） A 减小信道噪声功率 B 增大信号功率 C 增加码长 D 增加带宽 5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。 A B C D 6、克劳夫特不等式是___A______的充要条件。 A判断唯一可译码 B 判断即时码
信息论复习题
信息论复习题 第一、二章 一、填空 1、 1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、 信息、 与信号，是通信理论中常用的三个既有联系又有区别的概念。信息是系统中 的对象，它包含在 中。消息是比较具体的概念，但不是物理的。信号是表示 的物理量。在通信系统中，传送的本质内容是信息，发送时需要将信息表示成具体的消息，再将消息载至 上，才能在实际的通信系统中传输。 3、 不考虑加密处理，常用通信系统的物理模型包括信源、信源编码器、信道编码器、信道、和 、 、信宿七部分。其中，信源负责向通信系统提供消息； ，是消息传递的对象，即接收消息的人或机器；信道是传递消息的 ，是负责传送物理信号的设施。 4、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 。 5、自信息量的单位一般有 。 6、必然事件的自信息是 。 7、不可能事件的自信息量是 。 8、两个相互独立的随机变量的联合自信息量等于 。 9、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 。 10、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 。 11、若信源当前时刻发出的符号只与前m 个符号有关联，而与更前面的符号无关，则称这种信源为 信源；若该信源的条件转移概率与时间起点无关，则进一步可称其为 信源。经过足够长时间，该信源处于什么状态已与初始状态无关，此时每种状态出现的概率达到了一种 。 12、一维连续随机变量X 在[a ，b]区间内均匀分布时，其信源熵为 。 13、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 。 14、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 。 15、对于离散信源，当 时其信源熵具有最大值。 16、对于限平均功率的一维连续信源，当概率密度 时，信源熵有最大值。 二、判断 1、 必然事件和不可能事件的自信息量都是0 。 2、 自信息量是)(i x p 的单调递减函数。 3、 单符号离散信源的自信息和信源熵都具有非负性。 4、 冗余度表示给定信源在实际发出消息时所包含的多余信息。 5、 对于某特定信道，互信息是关于输入符号分布概率的∪型凸函数。 6、 自信息量、条件自信息量和联合自信息量之间有如下关系： )/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 7、 信息熵、条件熵和互信息之间有如下关系： (;)()(|)()(|I X Y H X H X Y H Y H Y X =-=- 8、 当随机变量X 和Y 相互独立时，条件熵等于信源熵。 9、连续信源和离散信源的熵都具有非负性。 10、连续信源和离散信源的平均互信息都具有非负性。 三、计算
信息论-复习题
[3.2]设8个等概率分布的消息通过传递概率为p的BSC进行传送,8个消息相应编成下述码字： M1=0000,M2=0101,M3=0110,M4=0011 M5=1001,M6=1010,M7=1100,M8=1111 试问： 〔1〕接收到第一个数字0与M1之间的互信息； 〔2〕接收到第二个数字也是0时,得到多少关于M1的附加互信息；〔3〕接收到第三个数字仍为0时,又增加了多少关于M1的互信息；〔4〕接收到第四个数字还是0时,再增加了多少关于M1的互信息. 解： 各个符号的先验概率均为1/8 <1>根据已知条件,有 因此接收到第一个数
字0与M1之间的互信息为： 〔2〕根据已知条件,有 因此接收到第二个数字 也是0时,得到多少关于 M1的互信息为： 得到的附加信息为： 〔3〕根据已知条件,有 因此接收到第三个数字也是0时,得到多少关于M1的互信息为：此时得到的附加信息为： 〔4〕根据已知条件,有 因此接收到第四个符号为0 时,得到的关于M1的互信息 为
此时得到的附加信息为 [3.3]设二元对称信道的传递矩阵为 〔1〕若P<0>=3/4,P<1>=1/4,求H
信息论课后习题答案
第1章 信息论基础 1.8 p (s 0 ) = 0.8p (s 0 ) + 0.5p (s 2 ) p (s 1 ) = 0.2p (s 0 ) + 0.5p (s 2 ) p (s 2 ) = 0.5p (s 1 ) + 0.3p (s 3 ) p (s 3 ) = 0.5p (s 1 ) + 0.7p (s 3 ) p (s 0 ) + p (s 1 ) + p (s 2 ) + p (s 3 ) = 1 p (s 0 ) = 3715， p (s 1 ) = p (s 2 ) = 376，p (s 3 ) = 37 10 第2章 信息的度量 2.4 logk 2.12 （1）I (x i ) = -log1/100 = log100备注：2.12有错误 （2）H(X)=log100. 2.17 （1）())1(2log 100;14p u I -== （2）())1(2log 2100;104p u I -== （3）())1(2log 3100;1004p u I -== 2.30 （1）H (X ) = 1.69 (Bit/符号) （2）H (Y ) = 1.57 (Bit/符号) (3)() 符号/76.0)(Bit X Y H = (4) (Bit / 2.45)(符号=XY H （5）I (X;Y) = 0.81 (Bit/符号) 第3章 离散信源无失真编码 3.6 （1） 2位 （2）取码长n 1=1、n 1=2、n 1=3、n 1=3就能得到紧致码。 3.14 （1）x 1 →0，x 2→11，x 3→10 5.1=n 99.0=η （2）x 1x 1→01，x 1x 2→110，x 2x 1→101，x 1x 3→011，x 3x 1→010，x 2x 2→1111，x 2x 3→1110，x 3x 2→1001 3=n 99.0=η 3.17 方法一：概率之和与原信源某概率相等，概率之和往上排：
信息论总复习
第一章作业题 1. 设二元对称信道的传递矩阵为 ??????????32313132 (1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1) symbol bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol bit x y p x y p x p X Y H symbol bit x p X H j j i j i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/() /()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167 .03 2 413143)/()()/()()()()(5833 .031 413243)/()()/()()()()(/ 918.0 10 log )3 2 lg 324131lg 314131lg 314332lg 3243( ) /(log )/()()/(/ 811.0)41 log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?=+=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2) 2 1)(/ 082.010log )3 2 lg 3231lg 31(2log log );(max 222= =?++=-==i mi x p symbol bit H m Y X I C 2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。现已知2 K Ω阻值的电阻中80%是0.125W ，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？ 解： 对本题建立数学模型如下： ) ;(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数 3.07.052)(阻值12112121Y X I x y p x y p y y Y P Y x x X P X ==??? ? ??===????????????KΩ=KΩ==?????? 以下是求解过程：
信息论 复11习
复习 第1章的练习题 1. 请问提高通信系统传输的有效性属于信息论与编码技术的哪部分内容？信源编码 2. 请问提高通信系统传输的可靠性属于信息论与编码技术的哪部分内容？信道编码 3. 请问消息、信号、符号和信息的区别是什么？ 信息是任何随机事件发生所包含的内容。消息包含信息，是信息的载体。符号和信号是携带信息是消息的运载工具。 4. 什么叫样本空间？概率空间？ 所有可能选择的消息的集合称为样本空间。一个样本空间和它的概率测度一起构成一个概率空间。 5. 事件的概率取对数再取负值，这时它代表什么？自信息 6. 对于概率为1的确定事件来说，它含不含信息？对于概率为0的确定事件来说，它含不含信息？不含信息。含有信息。 7. 通信系统的模型由哪三部分组成？编码器和解码器属于哪部分的？ 信源、信道、信宿。编码器分为信道编码器和信源编码器，译码器分为信道译码器和信源译码器。 8. 信息论研究的主要内容是什么？ 信息的测度、信道容量以及信源和信道编码理论等问题。
9. 编码技术研究的主要内容是什么？信源编码和信道编码。 第2章的练习题 1. 在通信系统中，消息发出的源头叫什么？信源 2. 若信源的样本空间为X=[a,b,c]，其对应的概率为 p(x)=[0.1,0.3,0.6]，请写出该信源的数学模型。 3. 研究信息的基础理论是：函数、统计学、算术、曲线？ 4. 这个概率空间p(x)=[0.1,0.4,0.3,0.1]和q(x)=[0.1,0.4,0.3,0.21]正确吗？为什么？不正确。概率和不为1 5. 自信息的数学期望代表什么？信息熵 6. 在信源输出前，信息熵H(X)表示什么？信源的平均不确定性 7. 在信源输出后，信息熵H(X)表示什么？ 每个消息提供的平均信息量 8. 考虑一个信源概率为{0.3,0.25,0.2,0.15,0.1}的DMS，求信源的的H(X)。（DMS：离散无记忆信源） H(x)=0.3log(0.3)+0.25log(0.25)+0.2log(0.2)+0.15log(0.15)+0.1log( 0.1)=… 9. 离散无记忆信源所发出的各个符号之间是a。 （a）独立的，（b）有关的，（c）有统计关联性，（d）符号序列之间没有关系。 10. 平稳信源的特点是，它输出的序列的统计特性其条件概率与时间起点无关，只与关联长度N有关。
信息论习题(含答案).doc
信息理论基础习题集【考前必看】 一、 判断： 1、 必然事件和不可能事件的自信息量都是0 。 2、 自信息量是)(i x p 的单调递减函数。 3、 单符号离散信源的自信息和信源熵都具有非负性。 4、 单符号离散信源的自信息和信源熵都是一个确定值。 5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的 6、自信息量、条件自信息量和联合自信息量之间有如下关系： )/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+= 7、自信息量、条件自信息量和互信息量之间有如下关系： /()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-=8、当随机变量X 和Y 9、当随机变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 10 11、平均互信息量布p （y j /x i 12、m 其所含符号的依赖关系相同。 i log 2n ，其中n 是信源X 的消息个数。 p （x i ）），使信道所能传送的信息率的最大值。 19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。 20、率失真函数对允许的平均失真度具有上凸性。 21、信源编码是提高通信有效性为目的的编码。 22、信源编码通常是通过压缩信源的冗余度来实现的。 23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 25、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。
信息论复习题及答案
1.（15分） 彩色电视显象管的屏幕上有5×105 个象元，设每个象元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现并且各个组合之间相互独立。 ① 计算每秒传送25帧图象所需要的信道容量； ② 如果在加性高斯白噪声信道上信号与噪声平均功率的比值为63，为实时传送 彩色电视的图象，信道的带宽应为多大？ 2．（15分）已知一个信源包含八个符号消息,它们的概率分布如下表, ① 该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。 ② 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。 ③ 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。 3．（15分）一信源产生概率为995.0)0(,005.0)1(==P P 的统计独立二进制数符。这些数符组成长度为100的数符组。我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。 ① 求出为所规定的所有源符组都提供码字所需的最小码长。 ② 求信源发出一数符组，而编码器无相应码字的概率。 4．（15分） 求下图中DMC 的信道容量。如果输入分布为{p(x=0)=1/2，p(x=1)=1/4，p(x=2)=1/4），试求输入的信息熵和经过该信道的输入、输出间的平均互信息量。 5．（15分）设二元（7, 4）线性分组码的生成矩阵为 ????? ???????=1000101010011100101100001011G
给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码 6．（15分）证明最小错误概率译码与最大似然译码在先验等概的条件下等价。设M ＝2且两个消息等概，令)0000(1=x ，)1111(2=x 。通过信道转移概率p<1/2的信道传输。若将译码区间分为}1000,0100,0010,0001,0000{1=Y }0111,011,1101,110,1111{2=Y }0101,1010,1001,0110,1100,0011{3=Y 试给出译码错误概率和有错而不能判决的概率。 7．（10分）对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立 H(X|Y) + H(Y|Z) ≥ H(X|Z)
信息论习题集
信息论习题集 一、名词解释（每词2分）（25道） 1、“本体论”的信息（P3） 2、“认识论”信息（P3） 3、离散信源（11） 4、自信息量（12） 5、离散平稳无记忆信源（49） 6、马尔可夫信源（58） 7、信源冗余度 （66） 8、连续信源 （68） 9、信道容量 （95） 10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109） 13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道） 1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。 2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。 4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。 5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 6、 信息的 可度量性 是建立信息论的基础。 7、 统计度量 是信息度量最常用的方法。 8、 熵 是香农信息论最基本最重要的概念。 9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H ) /(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。 25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 26、m 元长度为k i ，i=1，2，···n 的异前置码存在的充要条件是：∑=-≤n i k i m 11。 27、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。 28、同时掷两个正常的骰子，各面呈现的概率都为1/6和5同时出现”这件事的自
信息论复习题
信息论概念复习题 一、填空 1、 1948 年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 3、信息的可度量性是建立信息论的基础。 4、统计度量是信息度量最常用的方法。 5、熵是香农信息论最基本最重要的概念。 6、事物的不确定度是用时间统计发生概率的对数来描述的。 7、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 8、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
9、自信息量的单位一般有比特、奈特和哈特。 10、必然事件的自信息是 0 。
11、不可能事件的自信息量是∞ 。 12、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 13、当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 14、离散平稳无记忆信源 X 的 N 次扩展信源的熵等于离散信源 X 的熵的 N 倍。 15、离散平稳有记忆信源的极限熵， H = lim H(X N / X1 X2 …X N 1) N 。 16、对于 n 元 m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 17、一维连续随即变量 X 在[a，b]区间内均匀分布时，其信源熵为 log2 (b-a ) 。 1 18、平均功率为 P 的高斯分布的连续信源，其信源熵， H c () = 2 log 2 2eP 。 19、对于限峰值功率的连续信源，当概率密度均匀分布时连续信源熵具有最大值。
信息论习题集
信息论习题集 第一章、判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√） 2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。 （√） 3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√） 5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能 被未授权者接收和理解。（√） 6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪 造的和被窜改的。（√） 7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信 息量越大。（×） 第二章 一、判断题 1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√） 2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×） 5、信源熵具有极值性，是信源概率分布P 的下凸函数，当信源概率分布为等概率分布时取 得最大值。（×） 6、离散无记忆信源的N 次扩展信源，其熵值为扩展前信源熵值的N 倍。（√） 7、互信息的统计平均为平均互信息量，都具有非负性。（×） 8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×） 9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×） 10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×） 11、在信息处理过程中，熵是不会增加的。（√） 12、熵函数是严格上凸的。（√） 13、信道疑义度永远是非负的。（√） 14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√） 2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6 ，求： (1) “ 3 和 5 同时出现”事件的自信息量； (2) “两个 1 同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4)两个点数之和 (即 2， 3，， 12 构成的子集）的熵； (5)两个点数中至少有一个是 1 的自信息。 2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为 1.6m 以 上，而女孩中身高 1.6m 以上的占总数一半。假如得知“身高 1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量？、 2-3 两个实验和，联合概率为
信息论基础 课后习题答案
信息论基础课后习题答案 问题1 问题：信息论的基本目标是什么？ 答案：信息论的基本目标是研究信息的传递、存储和处理 的基本原理和方法。主要关注如何量化信息的量和质，并通过定义信息熵、条件熵、互信息等概念来描述信息的特性和性质。 问题2 问题：列举一些常见的信息论应用领域。 答案：一些常见的信息论应用领域包括： •通信领域：信息论为通信系统的性能分析和设计提 供了基础方法，例如信道编码和调制调制等。 •数据压缩领域：信息论为数据压缩算法的研究和实 现提供了理论依据，例如无损压缩和有损压缩等。
•隐私保护领域：信息论用于度量隐私保护方案的安 全性和隐私泄露的程度，在隐私保护和数据共享中起着重 要作用。 •机器学习领域：信息论被应用于机器学习中的特征 选择、集成学习和模型评估等任务中，提供了许多有用的 数学工具和概念。 •生物信息学领域：信息论被应用于分析DNA序列、蛋白质序列和生物网络等生物数据，发现其中的模式和规 律。 问题3 问题：信息熵是什么？如何计算信息熵？ 答案：信息熵是衡量一个随机变量的不确定性或信息量的 度量值。信息熵越大，表示随机变量的不确定性越高，每个可能的取值都相对等可能发生；反之，信息熵越小，表示随机变量的不确定性越低，某些取值较为集中或者出现的概率较大。 信息熵的计算公式如下所示： H(X) = -Σ P(x) * log2(P(x))
其中，H(X) 表示随机变量 X 的信息熵，P(x) 表示随机变量X 取值为 x 的概率。 问题4 问题：条件熵是什么？如何计算条件熵？ 答案：条件熵是在给定其他随机变量的条件下，一个随机变量的不确定性或信息量的度量。条件熵基于条件概率定义，用于描述一个随机变量在给定其他相关随机变量的条件下的信息量。 条件熵的计算公式如下所示： H(Y|X) = -Σ P(x, y) * log2(P(y|x)) 其中，H(Y|X) 表示随机变量 Y 在给定随机变量 X 的条件下的条件熵，P(x, y) 表示随机变量 X 取值为 x 且随机变量 Y 取值为 y 的概率，P(y|x) 表示随机变量 Y 在给定随机变量 X 取值为x 的条件下取值为 y 的概率。 问题5 问题：互信息是什么？如何计算互信息？
信息论习题集
信息论习题集 第二章 2.1 同时掷2颗骰子，事件A 、B 、C 分别表示：（A ）仅有一个骰子是3；（B ）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。试计算A 、B 、C 发生后所提供的信息量。 2.3 一信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。设信源向信宿发出3x ，但由于传输中的干扰，接收者收到3x 后，认为其可信度为0.9。于是信源再次向信宿发送该符号（3x ），信宿准确无误收到。问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为 ()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025 试计算()H X 。然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。 2.6 中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个16⨯16的二元点阵显示，试计算显示方阵所能表示的最大信息量。显示方阵的利用率是多少？ 2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。此消息在二进制对称信道上传输，信道传输特性为1122(|)(|)1p b a p b a ε==-，1221(|)(|)p b a p b a ε==。求互信息量11(;)I a b 和12(;)I a b 。 2.8 已知二维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==， (0,1)(1,0)3/8p p ==，求(|)H X Y 。 2.13 有两个二元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另一随机变量Z X Y =（一般乘积）。试计算： 表2.5 （1） 熵(),(),(),(),(),()H X H Y H Z H XZ H YZ H XYZ ；
第四章 信息论基础 习题及解答
第四章 习题解答 4-1、某一信源以概率1/2、1/4、1/8、1/16、1/32和1/32产生6种不同的符号1x 、2x 、 3x 、4x 、5x 和6x ，每个符号出现是独立的，符号速率为1000（符号）/秒。（1）请计算 每个符号所含的信息量；（2）求信源的熵；（3）求单位时间内输出的平均信息量。 解： （1）按定义，各符号所含的信息量分别为 ()()()12121 log log 12 I x p x bit =-=-= ()()()22221 log log 24I x p x bit =-=-= ()()()32321 log log 38 I x p x bit =-=-= ()()()42421 log log 416I x p x bit =-=-= ()()()52521 log log 532I x p x bit =-=-= ()()()6262 1 log log 532 I x p x bit =-=-= （2）信源的熵 ()()() ()5 21222222 log 111111111111 log log log log log log 22448816163232323211345516168555025228163232323216 i i i H X p x p x ==-=------++++=+++++===∑比特符号 （3）单位时间内输出的平均信息量 ()()25 10001562.516 S I H X R == ⨯=比特 4-2 一个离散信号源每毫秒发出4种符号中的一个，各相互独立符号出现的概率分别为0.4、0.3、0.2和0.1，求该信号源的平均信息量与信息速率。 解： 信号源的平均信息量，即熵为：
信息论复习题
1求根本高斯信源的差熵。(10分) 2、一个随机变量x的概率密度函数为p(x)二kx , 0 第2章 2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？ 2.2 平均互信息量(;)I X Y 与信源概率分布()p x 有何关系？与(/)p y x 又是什么关系？ 2.3 熵是对信源什么物理量的度量？ 2.4 设信道输入符号集是12{,,,}k x x x L ，则平均每个信道输入符号所能携带的最大信息量为 什么？ 2.5 互信息量(;)i j I a b 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 2.6 教材习题。P70,2.19-2.22除外 第3章 3.1 设信源消息集为{0,1}X =，信宿消息集{0,1}Y =，信源等概率分布，通过二进制信道， 信道转移概率矩阵为 0.760.240.320.68⎛⎫ ⎪⎝⎭ 求：(1) 该系统的平均互信息量； (2) 接收到0y =后，所提供的关于x 的平均互信息量(;0)I X 。 3.2 教材 3.1,3.2,3.3,3.6,3.7(4),3.8,3.11,3.14,3.15,3.18,3.19 第4章 信息率失真函数 4.1 当信息率失真函数R (D )取什么值的时候，表示不允许有任何失真。 4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值时什么？当允许信源存在一 定的失真时，其信息率所能压缩到的极限值又是什么？ 4.3 给定二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2 5.025.05.0)(321x x x X P X ，失真度测度矩阵[]⎥⎥⎥⎦ ⎤⎢⎢⎢⎣⎡=011302120d ，求信息率失真函数的定义域和值域。 4.4 其他练习题见教材 第5章 5.1 请问即时码一定是唯一可译码码？反过来说唯一可译码一定是即时码吗？ 5.2 离散无记忆信源，熵为()H x ，对信源的L 长序列进行等长编码，码长是长为n 的m 进 制符号串，问： (1)满足什么条件时，可实现无失真编码； (2)L 增大，编码效率η也随之增大吗？ 5.3 信源有4个消息，对其进行二进制编码，问： (1)若信源等概率分布⎥⎦ ⎤⎢⎣⎡=⎥⎦⎤⎢ ⎣⎡4/14/14/14/1)(4321x x x x X P X ，则每个消息至少需要几位二进制代码？ (2)若信源概率分布为⎥⎦ ⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x X P X ，如何编码才能获得最佳码？ 5.4 已知一个离散无记忆信源，其概率分布为⎥⎦ ⎤⎢⎣⎡=⎥⎦⎤⎢ ⎣⎡12/14/13/13/1)(4321x x x x X P X ，试： (1)对该信源进行二进制霍夫曼编码； 2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。 （2）“两个1同时出现” 这事件的自信息量。 （3）两个点数的各种组合（无序对）的熵或平均信息量。 （4）两个点数之和（即2，3，…，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 解： （1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log )(log )(2 2 ==-=x p X I (比特) （2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log )(log )(2 2 ==-=x p X I (比特) (3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log 18 1536log 36 6)(2 2 =+ =X H (比特/组合) （4） 22222 2111111()[log 36log 18( )log 12( )log 93618 183618 18 11136111()log ]2( )log 6 3.44(/) 18 18 36 518 18 18 H X =++++++ ++⨯++ + =比特两个点数之和 （5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.136 11 log )(2 =-=X I （比特） 2-6设有一离散无记忆信源，其概率空间为 ⎪⎪⎭⎫ ⎝⎛=====⎪⎪⎭⎫ ⎝⎛8/134 /124 /118 /30 4321x x x x P X 该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求： （1） 此信息的自信息量是多少？ （2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得 序列）（比特/18 .87)3(6)2(12)1(13)0(14=+++=I I I I信息论与编码习题集
信息论部分习题及解答