当前位置：文档视界 › 《信息论》(电子科大)复习资料

《信息论》(电子科大)复习资料

信息论导论参考资料

作者龙非池

第一章概论

● 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息，把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。目前，信息论中主要研究语法信息

● 归纳起来，香农信息论的研究内容包括： 1) 信息熵?、信道容量?和信息率失真函数?

2) 无失真信源编码定理?、信道编码定理?和保真度准则下的信源编码定理? 3) 信源编码、信道编码理论与方法

● 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。

信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信息运动包括获取、传递、存储、处理和施用等环节。

第二章离散信源及离散熵

● 单符号离散信源的数学模型：1

212

()()()()n n x x x X P x P x P x P X ??

??=????????

自信息量：()log ()i x i I x P x =-，是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的单位为比特(bit,binary unit)；对数底为e 时，其单位为奈特(nat,nature unit)；对数底为10时，其单位为哈特(Hart, Hartley)

自信息量性质：I(x i )是随机量；I(x i )是非负值；I(x i )是P(x i )的单调递减函数。

● 单符号离散信源的离散熵：

1()[()]()()n

i i i i H X E I x P x lbP x ===-∑，单位是比特/符号(bit/symbol)。

离散熵的性质和定理：H(X)的非负性；H(X)的上凸性；最大离散熵定理：()H X lbn ≤

● 如果除概率分布相同外，直到N 维的各维联合概率分布也都与时间起点无关，即：

111

1()()()()()()

k l k k l l k k k N l l l N P X P X P X X P X X P X X X P X X X ++++-++-==

则称该多符号离散信源为N 维离散平稳信源。

● N 维离散平稳信源的数学模型：

2121212()()()()N N N n N n a a a X X X P a P a P a P X X X ??

??=???????

1212,,,,

,{1,2,

,}N i i i i N a x x x i i i n =∈其中 12

12112

1()()()(/)

(/)N N N i i i i i i i i i i i P a P x x x P x P x x P x x x x -==

● 二维离散平稳信源的离散熵：

121211

()()()()(/)n i i i H X X P a lbP a H X H X X ==-=+∑

H(X 2/X 1 )称为条件熵，是条件信息量在联合概率上的数学期望，H(X 1X 2)称为联合熵，离散熵H(X 1)、 H(X 2)称为无条件熵，H 2(X 1X 2)称为平均符号熵

且：212(/)()H X X H X ≤，2121211

()()()2

H X X H X X H X =≤

● 对于，12

1211

()()()N N N H X X X H X X X H X N

≤，当N→∞时，平均

符号熵取极限值，称之为极限熵，用H ∞表示：12

lim ()N N H H X X X N

∞→∞=

● 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离散平稳无记忆信源。N 维离散平稳无记忆信源(一维离散平稳信源的N 次扩展信源)的数学模型：

212()

()

()()N N N n N n a a a X p a p a p a P X ??

??=????

????

1212,,,,

,{1,2,

,}N i i i i N a x x x i i i n =∈其中，12()()()()N i i i i p a p x p x p x =

其离散熵：121()()()()()N N H X H X H X H X NH X =+++=

信源的平均符号熵：11

()()()N N N H X H X H X N

● 如果离散平稳信源发出的符号只与前面已经发出的m(

11121121

2112/()()

()(/)m m m m n m m n a a a X X X X p a p a p a P X X X X ++++??

??=????????

112

112/()(/)m m m m i i i i i i i i i i a x x x x p a p x x x x ++==其中，，

为强调m 阶马尔科夫信源的长度特征，一般将其极限熵H ∞记为H m+1，即：

111

()(/)(/)m m

n n m i j i j i i j H H p e p e e lbp e e ∞+====-∑∑

马尔科夫链的各态历经定理：

()()(/)1,2,

,()0,()1m

n n m j i j i j j i j p e p e p e e j n p e p e ====>=∑∑，，其中

第三章离散信源无失真编码

● 码字的每一个比特携带信息的效率即编码效率：

()

H X K

η=，K 平均码长一般采用不等长编码，使平均码长接近离散熵，从而在无失真前提下提高编码效率；编码的基本原则是大概率符号元编成短码，小概率符号元编成长码

如果所采用的不等长编码使接收端能从码序列中唯一地分割出对应与每一个符号元的码字，则称该不等长编码为单义可译码。

单义可译码中，如果能在对应与每一个符号元的码字结束时立即译出的称为即时码，如果要等到对应与下一个符号元的码字才能译出的称为延时码。

异前置码：任何一个码字都不是其他码字的前缀

m 元长度为k i , i=1,2, …,n 的异前置码存在的充分必要条件是：

k i m

-=≤∑，

（克拉夫特(Kraft)不等式）

● 无失真编码定理：（香农第一定理）

如果L 维离散平稳信源的平均符号熵为H L (X 1X 2…X L )，

对信源符号进行m 元不等长组编码，一定存在一种无失真编码方法，当L 足够大时，使得每个信源符号所对应码字的平均比特数：

12()()L L L L K

H X X X lbm H X X X L

εε≤

<+，为任意给定的小数

1212()()L L L L lbm

H X X X lbm H X X X L L

εε≥

≤

<+只要，

无失真编码定理从理论上阐明了编码效率：1η→

● L→∞时，1lim L H K lbm L

η∞

→∞=

= 则极限熵H ∞是一个界限，通常也称为香农界

对于L 维离散平稳无记忆信源，由于其平均符号熵H L (X 1X 2…X L ) =H(X)，故对信源符号进行m 元不等长组编码，一定存在一种无失真编码方法，当L 足够大时，使得每个信源符号所对应码字的平均比特数：

()()K

H X lbm H X L

ε≤

<+，此时香农界为H(X)。对离散平稳信源进行无失真编码，每个信源符号所对应码字的平均比特数平稳无记忆信源最多， m 阶马尔科夫信源次之，一般平稳信源最少。

● 二进制香农码的编码步骤如下： 1) 将符号元x i 按概率进行降序排列

2) 令p(x 0)=0，计算第j-1个码字的累加概率：1

0()()1,2,

,j a j i i p x p x j n -===∑，

3) 确定第i 个码字的码长k i ，满足下列不等式：()()1i i i lbp x k lbp x -≤<-+ 4) 将p a (x j )用二进制表示，取小数点后k i 位作为符号元x i 的码字。

● 哈夫曼(Huffman)编码

1) 将符号元按概率进行降序排列

2) 为概率最小的符号元分配一个码元1，概率次小的符号元分配一个码元0 3)

将概率最小的两个符号元合并成一个新的符号元，用两者概率之和作为该新符号元的概率；

4) 重复以上三个步骤，直到最后合并出一个以1为概率的符号元

哈弗曼码有两种排列方式，分前置和后置。采用不同排列方法编出的哈夫曼码，其码字和码长可能完全不相同，但平均码长一定是相等的，因此编码效率不会因排列方法而改变。但放在前面可以使短码得到充分利用

第四章离散信道及信道容量

● 符号离散信道的数学模型可表示为：

1121112

22212(/)(/)(/)(/)

(/)(/)(/)(/)

(/)

(/)m m n n m n p y x p y x p y x p y x p y x p y x P Y X p y x p y x p y x ?????

?=???

● 互信息量

在有噪信道的情况下，将信源发出x i 而信宿接收到y j 所包含的信息量用

I(y j ;x i )来表示并将其称为x i 对y j 的互信息量，则互信息量的定义为：

(/)(;)()(/)()(/)()

j i j i j j i j j i j p y x I y x I y I y x lbp y lbp y x lb

p y =-=-+=

I(y j /x i )称为条件信息量，表示信道给出的“信息”。

互信息量的性质：I(y j ;x i )是随机量，I(y j ;x i )可为正值也可为负值，I(y j ;x i )具有对称性

● 单符号离散信道的平均互信息量：

(/)(;)()(;)()()

n m n m

j i i j j i i j i j i j j p y x I Y X p x y I y x p x y lb

p y ======∑∑∑∑

(;)()(/)I Y X H Y H Y X =-，条件熵H(Y/X)是信道所给出的平均信息量，通

常称为噪声熵

(;)()(/)I Y X H X H X Y =-，条件熵H(X/Y)也是信道所给出的平均“信息”量，

通常称为损失熵，也称为信道疑义度

(;)()()()I Y X H X H Y H XY =+-

● 平均互信息量的性质和定理： 1) I(Y;X)的对称性 2) I(Y;X)的非负性

3) I(Y;X)的极值性：(;)()I Y X H Y ≤ (;)()I Y X H X ≤

4) I(Y;X)的凸函数性当信道固定时，I(Y;X)是信源概率分布P(X)的上凸函

数；当信源固定时，I(Y;X)是信道转移概率分布P(Y/X)的下凸函数 5) 数据处理定理：(;)(;)I Z X I Y X ≤ (;)(;)I X Z I Y Z ≤

一个信息传递并进行数据处理的问题可看成是一个由串联信道进行信息传递的问题

● 单符号离散信道的信道容量

由于平均互信息量反映的是每传输一个符号在信道中流通的平均信息量，从这个意义上，可以将其理解为信道的信息传输率(不是信息传输速率！)，即

(;)R I Y X =。定义最大的信息传输率为信道容量，即：()

()

max max (;)P X P X C R I Y X ==。

定义最大信息传输速率为：()()

max max (;)t P X P X C R I Y X t t ==

● 信道容量的计算步骤

(1)(/)(/)(/)1,2,

,1,2,

,m m

j k j k j k j j j j p y x lbp y x p y x k n j m

ββ=====∑∑由，，求出，

(2)(2)j m

j C lb β

==∑求出

(3)()2

1,2,,j C

j p y j m

β-==求出

(4)()()(/)

1,2,

,()

1,2,

j i j i k i p y p x p y x j m p x k n ====∑由，求出

● 均匀信道和对称信道的信道容量

{,(/),}X P Y X Y 如果离散信道的信道矩阵，11(/)1

p p p n n p

p p P Y X n n p p p n n ????

--??????=--????????--??

，

则称该信道为均匀信道

121

()()()n p x p x p x n ==

==当时，均匀信道的信息传输率可达最大，其信道

容量为：max

C lbn plbp plb n =++-

● 对称信道和对称信道的信道容量

{,(/),}X P Y X Y 如果离散信道的信道矩阵既是行可排列的，又是列可排列的，则称该矩阵所表示的信道为对称信道则称该信道为对称信道

如果每一行都是同一集合12{,,

,}m Q q q q ∈中诸元素的不同排列，则称该矩

阵为行可排列的；如果每一列都是同一集合12{,,,}n P p p p ∈中诸元素的不同排

列，则称该矩阵为列可排列的

121

()()()n p x p x p x n

==当时，均匀信道的信息传输率可达最大，其信道

容量为：max 1

j j j C lbm q lbq ==+∑

● 离散无记忆信道及其信道容量

对应于多符号离散信源和多符号离散信宿的信道为多符号离散信道，可表示为：12

121212{(/)}L L L L X X X P YY Y X X X YY Y

112111222212

1212(/)

(/)(/)(/)(/)(/)(/)(/)(/)(/)L L L L L L m m

L L n n m n p b a p b a p b a p b a p b a p b a P YY Y X X X p b a p b a p b a ??????=????????

其中当信源和信宿均为平稳无记忆时，信道矩阵中的条件概率：

12121122(/)(/)(/)(/)(/)L L L L j i j j j i i i j i j i j i p b a p y y y x x x p y x p y x p y x ==

该信道矩阵表示的多符号离散信道称为离散无记忆信道(DMC, Discrete Memoryless Channel)。可称其为L 次扩展信道

如果记一维离散无记忆信道的信道容量为C ，则其L 次扩展信道的信道容量为：()

max (;)L L L P X C I Y X LC ==

第五章离散信道编码

● 信道编码定理

译码规则的设计依据的是最小错误概率准则。为了降低错误概率，可以考虑重复发送，如重复三次，即将x 1编码为a 1=x 1x 1x 1，x 2编码为a 2=x 2x 2x 2，称为3重复码

香农第二定理：对于离散无记忆信道，如其信道容量为C ，只要信息传输率R

信道编码定理也指出，信道容量C 是一个界限，如果信息传输率超过这个界限一定会出错

● 汉明距离与线性分组码

线性分组码通常用于前向纠错，可表示为(n,k)，其中n 为码字长度，k 为信息位长度，从而校验位长度为n-k

在m(=2k )个码字构成的码中，两个长度为n 的码字之间的汉明距离(码距)是指两个码字对应位置上不同码元的个数；对于二元码，码距可表示为：

1(,),1,2,,,k k

i j i j k d c c c c i j m i j ==⊕=≠∑

长度为n 的码字的汉明重量(码重)是指码字中非零码元的个数；对于二元码，码重可表示为：

1()1,2,,k

i i k w c c i m ===∑

对于二元码，两个长度为n 的码字之间的码距可用码重表示：

(,)()

,1,2,,,k k i j i j d c c w c c i j m i j =⊕=≠

线性分组码(n,k)能检e 个错误并能纠t 个错误的充要条件是：min 1d e t ≥++

最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的min 3d ≥ 将错误序列E 的随机结果e i 称为错误图案，当e ik =1时，表示第i 个码字的第k 位在传输中出现错误。

最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的错误图案为00...01，00...10，...，01...00，10 (00)

● (7,4)汉明码设码字为：12345671,2,,i i i i i i i i c c c c c c c c i m ==，，其中1234i i i i c c c c 为信息位，长度为

k=4，567i i i c c c 为校验位，长度为n-k=3 (7,4)汉明码的编码由生成矩阵产生：

23456

000111010011000101010

00101

1i i i i i i i i i i i c c c c c c c x x x x ??????????=??????????

(7,4)汉明码的最小距离：min ,min (,)3

,1,2,,16,i j i j

d d c c i j i j ===≠

由线性分组码(n,k)能检e 个错误并能纠t 个错误的充要条件min 1d e t ≥++，(7,4)汉明码只能检出并纠正1个错误

● 1103101H ??

???

重复码的校验矩阵

3重复码的最小距离min 1212(,)()3d d c c w c c ==⊕=，3重复码也只能检出并纠正1个错误，5重复码能检出并纠正2个错误

第六章连续信源与连续信道

● 单变量连续信源的数学模型a x b ()()X P X p x ≤≤????

=????

????

定义连续信源的相对熵：()()()b

c a H X p x lbp x dx =-?。相对熵不能反映连续信

源的平均不确定度。定义相对熵的目的在于在形式上与离散信源熵统一并使熵差具有信息测度的意义。

两个连续随机变量的联合熵：2

()()()c R H XY p xy lbp xy dxdy =-??

两个连续随机变量的条件熵：2

(/)()(/)c R H X Y p xy lbp x y dxdy =-??

● 均匀分布连续信源的相对熵：

(),p x a x b b a

=≤≤-，()()c H X lb b a =-

高斯分布连续信源的相对熵：

2()2(),x m p x x σ--=

-∞<<∞

，211

()(2)22

c H X lbe lb e πσ=+=

指数分布连续信源的相对熵：

1() ,0x

p x e x m

-=≤<∞，()()c H X lbe lbm lb em =+=

● 相对熵的性质及最大相对熵定理 1) 相对熵不具有非负性 2) 相对熵的可加性：

()()(/)c c c H XY H X H Y X =+，()()(/)c c c H XY H Y H X Y =+

最大相对熵定理：连续信源没有一般意义下的最大熵，只有限制条件下的最大熵

1) 取值范围受限条件下的最大熵定理随机变量取值被限定在一定范围内，则在该有限定义域内均匀分布的连续信源具有最大熵，即：()(),c H X lb b a a x b ≤-≤≤

2) 平均功率受限条件下的最大熵定理

随机变量的平均功率被限定，则均值为零、方差为该平均功率的高斯分布的

连续信源具有最大熵，即：211

()l b(2)l b(2),22

c H X e eP x πσπ≤=-∞<<∞

3) 均值受限条件下的最大熵定理非负随机变量的均值被限定，则均值为该限定值的指数分布的连续信源具有最大熵，即：()(),0c H X lb em x ≤≤<∞

● 连续信道的平均互信息量

(;)()()c c c I Y X H Y H Y X =-，(;)()()c c c I X Y H X H X Y =-

平均互信息量的性质和定理：

平均互信息量具有非负性，平均互信息量具有对称性，平均互信息量具有凸函数性。数据处理定理(;)(;)c c I X Z I X Y ≤ (;)(;)c c I X Z I Y Z ≤

信道固定时，总能找到一种信源概率密度函数，使信道的信息传输率最大，称该最大值为信道容量，即：()

()

max max (;)c p x p x C R I X Y ==

● 如果噪声N 是均值为0、方差为σ2

的高斯噪声，输入X 均值为零、方差

为σX 2的高斯分布，则称为高斯加性信道，此时2c 11

H (N)(2)(2)22

N lb e lb eP πσπ==

X 的平均功率被限定为P X ，已知噪声N 的平均功率为P N ，可取输出Y 的平

均功率：222

Y Y X X N P P P σσσ==+=+。

输出Y 为均值等于零、方差σY 2等于P Y 的高斯分布时具有最大熵，即

c p(x)11max H (Y)(2)(2)22Y Y lb e lb eP πσπ== 高斯加性信道的信道容量：

()111

max ()()()(1)222X N Y X c c p x N N N

P P P P C H Y H N lb lb lb P P P +=-===+

条件是p(x)满足均值为0，方差为σX 2的高斯分布，X

P P 其中

为信噪功率比。

● 香农公式

当信道的频带为(0,W)时，将信道的一次传输看成是一次采样，根据采样定理，采样率为2W 可保证不失真从而不失真的一次传输所需时间为1/2W ，相应的最大信息传输速率：

(1)(1)X X t N P P C Wlb Wlb P WN =+=+

P N W

式中，为加性高斯噪声的单边功率谱密度。

第七章信息率失真理论

● 离散信源的信息率失真函数

总能找到一种信道转移概率分布，使信息传输率最小

定义非负函数d(x i ,y j ) i=1,2, …,n; j=1,2, …,m 为失真度，称全部n×m 个失真度组成的矩阵为失真矩阵：

111212122

212(,)(,)...(,)(,)(,)

...(,)[]............(,)(,)

...(,)m m n n n m d x y d x y d x y d x y d x y d x y D d x y d x y d x y ?????

?=???

常用的失真矩阵：0...0...[]...............0D ααα

αα

α?????

=??

，当α=1时，称为汉明失真矩阵。

2(,)()i j j i d x y y x =-称为平方误差失真度。

平均失真度：11

()(/)(,)n m

i i i i j i j D p x p y x d x y ===∑∑

保真度准则：如果给定的允许失真为D ，则称D D ≤为保真度准则。定义保真度准则下的最小信息传输率为信息率失真函数：

(/)(/)()min min (;)j i D

j i D

p y x P p y x P R D R I X Y ∈∈=

信息率失真函数的性质和定义域：

R(D)具有非负性，R(D)是D 的下凸函数，R(D)是D 单调递减连续函数信息率失真函数的定义域：

min 1

()min (,)n

i i j j

i D p x d x y ==∑，max ()

min ()min j m

j j j p y j

j D p y D D ===∑

特别地，当D =D min =0，即不允许任何失真时R(D)=H(X)

信息率失真函数的参量表达式

信道转移概率分布的n 个约束条件是，1(/)1

1,2,,m

j i j p y x i n ===∑。平均

失真度的约束条件是：11

()(/)(,)n m

i i i i j i j D p x p y x d x y ===∑∑。

信息率失真函数的计算步骤为：

(,)

1(1)1(),1,2,

,i j n

Sd x y i i i i p x e

S j m λλ===∑由，求含的

(,)

(2)1()(),1,2,

,i j m

Sd x y i j j j p y e

S p y i n λ===∑由，求含的

(,)

(3)(/)()1,2,

,,1,2,

,i j Sd x y j i i j S p y x p y e

i n j m λ===求含的，

(,)

(4)[]()(/)(,)()()(,)i j i i j i j n

Sd x y i i i i j i j i j D S p x p y x d x y p x p y e

d x y λ======∑∑∑∑求

(,)

(/)(5)[]()()(/)ln

()

()()()ln

[]()ln ()

i j i

i j i i j i i

j n

j i i j i i j j Sd x y n m

Sd x y i j i p y x R S S R D p x p y x p y p y e

p x p y e

SD S p x p y λλλ========+∑∑∑∑∑求，即含的

其中dR S dD =，且S < 0及0dS

● 等概率信源的信息率失真函数

当p=0.5，即二元等概率信源时的信息率失真函数：

()(0.5)()ln 2()D D

R D H H H αα

=-=-

n 元等概率信源，其信息率失真函数：

()ln ln (1)ln(1)1D D D D

R D n n αααα

=++---

● 连续信源的信息率失真函数

定义随机变量X 、Y 之间的失真函数为非负函数d(x,y)，则平均失真度：

()(,)D p xy d x y dxdy ∞

∞

-∞-∞

记实验信道的集合：{(/):}D P p y x D D =≤。定义信息率失真函数：

(/)()inf

(;)D

c p y x P R D I X Y ∈=

(,)[]()()()(,)Sd x y D S p x x p y d x y e dxdy λ+∞

+∞

-∞

[][]()ln ()R S SD S p x x dx λ+∞-∞

=+?

，其中dR S dD

● 高斯信源的信息率失真函数平均失真度2()(/)()D p y dy p x y x y dx +∞+∞

-∞

=-?

Y=y 条件下的条件熵：1

(/)(/)ln (/)ln[2()]2

c H X y p x y p x y dx eD y π+∞-∞

=-≤?

信道疑义度：

(/)()(/)ln (/)()(/)c c H X Y p y p x y p x y dxdy p y H X y dy +∞

+∞

-∞

=-=?

在满足保真度准则D D ≤的条件下1

(/)ln(2)2

c H X Y eD π≤

111(;)()(/)ln(2)ln(2)ln()222c c c I X Y H X H X Y e eD D

σπσπ=-≥-=

保真度准则下的信源编码定理（香农第三定理）：序列长度为L 的离散平稳

无记忆信源，信息率失真函数为R(D)，对于任意允许失真D 和任意小的数ε>0，只要信息传输率R>R(D)，总可以找到一种编码，使得当L 足够长时，译码后的平均失真度，D D ε≤+

信息论基础各章参考答案

各章参考答案 2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特 2．2． 1.42比特 2．3．（1）225.6比特；（2）13.2比特 2．4．（1）24.07比特；（2）31.02比特 2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6．（1）215 log ＝15比特；（2） 1比特；（3）15个问题 2． 7. 证明：（略） 2．8．证明：（略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10．证明：（略） 2．11. 证明：（略）

现代数字信号处理复习题

现代数字信号处理复习题一、填空题 1、平稳随机信号是指：概率分布不随时间推移而变化的随机信号，也就是说，平稳随机信号的统计特性与起始时间无关，只与时间间隔有关。判断随机信号是否广义平稳的三个条件是：（1）x(t)的均值为与时间无关的常数：C t m x =)( （C 为常数）；（2）x(t)的自相关函数与起始时间无关，即：)(),(),(ττx i i x j i x R t t R t t R =+=；（3）信号的瞬时功率有限，即：∞<=)0(x x R D 。高斯白噪声信号是指：噪声的概率密度函数满足正态分布统计特性，同时其功率谱密度函数是常数的一类噪声信号。信号的遍历性是指：从随机过程中得到的任一样本函数,好象经历了随机过程的所有可能状态,因此,用一个样本函数的时间平均就可以代替它的集合平均。广义遍历信号x(n)的时间均值的定义为：，其时间自相关函数的定义为：。 2、连续随机信号f(t)在区间上的能量E 定义为：其功率P 定义为：离散随机信号f(n)在区间上的能量E 定义为：其功率P 定义为：注意:(1)如果信号的能量0

信息论考试题

2009-2010学年第二学期末考试试题信息论与编码理论一、（共10分）简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。二、（共12分）某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 1) 求符号的平均熵； 2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； 3) 计算2)中序列的熵。

三、（共12分）一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布； 2) 求)(X H ； 3) 求上述一阶马尔可夫信源的冗余度。 P P

四、（共10分）设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。求证：);();(Z Y X I Y X I ≥ 五、（共12分）设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为???? ??????=214141412141414121Q ，61)(,32)(21==x P x P 。试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。

六、（共14分）设有一离散信道，输入X ，输出Y ，其信道转移矩阵为?? ????7.01.02.02.01.07.0，求：1）信道的信道容量及达到信道容量时的输入分布？ 2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。

华中科技大学考博电子与信息工程系(华中科技大学)

电子与信息工程系电子与信息工程系始建于1960年，目前拥有二个博士学位授予权一级学科（信息与通信工程、电子科学与技术）及相同名称的博士后科研流动站，涵盖通信与信息系统、信号与信息处理、电磁场与微波技术、电路与系统4个二级学科（博士点），2003年4月又获准自年、与国内外一些著名企业合作建立了Intel嵌入式系统实验室、TI DSP和模拟器件实验室、Xilinx FPGA实验室、安捷伦虚拟仪器联合实验室等基地与平台。本系共有教授29人、副教授51人、讲师62人。经过50年的发展，已经形成了一支包括长江学者讲座教授、国家教学名师、全国师德先进个人、国务院学科评审组成员、国家863计划未来移动通信重大课题负责人、国家未来移动通信FuTURE论坛理事、全国标准化技术委员会委员、国家标准A VS专利池管理委员会理事、教育部导航重大专项专家组成员等在内的优秀教师队伍。

本系主要研究方向是：新一代宽带无线通信系统，智能互联网技术及其应用，信息安全与防伪工程，空间通信、探测与导航、非协作目标信息获取与处理，以及图像信息处理等。在新一代宽带无线移动通信网、RFID技术与应用、电子商务与现代物流、信息安全、先进传感、空间信息与目标获取、卫星导航技术与应用、数字媒体与图像识别、微波/毫米波阵列成像与探测等方面形成了自己的优势和特色。近5年在国内核心期刊上发表论文2000余篇，在国外期刊及国际会议上发表论文480 、委本研究方向依托国家防伪工程技术研究中心，主要研究多媒体内容检索、信息融合、信息安全、防伪工程、图像信息处理技术及其应用、数字电视关键技术等方面内容，是我国防伪技术创新的一个源头，也是我国防伪技术产业化的一个示范基地。该方向重点针对多媒体内容检索、生物特征识别、隐通道通信、DMD数字组合全息技术、媒体水印等关键技术，在图像形状的局部匹配、物体特征提取等方面取得国际一流成果。该学科在信息安全防伪领域代表国家竞争力，研究成果达到国际先进水平，在综合防伪技术上一直处于国内领先地位。

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论与编码期末考试题(全套)

（一）一、判断题共 10 小题，满分 20 分. 1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （） 2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （） 6. 连续信源和离散信源的熵都具有非负性. （） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. （） 9. 率失真函数的最小值是0.（） 10.必然事件和不可能事件的自信息量都是0. （）二、填空题共 6 小题，满分 20 分. 1 、码的检、纠错能力取决于 . 2、信源编码的目的是；信道编码的目的是 . 3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 . 4、香农信息论中的三大极限定理是、、 . 5、设信道的输入与输出随机序列分别为X 和Y ，则 ),(),(Y X NI Y X I N N =成立的条件 . 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . 7、某二元信源0 1()1/21/2X P X ????=??? ????? ，其失真矩阵 00a D a ?? =???? ，则该信源的max D = . 三、本题共 4 小题，满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为 1/21/201/21/41/4P ?? =????. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为}2,1,0{. 图2-13

信息论基础》试卷(期末A卷

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

(整理)信息论期末考试试题1.

安徽大学2011—2012学年第1学期《信息论》考试试卷（AB 合卷）院/系年级专业姓名学号一、填空题 1、接收端收到y 后，获得关于发送的符号是x 的信息量是。 2、香农信息的定义。 3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为。 4、通信系统模型主要分成五个部分分别为：。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。 6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为。 7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()P x 的型凸函数。信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的型凸函数。 8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。

10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为。 11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足：。 12、多项式剩余类环[]())q F x f x 是域的充要条件为。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为。 14、有限域12 2F 的全部子域为。 15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足： 10 1 0(mod11)i i ia =≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN ：7-121-01339- ，《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。（） 2、离散信源的信息熵是信源无失真数据压缩的极限值。（） 3、对于无噪无损信道，其输入和输出有确定的一一对应关系。（） 4、对于有噪无损信道，其输入和输出有确定的一一对应关系。（） 5、设有噪信道的信道容量为C ，若信息传输率R C >，只要码长n 足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率E P 为任意小。反之，若R C <则不存在以R 传输信息而E P 为任意小的码。（） 6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一

电子科技大学2015控制科学与工程学科研究生培养方案

控制科学与工程学科硕士研究生培养方案（专业代码：081100）控制科学与工程是研究控制的理论、方法、技术及其工程应用的学科。控制科学以控制论、系统论、信息论为基础，研究各应用领域内的共性问题，即为了实现控制目标，如何建立系统的模型，分析其内部与环境信息，采取何种控制与决策行为；且与各应用领域的密切结合，又形成了控制工程丰富多样的内容。本学科点在理论研究与工程实践相结合、学科交叉和军民结合等方面具有明显的特色与优势，在我国国民经济发展和国家安全方面发挥了重大作用。我校控制科学与工程学科为四川省重点学科，师资力量雄厚，形成了复杂系统控制与优化、新能源系统控制技术、计算机视觉与模式识别、机器人技术与系统等研究方向，具有电子信息优势明显，学科交叉特色鲜明，工程研究能力突出等特点。本学科的发展受益于社会和国家的发展，同时也在国家的决策咨询、国防建设、行业推动、社会服务、人才培养等方面做出了突出的贡献。一、培养目标热爱祖国，遵纪守法，具有良好的道德品质；掌握本学科领域坚实的基础理论和系统的专门知识；掌握一门外语，能比较熟练地阅读本学科领域的外文资料，并有一定的外语写作能力；具有从事科学研究、教学工作或独立担负专门技术工作的能力。二、研究方向 1．智能信息处理与控制2．复杂系统控制与优化 3．新能源系统控制技术4．计算机视觉与模式识别 5．智能系统及其应用6．检测技术与自动化装置 7．电力电子与运动控制8．测控通信与导航控制 9．机器人技术与系统10．多媒体数据挖掘三、培养方式和学习年限硕士研究生的培养，采取课程学习和论文研究工作相结合的方式。通过课程学习和论文研究工作，系统掌握所在学科领域的理论知识，培养分析问题和解决问题的能力。硕士研究生的培养采用导师个人指导或导师组集体指导相结合的方式。全日制硕士研究生学制为三年。提前完成硕士学业者，可申请提前半年毕业；若因客观原因不能按时完成学业者，可申请适当延长学习年限，但最长学习年限不超过四年。四、学分与课程学习基本要求总学分要求不低于26学分，课程总学分不低于24个学分，必修环节不低于2学分。课程学分要求中，学位课要求不低于15学分，公共基础课必修，基础课至少选修1门，专业基础课不低于4个学分。允许在导师指导下、在相同学科门类之间、工科与理科之间跨学科选修1～2门学位课作为本学科的学位课。学位课可以代替非学位课，但非学位课不能代替学位课。对于跨学科专业录取的硕士生，要求补修相应专业本科核心课程至少2门，通过考试，但不计学分；通过后方可选修专业课。

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

现代数字信号处理期末复习

“现代数字信号处理”复习思考题变换 1. 给出DFT的定义和主要性质。 2. DTFT与DFT之间有什么关系？ 3. 写出FT、DTFT、DFT的数学表达式。离散时间系统分析 1. 说明IIR滤波器的直接型、级联型和并联型结构的主要特点。 2. 全通数字滤波器、最小相位滤波器有何特点？ 3. 线性相位FIR滤波器的h(n)应满足什么条件？其幅度特性如何？ 4. 简述FIR离散时间系统的Lattice结构的特点。 5. 简述IIR离散时间系统的Lattice结构的特点。采样 1．抽取过程为什么要先进行滤波，此滤波器应逼近什么样的指标？维纳滤波 1．画出Wiener滤波器结构，写出平稳信号下的滤波方程，导出Wiener-Hopf方程。 2．写出最优滤波器的均方误差表示式。 3．试说明最优滤波器满足正交性原理，即输出误差与输入信号正交。4．试说明Wiener-Hopf方程和Yule-Walker方程的主要区别。 5．试说明随机信号的自相关阵与白噪声的自相关阵的主要区别。

6．维纳滤波理论对信号和系统作了哪些假设和限制？自适应信号处理 1．如何确定LMS算法的值，值与算法收敛的关系如何？ 2．什么是失调量？它与哪些因素有关？ 3．RLS算法如何实现？它与LMS算法有何区别？ 4．什么是遗忘因子，它在RLS算法中有何作用，取值范围是多少？5．怎样理解参考信号d(n)在自适应信号处理处理中的作用？既然他是滤波器的期望响应，一般在滤波前是不知道的，那么在实际应用中d(n)是怎样获得的，试举两个应用例子来加以说明。功率谱估计 1. 为什么偏差为零的估计不一定是正确的估计？ 2. 什么叫一致估计？它要满足哪些条件？ 3. 什么叫维拉－辛钦(Wiener-Khinteche)定理？ 4. 功率谱的两种定义。 5. 功率谱有哪些重要性质？ 6. 平稳随机信号通过线形系统时输入和输出之间的关系。 7. AR模型的正则方程(Yule-Walker方程)的导出。 8. 用有限长数据估计自相关函数的估计质量如何？ 9. 周期图法谱估计的缺点是什么？为什么会产生这些缺点？ 10. 改进的周期图法谱估计有哪些方法？它们的根据是什么？ 11. 既然隐含加窗有不利作用，为什么改进周期图法谱估计是还要引用各种窗？

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求：（1）信源X 中事件1x 和2x 分别含有的自信息量；（2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量；（3）信源X 和信宿Y 的信息熵；（4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ；（5）接收到消息Y 后获得的平均互信息量(;)I X Y 。解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：

现代数字信号处理习题

1.设()u n 是离散时间平稳随机过程，证明其功率谱()w 0S ≥。证明：将()u n 通过冲激响应为()h n 的LTI 离散时间系统，设其频率响应()w H 为 ()001,w -w w 0, w -w w H w ???? 输出随机过程()y n 的功率谱为()()()2y S w H w S w = 输出随机过程()y n 的平均功率为()()()00201 1r 022w w y y w w S w dw S w dw π π π+?-?= =?? 当频率宽度w 0???→时，上式可表示为()()()01 r 00y S w w π =?≥ 由于频率0w 是任意的，所以有()w 0 S ≥ 3、已知：状态方程 )()1,()1()1,()(1n n n n x n n F n x ν-Γ+--=观测方程 )()()()(2n n x n C n z ν+= )()]()([111n Q n n E H =νν )()]()([222n Q n n E H =νν 滤波初值 )]0([)|0(0x E x =ξ } )]]0([)0()]][0([)0({[)0(H x E x x E x E P --= 请简述在此已知条件下卡尔曼滤波算法的递推步骤。解：步骤1 状态一步预测，即 1 *11)|1(?)1,()|(N n n C n x n n F n x ∈--=--∧ ξξ 步骤2 由观测信号z(n)计算新息过程，即 1*11)|(?)()()|(?)()(M n n C n x n C n z n z n z n ∈-=-=--ξξα 步骤3 一步预测误差自相关矩阵 N N H H C n n n Q n n n n F n P n n F n n P *1)1,()1()1,() 1,()1()1,()1,(∈-Γ--Γ+---=- 步骤4 新息过程自相关矩阵M M H C n Q n C n n P n C n A *2)()()1,()()(∈+-= 步骤5 卡尔曼增益M N H C n A n C n n P n K *1)()()1,()(∈-=- 或 )()()()(1 2n Q n C n P n K H -= 步骤6 状态估计 1*1)()()|(?)|(?N n n C n n K n x n x ∈+=-αξξ 步骤7 状态估计自相关矩阵 N N C n n P n C n K I n P *)1,()]()([)(∈--= 或 )()()()]()()[1,()]()([)(2n K n Q n K n C n K I n n P n C n K I n P H H +---= 步骤8 重复步骤1-7，进行递推滤波计算 4、经典谱估计方法：

《信息论》期末考试B卷答案

北方民族大学试卷课程代码： 01100622 课程：信息理论及编码 B 卷答案 : 号学说明：此卷为《信息理论及编码》 B 卷答案一、概念简答题（每小题6分，共30分） 1、比较平均自信息（信源熵）与平均互信息的异同。。题试试考末期期学季秋年学 - —80 名姓班级业专程工息信院学程工息信气电线 - q - 答：平均自信息为 H X - -7 p q log p q ，表示信源的平均不确定度，也表示平 - i 4 - 均每个信源消息所提供的信息量。 ........................... （3分）平均互信息I X;Y P xy log X,Y 。表示从Y 获得的关于每个 X 的平均信息量, 也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。（3分） 2、简述香农第一定理。 - 答：对于离散信源 S 进行r 元编码，只要其满足 L N _匕^， ..................................... （3分） - N log r - 当N 足够长，总可以实现无失真编码。 ............................. （3分）密 3、简述唯一可译变长码的判断方法？ - 答：将码C 中所有可能的尾随后缀组成一个集合 F ，当且仅当集合 F 中没有包含任一码字 - 时，码C 为唯一可译变长码。构成集合 F 的方法： ............. （2分）首先，观察码C 中最短的码字是否是其他码字的前缀。若是，将其所有可能的尾随后缀排列出。而这些尾随后缀又可能是某些码字的前缀，再将由这些尾随后缀产生的新的尾随后缀列出。依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止。 .............（2分）接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。 ............. （2分） 4、简述最大离散熵定理。答：最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。…… （3分）对于有m 个符号的离散信源，其最大熵为 log m 。（3分）

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论基础答案2

《信息论基础》答案一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。试计算：（1）信源X中事件x的自信息量；（3分）（2）信源X的信息熵；（3分）（3）共熵H XY ; （ 3 分）（4）噪声熵H Y X ；（3分）（5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所（3 分）

12《现代数字信号处理》课程复习...

2012《现代数字信号处理》课程复习... “现代数字信号处理”复习思考题变换 1. 2. 3. 给出DFT的定义和主要性质。DTFT与DFT 之间有什么关系？写出FT、DTFT、DFT的数学表达式。离散时间系统分析 1. 说明IIR滤波器的直接型、级联型和并联型结构的主要特点。2. 全通数字滤波器、最小相位滤波器有何特点？ 3. 线性相位FIR滤波器的h(n)应满足什么条件？其幅度特性如何？ 4. 简述FIR离散时间系统的Lattice结构的特点。 5. 简述IIR离散时间系统的Lattice结构的特点。采样1．抽取过程为什么要先进行滤波，此滤波器应逼近什么样的指标？维纳滤波1．画出Wiener滤波器结构，写出平稳信号下的滤波方程，导出Wiener-Hopf方程。2．写出最优滤波器的均方误差表示式。3．试说明

最优滤波器满足正交性原理，即输出误差与输入信号正交。4．试说明Wiener-Hopf方程和Yule-Walker方程的主要区别。5．试说明随机信号的自相关阵与白噪声的自相关阵的主要区别。6．维纳滤波理论对信号和系统作了哪些假设和限制？自适应信号处理1．如何确定LMS算法的?值，?值与算法收敛的关系如何？2．什么是失调量？它与哪些因素有关？3．RLS 算法如何实现？它与LMS算法有何区别？4．什么是遗忘因子，它在RLS算法中有何作用，取值范围是多少？5．怎样理解参考信号d(n)在自适应信号处理处理中的作用？既然他是滤波器的期望响应，一般在滤波前是不知道的，那么在实际应用中d(n)是怎样获得的，试举两个应用例子来加以说明。功率谱估计 1. 为什么偏差为零的估计不一定是正确的估计？ 2. 什么叫一致估计？它要满足哪些条件？ 3. 什么叫维拉－辛钦

信息论期末考试试题

安徽大学2011—2012学年第1学期《信息论》考试试卷（AB合卷）院/系年级专业姓名学号一、填空题 1、接收端收到y后，获得关于发送的符号是x的信息量是。 2、香农信息的定义。 3、在已知事件z Z ∈的条件下，接收到y后获得关于事件x的条件互信息(;|) I x y z的表达式为。 4、通信系统模型主要分成五个部分分别为：。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。 6、某信源S共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为。 7、信道固定的情况下，平均互信息(;) I X Y是输入信源概率分布() P x的型凸函数。信源固定的情况下，平均互信息(;) I X Y是信道传递概率(|) P y x的型凸函数。8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为。 9、已知信源X的熵H(X)=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵 5 () H X= 。

信息论基础1答案

16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)