信息论讲义(2讲)

信息论

第2讲

北京航空航天大学

201教研室

陈杰

buaa201gcss@https://www.docsj.com/doc/103286614.html, PWD:buaaf615

2

第一章小结

1.信息论：经典信息论

工程信息论广义信息论

2.信息的概念：通俗信息概念

广义信息概念概率信息概念

3.信息：抽象概念，研究对象，含于消息

消息：比较具体，非物理量，信息的载荷者信号：最具体，表示消息的物理量，可测量、

可显示、可描述，消息的载荷者

4.通信系统的模型：

第一章小结（续）

通

信

系

统

干扰源窃听者模

型

3

2.5 连续随机变量的互信息和相对熵

2.5.1 连续随机变量的互信息

?定义

?熵的性质

2.5.2 连续随机变量的相对熵

?连续随机变量的自信息量

?相对熵、联合熵、条件熵

?性质

4

5

?

连续随机变量的互信息

连续随机变量集XY ，事件x , p (x ) ≥0和事件y , p (y ) ≥0之间的互信息定义为

00

()() lim log

()()x y p x y p y x y

p x xp y y Δ→Δ→ΔΔ=ΔΔ00

()(;)lim log

()def

x y p x y x I x y p x x

Δ→Δ→Δ=Δ()

log

()()

p xy p x p y =

6

?连续随机变量的平均互信息

连续随机变量集合X 和Y 之间的平均互信息量(Mutual Information)定义为

()

(;)()log ()()

def

p xy I X Y p xy dxdy

p x p y ∞

?∞=∫∫

7

?连续随机变量的平均互信息的性质（１）非负性

当且仅当连续随机变量X 和Y 统计独立时等号成立。

（２）对称性

(;)0

I X Y ≥(;)(;)

I X Y I Y X =

8

?连续随机变量

令随机变量X 的取值区间是(a ,b )，a

成n 段，等间隔，那么X 处于第i 个小区

间的概率为

事件x i

b a

n

?Δ=()i i p p x Δ=?Δ

log log[()]

i i p p x ?Δ=??Δ

9

?连续r.vX 的平均自信息量为

?当n →∞,Δi →0时，定义绝对熵

()()log[()]

i i i

H X p x p x Δ=??Δ??Δ∑()H X Δ→∞

0()log H X Δ

＝-()[log ()]()[log ]i i i i i

p x p x p x =???Δ??Δ?Δ

∑∑

10

?连续随机变量的相对熵(Differential Entropy)

称为连续随机变量的相对熵，或微分熵，简称为熵。

()()log ()C H X p x p x dx

∞

?∞

=?∫

11

?连续r.v.的联合熵(Joint Entropy)

?连续r.v.的条件熵(Conditional Entropy)

()()log ()C H XY p xy p xy dxdy

∞

?∞

=?∫∫(|)()log (|)C H X Y p xy p x y dxdy

∞

?∞=?∫∫

?性质（1）

（2）（3）

()()()

C C C

H XY H X H Y X

=+

()()()

C C C

H XY H Y H X Y

=+

(;)(;)

()(|)

()(|)

C C

C C

I X Y I Y X

H X H X Y

H Y H Y X

=

=?

=?

(|)()

(|)()

C C

C C

H X Y H X

H Y X H Y

≤

≤

12

13

例2.10连续随机变量X ，其概率密度函数

(1) 试求信源X 的熵H c (X )；

(2) 试求Y = X + A (A > 0)的熵H c (Y)；(3) 试求Y = 2X 的熵H c (Y )。

??

?≤≤=其他

0)(2

a x bx

x p

14

解:(1)2()()log ()()log c R R

H X f x f x dx f x bx dx

=?=?∫∫2

log ()()log R

R

b f x dx f x x dx

=???∫∫2

log 2log R

b b x xdx

=??∫3

3

2 log log

9ba a

b e =??3

3

(),()1

33

X X bx ba

F x F a ===∵3

2()log log 3c a

H X b bit

e

∴=???

15

解:(2)00, x a y A a ≤≤?≤?≤∵()()Y F y P Y y =≤2

()()()

f y F y b y A ′∴==?2

()log ()R f y b y A dy

=??∫()()log ()c R

H Y f y f y dy =?∫3

3

2log log 9ba a

b bit

e

=?? A y a A

∴≤≤+2

log 2()log()()

R

b b y A y A d y A =?????∫3()13

Y ba F a A ?+==3

2log log 3a

b bit

e

=???23

()3y A A b bx dx y A ?==?∫()P X A y =+≤()

P X y A =≤?

16

解:(3)002y

x a a ≤≤?≤≤∵()()Y F y P Y y =≤2

()()8b f y F y y

′∴==2

()log

8

R

b f y y dy

=?∫()()log ()c R

H Y f y f y dy =?∫3

33

292log log 93

ba a ba

b bit

e ?=??+02y a

∴≤≤2

log ()()log 8R R b f y dy f y y dy

=???∫∫3(2)13Y ba F a ?==3

2()log log 1 3c a

H Y b bit

e

∴=???+2320 24y

b bx dx y ==∫(2)P X y =≤()

2y

P X =≤

17

第二章小结

?信息的描述

1.自信息量：简单事件联合事件

2.条件自信息量：

3.互信息量：

4.条件互信息量：

()()

log def

i i I x p x =?()()

log def

i j i j I x y p x y =?()()

|log |def

i j i j I x y p x y =?(|)log

()def

i j i p x y p x =(|)(;|)log

(|)

i j k i j k i k p x y z I x y z p x z =I (x i ;y j )11log log

()(|)i i j p x p x y =?

自信息量

条件信息量

(;)(;)

i j k i j I x y z I x y =?

18

第二章小结

?信息的度量

1.信息熵：

2.条件熵：

3.联合熵：

4.平均互信息量：()1

()log ()

q

def

i i i H X p x p x ==?∑(,)()()

def

i j i j XY

H X Y p x y I x y =∑(;)()(;)

def

j j Y

I X Y p y I X y =∑()()()

def

i j j i XY

H Y X p x y I y x =∑()log()

def i j j i XY

p x y y x =?∑()log ()

def i j i j XY

p x y p x y =?∑ ()(;)

def

i j i j XY

p x y I x y =∑

19

?信息的度量

1.信息熵数学性质

?对称性:H (p 1, p 2, …p q )= H (p 2, p 1,…p q )?非负性: H (p 1, p 2, …p q ) ≥0

?

扩展性: ?可加性

?极值性:?确定性:?

上凸性: H (X )是(p 1, p 2, …p q )的上凸函数

112120

lim (,,,,)(,,,)q q q q H p p p H p p p εεε+→?= 12(,,,)log n H p p p n

≤ (1,0)(1,0,0)(1,0,0,0)(1,0,,0)0H H H H =====

20

?信息的度量

1.平均互信息量的性质：

?非负性

?

互易性(对称性)

?极值性?

凸函数性

(;)0I X Y ≥(;)()(;)()

I X Y H X I X Y H Y ≤≤(;)(;)

I X Y I Y X =

信息论基础各章参考答案

各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略）

信息论讲义11

第一章引论 1-1信息与信息科学 1-1-1信息的概念 ▲信息的定义：很难给出，信息的定义是信息论研究的一个基本内容。象物质，能量一样越基本的概念越难以给出明确的定义。 ▲信息的概念：信息是可以传递的，具有不确定性的消息（情报，指令，数据，信号）中所包含的表示事物特性的内容。 ▲几个要点： △信息不是事物的本身，信息是抽象的。而消息，情报，指令，数据等本身不是信息。 △Shannon认为：信息是关于环境事实的可以通信的知识。 △Winner认为：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容。 △近代人认为：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号，信息就是知识等。 △Shannon信息论认为：信息的多少等于无知度的大小。人们已知的消息不是信息，而好象，大概，可能之类的不确切的内容包含着信息。（不能说信息冗余、信息压缩）1-1-2信息科学 ▲信息科学是研究信息的概念，相关理论和应用的科学，信息科学是一门新兴科学，边缘学科。 ▲信息科学的特点：（1）多学科--它与许多基础科学和应用技术有关，互相渗透，如数学，逻辑学，心理学，语言文字学，生物学，控制论，计算机科学，通信技术，仿生学，人工智能技术。（2）产业化--它应用服务于国民经济和社会生活的各个方面，从而形成一个新兴产业----信息产业。 ▲信息科学的研究范围： ☆信息源：自然信息源（物理，化学，天体，地理，生物）；社会信息源（管理，金融，商业）；知识信息源（古今中外） ☆信息载体：第一载体（语言）；第二载体（文字）；第三载体（电磁波）。 ☆信息的采集与转换：传感器，雷达，视，听，触，力，声光热点磁。 ☆信息的传输：光，电磁波，神经，意念。 ☆信息的存储与处理：计算机，视听系统。 1-1-3信息的性质 ⑴信息的可扩充性：相对物质和能量而言，信息资源没有限度，永远不会耗尽，而且回越来越多，信息爆炸，知识爆炸，能源危机。 ⑵信息的可压缩性：通过人脑的归纳和综合，信息可精炼和压缩，产生专家系统，知识库。 ⑶信息的可替代性：信息可替代有形物质，信息出口，情报出口。 ⑷信息的可传递性：人与人之间，人与物之间，细胞，天体之间。 ⑸信息的可扩散性：总是以各种方式向外部扩散，绝对保密是无法实现的。 ⑹信息的可共享性：信息无法垄断，不能做转手交易。

(完整word版)西安电子科技大学信息论与编码理论讲义

《信息论》 讲义 204教研室 2005年11月

主要内容： 第一章绪论 第二章离散信源及其信息测度第三章离散信道及其信道容量第四章无失真信源编码 第五章有噪信道编码

第一章 绪论 信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。 奠基人——香农 1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。 1.1 信息的概念 人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。 如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。 什么是信息？——信息论中最基本、最重要的概念。 信息与“消息”、“情报”、“知识”、“情况”等的区别： “情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。 “知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。 “消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。 消息包含信息，是信息的载体。二者既有区别又有联系。 “信号”——消息的运载工具。 香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。 收信者： 收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。 存在“不知”、“不确定”或“疑问” 收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。 消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。 通信过程——消除不确定性的过程。 不确定性的消除，就获得了信息。 若原先不确定性全部消除了，就获得了全部的消息；若消除了部分不确定性，就获得了部分信息；若原先不确定性没有任何消除，就没有获得任何消息。 信息——事物运动状态或存在方式的不确定性的描述。 通信的结果——消除或部分消除不确定性而获得信息。 信息如何测度？ 信息量与不确定性消除的程度有关。消除了多少不确定性，就获得了多少信息量。 不确定性——随机性——概率论与随机过程。 样本空间——所有可能选择的消息的集合。 概率空间——样本空间和它的概率测度。],[P X

信息论基础 答案2

《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器,该放大器输出的最大瞬时电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 无穷大 ；其能在每个自由度熵的最大熵是 ()log b-a . 2、高斯白噪声信道是指 信道噪声服从正态分布,且功率谱为常数 。 3、若连续信源的平均功率为5 W ，则最大熵为12log10π ? e ，达到最大值的条件是 高斯信道 . 4、离散信源存在剩余度的原因是 信源有记忆(或输出符号之间存在相关性） 和 不等概 。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为 0 ，最大熵为 3 bit 。 8、一个事件发生概率为0。125，则自信息量为 3 bit 。 9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<" ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X 二、判断题（正确打√,错误打×)（共5分，每小题1分） 1) 离散无记忆等概信源的剩余度为0。 ( √ ） 2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍 ( √ ） 3) 互信息可正、可负、可为零。 （ √ ） 4) 信源的真正功率P 永远不会大于熵功率P ，即P P ≤ （ × ） 5) 信道容量与信源输出符号的概率分布有关。 ( × ） 三、（5分）已知信源的概率密度函数()p x 如下图所示，求信源的相对熵 0.5

信息论基础复习提纲

第一章 绪论 1、什么是信息？香农对于信息是如何定义的。 答：信息是事物运动状态或存在方式的不确定性的描述(Information is a measure of one's freedom of choice when one selects a message )。 2、简述通信系统模型的组成及各部分的含义。 答：（1）、信源：信源是产生消息的源。信源产生信息的速率---熵率。 （2）、编码器：编码器是将消息变成适合于信道传送的信号的设 备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。 （3）、信道：信道是信息传输和存储的媒介。 （4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。 （5）、信宿：信宿是消息的接收者（人或机器）。 3、简述香农信息论的核心及其特点。 答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 （2）、特点：①、以概率论、随机过程为基本研究工具。 ②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。 ③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。 ④、要求信源为随机过程，不研究信宿。 第二章 信息的度量 2.1 自信息和互信息 1、自信息（量）： （1）、定义：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。某个消息i x 出现的不确定性 的大小定义为自信息，用这个消息出现的概率的对数的负值来表示： ()()() i i i x p x p x I 1 log log =-=

信息论讲义-第五章(13讲)

信息理论基础
第13讲 北京航空航天大学 201教研室 陈 杰

回 顾
1. 编码器
—信源符号集 —码符号集 —代码组(Source Code ) —码 字(Codeword )
2. 分组码
S=(s1,s2, …sq) X=(x1,x2…xr) C=(W1, W2,…Wq) Wi=(xl1,xl2,…xli)
— 奇异性 (Non-singular ) — 唯一可译性 (Uniquely decodable ) — 即时码 (Instantaneous)
2

回 顾
All codes Non-singular codes Uniquely decodable codes
Instantaneous codes
Figure 5.1. Classes of codes
3

回 顾
3. 定长编码 3.1 唯一可译定长码
log q L log q +1 > l = ≥ log r N log r
编码速率 编码效率
L log r R= ≥ log q N
例: 英文字符数q=27, 且log2q=4.754 bit 信源熵 H(S)=4.03 bit, 取编码速率R=log2q 则编码效率 η=85%
H (S ) H (S ) η= ≤ R log q
4

回 顾
3. 定长编码 3.2 定长码编码定理 (1) 正定理：
L log r ≥ H (S ) + ε R= N D[ I ( si )] pE ≤ Nε 2
pE → 0
(2) 逆定理：
L log r ≤ H ( S ) ? 2ε R= N
pE ≥ 1 ? 2 ? N ε
pE → 1
5

信息论讲义-绪论

第一章绪论 主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。 重点：信息的基本概念。 难点：消息、信号、信息的区别和联系。 说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。课时分配：2个课时。 板书及讲解要点： “信息”这个词相信大家不陌生，几乎每时每划都会接触到。不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。 1．1 信息论的形成和发展 信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。随着研究的保深入与发展，信息论具有了较为宽广的内容。 信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley， L.V.R．)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。这一成果于1948年以《通信的数学理论》(A mathematical theory of communication)为题公开发表。这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作

信息论基础复习提纲

哈尔滨医科大学生物信息科学与技术学院 第一章绪论 1、什么是信息？香农对于信息是如何定义的。 答：信息是事物运动状态或存在方式的不确定性的描述(Information isameasureofone'sfreedomofchoice whenoneselectsamessage)。 2、简述通信系统模型的组成及各部分的含义。 答：（1）、信源：信源是产生消息 的源。信源产生信息的速率---熵率。 （2）、编码器：编码器是将消 息变成适合于信道传送的信号的设 备。包括信源编码器（提高传输效率）、信道编码器（提高传输可靠性）、调制器。 （3）、信道：信道是信息传输和存储的媒介。 （4）、译码器：译码是编码的逆变换，分为信道译码和信源译码。 （5）、信宿：信宿是消息的接收者（人或机器）。 3、简述香农信息论的核心及其特点。 答：（1）、香农信息论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并 得出了信源编码定理和信道编码定理。 （2）、特点：①、以概率论、随机过程为基本研究工具。 ②、研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。 ③、关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。 ④、要求信源为随机过程，不研究信宿。 第二章信息的度量 2.1自信息和互信息 1、自信息（量）： （1）、定义：一个事件（消息）本身所包含的信 息量，它 Ixi 1 logpxilog pxi 是由事件的不确定性决定的。某个消息xi出现的不确定性 的大小定义为自信息，用这个消息出现的概率的对数的负值来表示：

信息论基础第-1- 页共11页

信息论基础 答案2

《信息论基础》答案 一、填空题(共15分,每空1分) 1、若一连续消息通过某放大器,该放大器输出的最大瞬时电压为b,最小瞬时电压为a 。 若消息从放大器中输出,则该信源的绝对熵就是 无穷大 ;其能在每个自由度熵的最 大熵就是 ()log b-a 。 2、高斯白噪声信道就是指 信道噪声服从正态分布,且功率谱为常数 。 3、若连续信源的平均功率为 5 W,则最大熵为12log10π ? e ,达到最大值的条件就是 高斯信道 。 4、离散信源存在剩余度的原因就是 信源有记忆(或输出符号之间存在相关性) 与 不等概 。 5、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时,码字长度就是变化的。根据信源符号 的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就 可以降低,从而提高编码效率。 7、八进制信源的最小熵为 0 ,最大熵为 3 bit 。 8、一个事件发生概率为0、125,则自信息量为 3 bit 。 9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X 二、判断题(正确打√,错误打×)(共5分,每小题1分) 1) 离散无记忆等概信源的剩余度为0。 ( √ ) 2) 离散无记忆信源N 次扩展源的熵就是原信息熵的N 倍 ( √ ) 3) 互信息可正、可负、可为零。 ( √ ) 4) 信源的真正功率P 永远不会大于熵功率P ,即P P ≤ ( × ) 5) 信道容量与信源输出符号的概率分布有关。 ( × ) 三、(5分)已知信源的概率密度函数()p x 如下图所示,求信源的相对熵 0.5