信息论讲义-绪论

第一章绪论

主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。

重点：信息的基本概念。

难点：消息、信号、信息的区别和联系。

说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。课时分配：2个课时。

板书及讲解要点：

“信息”这个词相信大家不陌生，几乎每时每划都会接触到。不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。

1．1 信息论的形成和发展

信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。随着研究的保深入与发展，信息论具有了较为宽广的内容。

信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley，

L.V.R．)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。这一成果于1948年以《通信的数学理论》(A mathematical theory of communication)为题公开发表。这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作

出了独特的贡献。香农因此成为信息论的奠基人。

50年代信息论在学术界引起了巨大的反响。1951年美国IRE成立了信息论组，并于1955年正式出版了信息论汇刊。60年代信道编码技术有较大进展，使它成为信息论的又一重要分支。它把代数方法引入到纠错码的研究，使分组码技术发展到了高峰，找到了大量可纠正多个错误的码，而且提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破；提出了序列译码和Viterbi译码方法。

信源编码的研究落后于信道编码。香农1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。

到70年代，有关信息论的研究，从点与点问的单用户通信推广到多用户系统的研究。1972年盖弗(Cover)发表了有关广播信道的研究．以后陆续有关十多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止、多用户信息论研究得不多，还有许多尚待解决的问题。

1．2 信息论研究的分类和基本概念

任何一门科学都有它自己的基本概念，理解和掌握这些基本概念是学习这门科学的基础。传统科学的基本概念是物质和能量，而信息论的最基本和最重要的概念就是信息。

信息既是信息论的出发点，也是它的归宿。具体地说，信息论的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。

什么是信息？

当今社会，“信息”一词，在各种场合都被广泛采用，但如同数学中的“集合”一词一样，要给它下一个严格的定义却异常之难。即使是信息论的奠基人香农在其著名论文“通信的数学理论”中，也没有给信息下一个明确的定义。香农论文发表之后，由于其方法新颖，引来许多专家学者对信息进行深入研究，研究中碰到的首要问题就是要给“信息”一词下一个明确的定义。很多学者都给“信息”下过定义，流行的说法不下百种，而且对此还展开了一些重要的哲学争论，到现在为止还没有一个定论。各种说法要么出发点不同，要么所站角度不一样，有些甚至带有较明显的学科倾向，但都在一定层面上对信息概念做了描述。

信息：一个既复杂又抽象的概念。

广义：消息、情报、知识

把信息的形式、内容等全部包含在内

技术术语：计算机处理(通信传输)的对象——数据、文字、记录

指信息的具体表现形式（不考虑信息的具体内容）科学名词：统计数学、通信技术（用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化，因而也独立于形式。）它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念。

信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。

在信息论和通信理论中经常会遇到信息、消息和信号这三个既有联系又有区别的概念：

信息是事物运动状态或存在方式的不确定性的描述。——香农信息的定义人们从观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。

消息是指包含有信息的语言、文字和图像等。——感觉器官所感知

我们每天从广播、报纸和电视中获得各种新闻及其他消息。在通信中，消息指担负着传送信息任务的单个符号或符号序列。这些符号包括字母、文字、数字和语言等。

消息是具体的，它载荷信息，但它不是物理性的。

信号是消息的物理体现。——可测量

为了在信道上传输消息就必须把消息加载（调制）到具有某种物理特征的信号上去。

信号是信息的载荷子或载体，是物理性的。如电(光)信号.

在通信系统中，实际传输的是信号，但本质内容的是信息。

信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。

信息的基本概念在于它的不确定性，已确定的事物都不含信息。其特征有：○接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；

○信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；

○信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；

○信息是可以量度的，信息量有多少的差别

例气象预报：

1/2,1/4,1/8,1/8

()X p x ????=????????晴阴大雨小雨甲：

()1/4,1/4,1/4,1/4Y p y ????=????????晴阴大雨小雨乙：

“甲地晴”比“乙地晴”的不确定性来的小。

由此可知某一事物状态出现的概率越小，其不确定性越大，反之，某一事物状态出现的概率接近于1，即预料中肯定会出现的事件，那它的不确定性就接近于零。

某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目和各状态出现的概率大小有关。既然不确定性的大小能够度量，可见信息是可以测度的。

概率空间：??????=??????)(),(),(,,)(11n i n

i x p x p x p x x x x p X

样本空间：某事物各种可能出现的不同状态。

先验概率p (x i )：就是选择符号x i 作为消息的概率。

对x i 的不确定性可表示为先验概率p (x i )的倒数的某一函数。

自信息： )(1log )(i i x P x I =

互信息： )(1

log )(1log );(j i i j i y x p x P y x I -=

后验概率p (x i |y j )：接收端收到消息y j 后而发送端发的是x i 的概率

香农定义的信息概念在现有的各种理解中，是比较深刻的，它有许多优点。 ⑴它是一个科学的定义，有明确的数学模型和定量计算。

⑵它与日常用语中的信息的含意是一致的。

例如，设某一事件x i 发生的概率等于1，即x i 是预料中一定会发生的必然事件，如果事件x i 果然发生了，收信者将不会得到任何信息(日常含义)，不存在任何不确定性。

因为p (x i ) = 1，所以 0)(1log )(==i i x p x I

即自信息等于零。反之如果x i 发生的概率很小，一旦x i 果然发生了，收信者就会觉得很意外和惊讶，获得的信息量很大。

因为p(x i ) ＜＜1，故得： )(1

log )(i i x P x I ＞＞1

⑶定文排除了对信息一词某些主观上的含意。

根据上述定义，同样一个消息对任何一个收信看来说，所得到的信息量（互信息）都是一样的。因此，信息的概念是纯粹的形式化的概念。

但是，香农定义的信息有其局限性，存在一些缺陷。

首先，这个定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一种模型还值得探讨。

其次，这个定义和度量没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。

这就与实际情况不完全一致。

信息是信息论研究的主要内容。根据研究内容范围的大小，可对信息论进行分类：

狭义信息论：也称经典信息论。

主要研究：信息的测度

信道容量

信源编码

信道编码

这部分内容是信息论的基础理论，又称香农信息理论。

一般信息论

主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容是以美国科学家维纳为代表。

广义信息论

它不仅包括上述两方面的内容，而且包括所有与信息有关的自然和社会领域。 如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信的问题。

在本课程中，我们讨论的范围限于一般信息论之内。

1．3 一般通信系统模型

各种通信系统如电报、电话、电视、广播、遥测、遥控、雷达和导航等，虽

然它们的形式和用途各不相同，但本质是相同的。都是信息的传输系统。图1－1示的模型可解释各种通信系统中的一些共性问题，对这些共性问题进行总结分析，会得到一些重要的基本概念。

通常，实际的信息传输系统中，事知给定的是图中橙色框出的部分，即发出信息的信源，接收信息的信宿和传递信息的物理媒质信道，其余中间环节都是由人来设计的。信息传输性能的好坏，很大程度取决于这些中间环节设计的优劣。

1、信源、信宿和信道

信源是发送消息的源，根据其输出的性质，有离散信源和模拟信源之分。离教信源输出离散的符号或数字消息序列，如电报机输出在时间上离散的符号序列；模拟信源输出连续波形信号，如麦克风输出连续语音信号。

信源是信息论的主要研究对象之一，但在信息论中并不探讨信源的内结构和物理机理，而把注意力放在信源的输出上，重点讨论信源输出的描述方法及性质。

在认识主体看来信源的输出都是随机的（具有不确定性），同此，可将信源输出的消息视为某个随机实验的输出或某个随机变量的取值，因此，可用随机数学方法予以处理。另外，从等效的观点来看，图中每一个环节的输出都可视为一个等效信源的输出。信源的数学模型、不确定性测度以及信息度量。将在第二章介绍。

信宿取的是信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。

传输信息的物理媒介通常称为物理信道，如空气、双绞线、同轴电缆等。

物理信道的输入信号是S(t)，输出信号是R(t)。R(t)通常是S(t)的不完全复现。之所以不完全，是因为存在随机干扰信号，即噪声N(t)，对于加性噪声，有R(t)= S(t)+ N(t)。

各种物理信道都有其固有的通过频带。为了使载荷信息的信号频谱结构与信道的通过频带相匹配，在信号送入物理信道之前，必须对信号进行调制，即进行信号频谱迁移，这就是调制器的作用；当信号传送到信道输出端时，对信号进行解调，将信号复原。调制与解调技术，是“通信原理”课程重点讨论的内容之一。在本课程中，我们不专门讨论调制与解调技术，而是将两者与物理信道合并到一

起．作为一个等效信道来处理。

其实，图1中任一输入至任一输出之间的通道，都可看作是一个等效信道，信息论中研究的信道都是等效信道，所关心的问题是：在噪声干扰下，信道输入至输出之间的状态转移关系。

研究信道时，噪声是我们关注的重点。

噪声的来源很复杂，主要有以下几种情况：

⑴电路中由于元器件发热而产生的热噪声；

⑵电子和光子设备中的发射噪声；

⑶来源于地球、太阳以及其他宇宙体的电磁辐射。

实际上，图1中每个环节都存在噪声干扰，我们将全部噪声集中等效成一个加在信道上的噪声N(t)，这样做主要是为了分析方便。

第三章将讨论信道的数学模型，以及信道容量的概念和计算方注。

2、信源编码器与译码器

前面说过，信息传输系统中，通常给定的是信源、物理信道以及信宿，其余环节都是为保证有效通信而人为加入的。日常生活中进行信息传输时，有时不需要这些中间环节。如两人当面讲话，甲说乙听，甲是信源，乙是住宿，空气则是信道；甲发出的声波，直接通过空气传到乙，中间环节全无。若两人相隔很远，甲费尽全力喊话，由于声波在空气中传播，声波会逐渐衰减，所以乙还是听不见。这种情况下，必须借用别的通信手段，其中电通信是较好的选择之一。

要进行电通信，首先要把实际信源发出的非电信号，如声音、图像、文字等，转换成电信号，这个过程称为换能。换能的方法和技术，是“检测与转换”研究的内容，我们这里研究的信源，都是经过换能之后的等效信源，即图l中信源的输出已经是电信号。

以离散的情况为例，信源发出一个离散符号序列x =(x1…x1…x L)。该序列携带一定量的信息，这些信息分散在各个符号x i之中。从信息传输的角度看，总是希望信息传输的效率尽量高，即希望以最小的代价（如最短的时间、最小的能量等）传递尽可能多的信息。如果传送一个序列符号所耗时间是固定的，那就希望各个符号所携带的信息尽量多，理想情况下，希望各个符号携带的信息同样多，并达到最大。但实际信源未必如此。一般，信源发出的符号序列中，各符号携带信息的多少相差很大，即信息分布不均匀，因此有必要对这个符号序列加以变换，使得变换之后的序列信息分布均匀化，这种变换称为信源编码。

信源编码器所输出序列，其信息分布大致均匀，且接近最大。因此，编码之后的序列较“紧凑”，而编码之前的序列较“松散”（有信息的冗余），这种由“松散”变为“紧凑’”的过程也称数据压缩。总之，信源编码的实质就是为了去掉信

源中的信息冗余。

对于自然性质较好的离散信源，如我们今后要重点研究的离散无记忆信源，可以做到无失真编码。离散信源无失真编码的理论与方法，是第五章讨论的主题。

有些信源，不可能做到无失真编码。例如，为了进行数字通信，必须对模拟信源的输出进行采样，将其变为离散序列。这样，量化误差就不可避免了，即存在编码失真。允许一定失真的编码，称为限失真编码，其理论将在第四章讨论。

信源泽码是信源编码的逆过程，如果把信源编码视为变换或映射T1，信源泽码通常就是T1的简单求逆，即T1-1。

3、信道编码器与译码器

信道编码也可以看作是一种变换T2，主要作用是提高信息传送的可靠性。因为有噪声干扰，等效离散信道在传送某个信息位（或序列）时，总有出错的可能。比如说，信道的输入为“0”，但在输出端收到的可能是“1”。为了减小这种传送出错的可能性，最简中的办法是将这个“0”重复传送多次，如重复传送3次，即先将“0”变成“000”，再送入信道传送。把“0”变成“000”是由信道编码器来完成的。“000”中的第一个“0”是载荷信息的，称为信息位；后两位是为提高传送可靠性而加入的，不载荷信息，称为（信息）冗余位。信道编码通常是在信息序列中有目的地加入冗余，从而使其变“长”，这与信源编码的做法刚好相反。

由于噪声干扰，传送“000”或“111”时某些位可能出错，信道可能输出的是“000，001…，111”，要将其恢复成“0”或“1”，需要进行信道译码——变换T2-1。显然，T2-1不是T2的简单反变换。信道译码规则要根据信道的噪声特性而定，通常不是—一变换，而是多一变换。此问题比信源译码复杂得多，需专门讨论。信道编码与译码的有关问题，将在第六章讨论。

信息论研究的内容

归纳起来，信息论研究的内容，大致包括以下几个方面。

1、通信的统计理论研究

主要研究利用统计数学工具分析信息和信息传输的统计规律。其具体内容有：

⑴信息的测度㈩；⑵信息速率与熵；⑶信道传输能力—信道容量。

2、信源的统计特性

⑴文字(如汉字)、字母(如英文)的统计特性；⑵语音的参数分析和统计特件；

⑶图片及活动图像(电视)的统计特性；⑷其他信源的统计特性。

3、编码理论与技术的研究

⑴有效性编码：提高信息传输的有效率，主要针对信源的统计特性进行编码，也称信源编码。

⑵抗干扰编码：提高信息传输的可靠性，主要针对信道统的计特性进行编码；

也称信道编码。

4、提高信息传输效率的研究

⑴功率的节约；⑵频带的压缩；⑶传输时间的缩短，即快速传输问题。

5、抗干扰理论与技术的研究

⑴各种调制制式的抗干扰性；⑵理想接收机的实现

6、噪声中信号检测理论与技术的研究

⑴信号检测的最佳准则；⑵信号最佳检测的实现。

1．4 目前信息论的主要研究成果

1、语音信号压缩

语音信号一直是通信网中传输的主要对象。自从通信网数字化以来，降低语音信号的编码速率就成为通信中的一个重要问题。根据信息理论的分析，语音信号所需的编码速率可以远远低于仅按奈奎斯特采样定理和量化噪声分析所决定的编码速率。几十年来的研究工作已在这方面取得巨大的进展：

长途电话网标准的语音编码速率已从1972年原CCITT G.711标准中的64kbit/s，降低到 1995年原 CCITT G. 723.1标准中的 6.3 kbit/s。

在移动通信中，1989年欧洲GSM标准中的语音编码速率为13.2 kbit/s，1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6 kbit/s，IS-96是美国高通公司为CDMA移动通信研制的一种CELP编码，具有4种码速率。

对语音音质要求较低的军用通信，美国NSA标准的速率在1975年时已达到2.4 kbit/s。

目前，在实验室中已实现600bit/s的低速率语音编码，特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s，已接近信息论指出的极限。

2、图像信号压缩

图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便。经过多年的研究，到20世纪80年代，图像信号压缩逐步进入建立标准的阶段。

1989年 CCITT提出电视电话/会议电视的压缩标准H.261，其压缩比达到25:1到48:1左右。

1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG，其压缩比为24:1。

在运动图像方面，运动图像专家组（MPEG）继成功定义了MPEG-1和MPEG-2之后，于1993年7月开始制订全新的MPEG-4标准，并分别于1999年初和2000年初正式公布了版本1和版本2。到2001年10月，MPEG-4定义了19个视党觉（Visual Profile），其中新定义的简单演播室类和核心演播室类使MPEG-4 对

MPEG-2类别保留了一些形式上的兼容，其码率可高达2Gbit/s。随着MPEG-4标准的不断扩展．它不但能支持码率低于64kbit/s的多媒体通信，也能支持广播级的视频。

3、计算机文件的压缩

由于数据库的广泛应用，存储计算机文件所需的存储量问题日益突出。在过去的二十多年中对计算机文件的压缩已发展了至少二十余种不同的算法。

目前，各种压缩其法已在计算机中得到广泛的应用。

4、模拟话路中数据传输速率的提高

50年代初计算机开始在美国联网，当时模拟话路是几乎唯一可用的信道。

最早的调制解调器，其速率只有300 bit/s。

标称带宽 4 kHz，信噪比25 dB的话路信道的极限速率应在

信息论

25 k bit/s

在以后的三十多年中就开始了提高速率的长期的、极其成功的工作。

67年：速率为4800 bit/s ；71年：9600 bit/s；80年：开始进入14.4kbit/s 85年：利用多维网格编码调制，速率达到19.2 kbit/s ，非常接近于理论极限

5、降低信息传输所需的功率

在远距离无线通信，特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。

正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施。

根据信息理论的分析，采用低码率的信道编码可以降低传送单位比特所需的能量E b与噪声功率谱密度N0之比。现在利用不太复杂的信道编码就可以使同样误码率下所需的E b／N0比不采用信道编码时低 6 dB左右。其中一些好的方案（如用RS码作为外码、卷积码作为内码的方案）可以使误码率在10-5的情况下所需的

E b／N0降到0.2 dB，比不用信道编码时所需的10.5dB降低了近10dB。

6、计算机网中数据传输可靠性的保证

随着计算机技术的发展，计算机设备的布局变得愈来愈分散，各种终端及外围设备离主机也越来越远，这就产生了计算机网。近年来，由于计算机网还与分布式计算机系统相联系，因而变得更为重要。在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。一般情况下，局域网中的差错率在10-8左右，广域网中的差错率在10-3～10-5。这

样高的差错率在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。

差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验，这种方法已被各种网络通信协议采用并成为标准。例如ISO制定的高级数据链路协议（HDLC）就采用原 CCITT V.41的 CRC 码进行循环冗余检验，HDLC在全世出已被广泛采用，这一标准有很广的应用领域，许多协议都是从它派生出来的。

7、图像信号的复原与重建

图像信号的复原与重建是图像信号处理的一个重要内容，在实用中有很大的价值。20世纪 80年代以来，最大熵方法在图像复原与重建中取得了很大的成功。在退化图像复原中，图像退化的原因是多种多样的，如由于景物的运动、光学系统的不理想、噪声等等。图像重构的形式也很多，如计算机层析图像、结晶学研究中用的光学干涉仪或无线电干涉仪的图像、核磁共振波谱仪图像等。在这些应用中最大熵方法较其他方法优越的主要原因是其合理性，即所得结果是我们可以而且能够期望的最好结果。同时也有一些派生的好处，如在盲解卷时同时给出卷积函数，在重建图像中可以同时对仪器中的某些参数进行校正等等。

虽然最大熵方法在这些应用中目前还不能给出性能的解析表达式，但算法已比较成熟，如常用的剑桥算法等。

8、模式识别问题与树分类器的设计

模式识别是一个在很多学科中都遇到的问题，具有相当普遍的意义。按照这一概念，相同类别的模式在空间中有较短的距离，但什么是距离一直是一个令人困惑的问题。从统计分类以及统计信息的观点来看，熵、鉴别信息（交叉熵）与互信息是各种不同情况下可以选用的比较合理的距离量度。20世纪80年代以来，这一观点在模式分类中得到广泛承认并有重要的应用。

信息论基础各章参考答案

各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略）

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论与编码复习题目

信息论复习提纲 第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。 第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）； 4．最大信源熵定理及证明； 5．本章所有讲过的例题； 第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明； 3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题； 第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离

散信道、准对称离散信道）； 2．本章讲过的例题； 第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题； 第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）； 3．本章所有讲过的例题； 第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题； 第八章循环码 1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；

信息论基础— 绪论ch01.article

信息论基础—绪论 Contents 1 信息论简介1 1.1 什么是信息？. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 信息的特性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 信息、消息、信号之间的关系. . . . . . . . . . . . . . . . . . . . 2 1.4 通信系统模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.5 通信系统详细模型. . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.6 什么是信息论？. . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.7 信息论研究的对象. . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.8 信息论的分支. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.9 信息论的应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 信息论的发展历史5 3 通信的历史6 1 信息论简介 1.1 什么是信息？ ?通俗地说：信息是一种消息。 ?广义地说：信息是对物质存在和运动形式的一般描述。信息存在于客体间的差别中而不是客体本身中。 ?狭义地说：信息是为了消除不确定性所必须获得的东西。 1.2 信息的特性 ?信息是无形的。 ?信息是可共享的。 ?信息是无限的。 ?信息是可度量的。 1

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论与编码课程论文[1]

香农信息论的基本理论探究 制作者：陈喆指导老师：杜奕 【内容摘要】：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。 【关键词】：平均自信息信道容量信源编码霍夫曼码

1211()()log()q q i j i j i j H X X P a a a a ===-∑∑ 此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X 输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用1122() H X X 作为二维离散平稳信源X 的信息熵的近视值。 除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件： （1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。 （2） 信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。 马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第l 时间信源输出什么符号，不但与前一（l -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是： 121()lim ()N N H H X H X X X N ∞∞→∞== . 二．平均互信息 信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。 根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。 为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系： (|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ====== 传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。 我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。即信道疑义度： ,1(|)()log (|)X Y H X Y P xy P x y =∑ 这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量 (;)()(|)I X Y H X H X Y =-

信息论基础》试卷(期末A卷

《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论与编码理论1B卷答案

信息论与编码理论1（B 卷答案） 单项选择题（每题 3分；总计15分） 3 有5个1；则其自信息为200 _5log 2 3比特;整个序列的熵为100（2 log 2 3）比特/符号. 4 0.5 0.25 0.25 0.25 0.5 0.25 ;则其信道容量为log 23—1.5比 ■0.25 0.25 0.5 J 0.5 0.25 0.25 0.25 0.25 0.5 ;则其信道容量为log 2 3—1.5比特/符号。 J3.25 0.5 0.25一 1.当底为e 时；熵的单位为（ C )0 A 奈特 B 哈特 C 奈特/符号 D 哈特/符 2.下列关系式中（B ）正确。 A l(X ；Y)_l(X) B H(X,Y)_I(X;Y) C H(X |Y) _ H (Y | X) D 1 (X;Y) _ H (X;Y) 3.下列（D ）陈述是正确的。 A Shannon 编码是最优码 C Huffman 编码可以不需要知道信源的分布 B LZ 编码是异字头码 D 典型序列的数目不一定比非典型的多 4. 5. F 列数组中（ A F 列 (1 ； 1； D A ）不满足二个字母上的 Kraft 1） B （2 ； 2； 2； 2） C （3； 3； 不等式。 （4 ； 3) D 4； 4） 1 6 1 6 1 ? 2 1 3」 0.2 0.4 0.4 二、填空题（每空 1.若二元离散无记忆中 0.4 0.4 0.2 0.4 总计20 分） p(0) = 0.25 ； 0.4 0.2 1 3 2 3 1 <3 2 ? 3 1 3 2 3」 02 0.2 0.4、 ,0.4 0.4 0.2 p(1) =0.75 ;则当给出 100比特的信源序列；其中 2.若某离散信道信道转移概率矩阵为 特/符号；转移概率矩阵为

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（A卷）（半开卷） 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则 每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其 熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

(完整word版)西安电子科技大学信息论与编码理论讲义

《信息论》 讲义 204教研室 2005年11月

主要内容： 第一章绪论 第二章离散信源及其信息测度第三章离散信道及其信道容量第四章无失真信源编码 第五章有噪信道编码

第一章 绪论 信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。 奠基人——香农 1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。 1.1 信息的概念 人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。 如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。 什么是信息？——信息论中最基本、最重要的概念。 信息与“消息”、“情报”、“知识”、“情况”等的区别： “情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。 “知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。 “消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。 消息包含信息，是信息的载体。二者既有区别又有联系。 “信号”——消息的运载工具。 香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。 收信者： 收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。 存在“不知”、“不确定”或“疑问” 收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。 消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。 通信过程——消除不确定性的过程。 不确定性的消除，就获得了信息。 若原先不确定性全部消除了，就获得了全部的消息；若消除了部分不确定性，就获得了部分信息；若原先不确定性没有任何消除，就没有获得任何消息。 信息——事物运动状态或存在方式的不确定性的描述。 通信的结果——消除或部分消除不确定性而获得信息。 信息如何测度？ 信息量与不确定性消除的程度有关。消除了多少不确定性，就获得了多少信息量。 不确定性——随机性——概率论与随机过程。 样本空间——所有可能选择的消息的集合。 概率空间——样本空间和它的概率测度。],[P X

信息论基础与编码课后题答案第三章

3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求： （1）信源X 中事件1x 和2x 分别含有的自信息量； （2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3）信源X 和信宿Y 的信息熵； （4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5）接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明：信道传输矩阵为：

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学 模型。 解：设该信源符号集合为X

信息论基础理论与应用考试题及答案.doc

信息论基础理论与应用考试题 一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。 （考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q

（H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。 （考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无 记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则 称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力 劣于分组码。（错）（考点：卷积码的纠错能力） 三、名词解释（每题3分，共12分） 1 .信源编码

信息论基础答案2

《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。 若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最 大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高 斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不 等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号 的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长 就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度 四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。 试计算： （1）信源X中事件x的自信息量；（3分） （2）信源X的信息熵；（3分） （3）共熵H XY ; （ 3 分） （4）噪声熵H Y X ；（3分） （5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所 （3 分）

信息论基础1答案

信息论基础1答案

《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? ， 其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ∞ ；其能在每个自由度熵的最大熵是log （b-a ） bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为

16w，其概率密度函数是高斯分布时，差熵的 最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。 制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论基础及答案

《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同 的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

《信息论基础》课程教学大纲

《信息论基础》课程教学大纲 一、《信息论基础》课程说明 （一）课程代码：14131054 （二）课程英文名称：Information Theory （三）开课对象：信息管理与信息系统专业 （四）课程性质： 信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。本课程是信息管理与信息系统本科的专业课。它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。因而它是一门新兴科学，亦称为通信的数学理论。建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。要使学生领会信息论的基本思想，具备解决实际问题的能力。从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。 先修课程为概率论与数理统计 （五）教学目的： 本课程是信息管理与信息系统本科生的专业课，采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解Shannon信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。 （六）教学内容： 掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与Huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解R（d）函数与有失真的信源编码定理. （七）学时数、学分数及学时数具体分配 学时数： 36 分数： 2 （八）教学方式：采用多媒体教学方式 （九）考核方式和成绩记载说明 考试方式将结合平时作业、平时考核(40%)、期末考试(60%)的各个环节。使学生能够注重平时学习的过程，改变学生从应试型到能力型。考试内容侧重于基本概念、

信息论讲义11

第一章引论 1-1信息与信息科学 1-1-1信息的概念 ▲信息的定义：很难给出，信息的定义是信息论研究的一个基本内容。象物质，能量一样越基本的概念越难以给出明确的定义。 ▲信息的概念：信息是可以传递的，具有不确定性的消息（情报，指令，数据，信号）中所包含的表示事物特性的内容。 ▲几个要点： △信息不是事物的本身，信息是抽象的。而消息，情报，指令，数据等本身不是信息。 △Shannon认为：信息是关于环境事实的可以通信的知识。 △Winner认为：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容。 △近代人认为：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号，信息就是知识等。 △Shannon信息论认为：信息的多少等于无知度的大小。人们已知的消息不是信息，而好象，大概，可能之类的不确切的内容包含着信息。（不能说信息冗余、信息压缩）1-1-2信息科学 ▲信息科学是研究信息的概念，相关理论和应用的科学，信息科学是一门新兴科学，边缘学科。 ▲信息科学的特点：（1）多学科--它与许多基础科学和应用技术有关，互相渗透，如数学，逻辑学，心理学，语言文字学，生物学，控制论，计算机科学，通信技术，仿生学，人工智能技术。（2）产业化--它应用服务于国民经济和社会生活的各个方面，从而形成一个新兴产业----信息产业。 ▲信息科学的研究范围： ☆信息源：自然信息源（物理，化学，天体，地理，生物）；社会信息源（管理，金融，商业）；知识信息源（古今中外） ☆信息载体：第一载体（语言）；第二载体（文字）；第三载体（电磁波）。 ☆信息的采集与转换：传感器，雷达，视，听，触，力，声光热点磁。 ☆信息的传输：光，电磁波，神经，意念。 ☆信息的存储与处理：计算机，视听系统。 1-1-3信息的性质 ⑴信息的可扩充性：相对物质和能量而言，信息资源没有限度，永远不会耗尽，而且回越来越多，信息爆炸，知识爆炸，能源危机。 ⑵信息的可压缩性：通过人脑的归纳和综合，信息可精炼和压缩，产生专家系统，知识库。 ⑶信息的可替代性：信息可替代有形物质，信息出口，情报出口。 ⑷信息的可传递性：人与人之间，人与物之间，细胞，天体之间。 ⑸信息的可扩散性：总是以各种方式向外部扩散，绝对保密是无法实现的。 ⑹信息的可共享性：信息无法垄断，不能做转手交易。