通信原理第二讲通信原理第二讲

李晓红李晓红www.lxh.lctu.cnwww.lxh.lctu.cn

1.41.4 信息及其度量信息及其度量•一 . 信息量

)]([ xpII 1. 原则 :

恒量信息多少的物理量

•① 信息量是概率的函数

②P(x) 越小，I 越大

P(x) 越大，I 越小

IP(x) 0

P(x) 1 I 0

•③ 若干个独立事件所含的信息量 = 每个独立事件所含信息量的和（可加性）

)]([)]([)]()([ 2121 xpIxpIxpxpI

2. 结论

)(log

)(

1log)]([

xp

xpxpII

a

a

单位：a=e nit （奈特）

a=10 Hartly （哈特莱）

a=2 bit （比特）

•【例 1 】 已知二元离散信源只有“ 0” 、“ 1” 两种符号，若“ 0” 出现概率为 1 ／ 3 ，求出现“ 1” 所含的信息量。

bitI 585.02

3log)1( 2

1log log ( )

( )a aI P xP x

例 2 ：消息 A 和 B 出现的概率分别为 0.765 和 0.023, 分别求出它们的信息量。

（ 1 ）、单一符号出现时的信息量计算

•例 3 ：设二进制离散信源，以相等概率发送数字信号 0 或者 1 ，计算每个符号出现时的信息量。

结论：对于等概的二进制波形，其每个符号（码元）所包含的信息量为 1bit

例 4 ：四进制离散信源，等概发送，求平均每个符号所含的信息量

同理， 8 进制独立等概，每一波形出现时的信息量？

对 于 离 散 信 源 ， M 个 波 形 等 概 率 （ P=1/M ）发送，且每一个波形的出现是独立的，即信源是无记忆的，则传送 M 进制波形之一的信息量为

MxPxP

I aa 2log)(log)(

1log

[ 例 5] 一信息源由 4 个符号 0 ， l ， 2 ， 3 组成，它们出现的概率分别为 3/8 ， l/4 ， l/4 ， l/8 ，且每个符号的出现都是独立的。试求某个消息 20l02013021300120321010032l0l0023l020020l0312032l00l202l0 的信息量。 在此消息中， 0 出现 23 次， l 出现 14 次， 2 出现 13 次， 3出现 7 次，消息共有 57 个符号。其中出现 0 的信息量为 23log28/3 ＝ 33 bit ，出现 1 的信息量为 14log24 ＝ 28 bit ，出现 2 的信息量为 13log24 ＝ 26 bit ，出现 3 的信息量为 7log28 ＝ 21 bit ，故该消息的信息量为 I=33+28+26+21=108bit平均（算术平均）一个符号的信息量应为

)/(89.157

108符号

符号数bit

II

1

( ) 1n

ii

P x

1

log ( )n

i a ii

I n P x

1 2

1 2( ) ( ) ( )n

n

x x x

P x P x P x

（（ 22 ）、对于由一串符号构成的消息信息量）、对于由一串符号构成的消息信息量的计算的计算假设各个符号的出现是相互独立的，根据假设各个符号的出现是相互独立的，根据信息量相加的概念，整个消息的信息量信息量相加的概念，整个消息的信息量

（（ 33 ）离散信源的平均信息量（信源熵）离散信源的平均信息量（信源熵 ))

每个符号所含信息的平均值（平均信息量）( 信源熵 ) ：

符号）(bit/ )(l)()(1

2

n

iii xPogxPxH

• 【例题 6 】 求例题 5 中消息的平均信息量。• 解

3 3 1 1 1 1 1 1

8 8 4 4 4 4 8 81.906 /

H Ib Ib Ib Ib

bit

因为消息有 57 个符号，所以该消息所含信息量为

I=57×1.906≈108.64bit

1

( ) ( ) log ( )n

i a ii

H X P x P x

•不同的离散信息源可能有不同的熵值。•期望熵值愈大愈好。

)/(log2 符号bitn

即 P(xi) ＝ l/n ， i ＝ l ， 2 ，…， n ，

信息源的最大熵发生在每一符号等概率出现时

最大熵值等于

•例 7 ：某信源的符号集由 A ， B ， C ， D ，E ，共 5 个符号组成，各符号间独立出现

•（ 1 ）若他们出现的概率分别为 7/16 ， 5/16 ， 3/16 ， 1/32 和 1/32 ，试求该信源符号的平均信息量

•（ 2 ）若各符号等概出现，计算该信息源符号的平均信息量

1.5 1.5 主要性能指标主要性能指标在设计或评价通信系统时，用主要性能指标来衡量其质量的优劣。 一：通信系统的性能指标（ 6 性）：有效性、可靠性、适应性、标准性、经济性及维护使用等等。 有效性：是指消息传输的“速度”问题； 可靠性：指消息传输的“质量”问题。

二、模拟通信系统的性能指标二、模拟通信系统的性能指标•1 、有效性：

占相同带宽下的传信能力大小来衡量

传输频带宽度

2 、可靠性：用接收端最终输出的信噪比衡量

均方误差 : 是衡量发送的模拟信号与接收端复制的模拟信号之间误差程度的质量指标。均方误差越小，说明复制的信号越逼真。

三、数字通信系统主要的性能指标 :有效性：传输速率

可靠性：差错率1 、传输速率①码元传输速率 RB( 码元速率、传码率，符号传输速率，波特率 ) 。

每秒钟传送码元的数目 单位为“波特” （ Baud ） ， “ B” 。•数字信号有多进制和二进制之分，但传码率与进制数无关，只与传输的码元长度 T 有关 :

1( )BR B

T=

例 8 ：某 2 进制调频波，一个“ 1” 或“ 0” 的持续时间为 T=833×10-6 秒，求 RB

•② 信息传输速率 Rb （信息速率 , 传信率、比特率）。

单位：比特 / 秒， bit/s ，或 b/s ，或 bps。

单位时间内传递的信息量

•例 9：若某信息源每秒钟传送 1200 个符号，而每一符号的平均信息量为 lbit ，求该信息源的信息速率。

HRR BMbM

★ 码元速率与信息速率在数值上的关系

(bit/s) log2 MRBM

在二进制下，码元速率与信息速率在数值上相等，只是单位不同

• 例 10 ：码元速率为 1200B ，采用 8 进制等概传输时，信息速率为多少？采用二进制传输时信息速率又是多少？

例 11 ：某信源的符号集由 A ， B ， C ， D ， E组成，每一符号独立出现，其出现的概率为 1/4 ，1/8 ， 1/8 ， 3/16 ， 5/16 ，信源以 1000B速率传送消息（ 1 ）求传送一小时的信息量（ 2 ）求传送一小时的最大信息量

• 例 13 某信源的符号集由 A ， B ， C ， D 所组成，各符号间独立。

• （ 1 ）若每个符号的时间宽度为 2ms, 计算：• ①各符号等概出现时的符号速率和平均信息速率• ② 各符号出现概率分别为 1/16 ， 3/6 ， 5/16 ， 7/

16 时的符号速率和平均信息速率• （ 2 ）若每个符号均以二进制脉冲编码 A-00 ， B-0

1 ， C-10 ， D-11 ，且每个脉冲宽度为 1ms，重复（ 1 ）计算

例 12 ：已知二进制信号在 3min内共传送了 7200 个码元问（ 1 ）其码元速率 RB2 和信息速率 Rb2（ 2 ）如果码元宽度保持不变，但改为 8 进制数字信号，其 RB 和 Rb 为多少？

•③ 频带利用率

)/( HzBB

RB

单位频带内的传输速率

)./( HzsbitB

Rb

频带利用率越大，有效性越好

• 2 、差错率（误码率和误信率）

① 误码率（码元差错率，误符号率） （ Symbol Error Rate, SER ）指发生差错的码元数在传输总码元数中所占的比例即码元在传输系统中被传错的概率

ep =错误码元数

传输总码元数

单位时间内错误接收的码元数 /单位时间内传输的总码元数

• 误信率（信息差错率，误比特率）（ Bit Error Rate, BER ）

传输总比特数错误比特数

bp

•在二进制中有 : Pb=Pe

•Pb 是指发生差错的比特数在传输总比特数中•所占的比例

( 码元的信息量在传输系统中被丢失的概率 )

• 例 14 ：已知：某四进制数字信号传输系统的信息速率为 2400bit/s, 在半小时内共接收到 216个错误码元，试计算系统 Pe的值

作业： 1-2 ， 1-4 ， 1-5 ， 1-6 ，1-7 ， 1-9请自己独立完成作业