信息论 information theory

通信与信息基础教学部 1

信息论Information Theory

蒋青[email protected]： 62460517

信息论课件信息论课件



2 离散信源及其信息测度 2.1 信源的数字模型及分类 2.2 离散信源的信息量和信息熵 2.3 信息熵的基本性质 2.4 信息熵的唯一性定理 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵



2.1 信源分类按照消息取值集合以及取值时刻集合的

离散性和连续性分类（表 2.1 ）按照信源输出消息所对应的随机序列的

平稳性，信源可分为平稳信源和非平稳信源；

按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，信源可分为无记忆信源和有记忆信源。



表 2.1

消息 ( 信号 ) 取值的集合

消息 ( 信号 )取值时刻的集合

信源种类

离散离散离散信源 (Discrete source)/数字信源 (Digital source)

连续连续波形信源 Waveform

source/ 模拟信源 (Analog source)

连续离散连续信源(Continuous source)

离散连续



可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及概率测度——概率空间来描述信源。

不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。



信源输出的消息由随机变量描述

离散信源的数学模型

并满足

1 2

1 2

, , ,

( ), ( ), , ( )( )q

q

a a aX

P a P a P aP x

1

( ) 1q

ii

P a



信源输出的消息由随机变量描述

连续信源的数学模型

并满足

( , )

( ) ( ) ( )

X a b

p x p x p x

或

R

( ) 1 ( ) 1b

a Rp x dx p x dx 或



信源输出的消息由随机矢量描述

多维离散信源：很多实际信源输出的消息往往是由一系列

符号序列所组成。一般情况下，信源输出的随机序列的统计

特性比较复杂，分析起来也比较困难。为了便于分析，假设信源输出的是平稳的随机序列，即序列的统计特性与时间的推移无关。



多维离散信源的数学模型信源的 N 重概率空间为

)()()(

)()()(

)( 211111

211111

qqq

qqqN

aaapaaapaaap

aaaaaaaaa

XP

X

这个空间共有元素个Nq



总结：信源的分类图

离散无记忆信源离散有记忆信源及其描述连续平稳信源


2.2 离散信源的信息量和信息熵



自信息量定义某事件发生所含有的信息量应该是事件发生的

先验概率的函数。

函数 f [P(ai)] 应满足以下条件： f (Pi) 应是先验概率 P(ai) 的单调递减函数，即当

P1(a1)> P2 (a2)时 f (P1) < f (P2) 当 P(ai) =1 时， f (Pi) =0 当 P(ai) =0 时， f (Pi) =∞ 两个独立事件的联合信息量应等于它们各自的信息

量之和。即统计独立信源的信息量等于它们各自的信息量之和。

) ( )i iI a f P a（



自信息量定义自信息量

I(ai) 代表两种含义：当事件 ai 发生以前，表示事件 ai 发生的不确定性；当事件 ai 发生以后，表示事件 ai 所含有（或所提供）的信息量。

在无噪信道中，事件 ai 发生后，能正确无误地传输到收信者，所以 I(ai) 可代表接收到消息 ai

后所获得的信息量。

)(log)(

1l)( i

ii aP

aPogaI



自信息量定义自信息量的单位：

以 2 为底的对数时单位是“比特”（ bit — binary unit 的缩写）

以 e 为底时单位是“奈特”（ nat — nature unit 的缩写）

以 10 为底时单位是“哈特”（ Hart — Hartley 的缩写）



自信息量与确定度的关系

收到某消息获得的信息量 = 不确定性减少量 = （收到此消息前关于某事件发生的不确定性） - （收到此消息后关于某事件发生的不确定性）

无噪声传输时：收到某消息获得的信息量 = 收到此消息前关于某事件发生的不确定性 = 信源输出的某消息中所含有的信息量自信息量和该事件的不确定度的含义有本质的区别



联合自信息量定义：若有两个消息 xi， xj 同时出现，

可用联合概率 P(xi， xj) 来表示，这时的自信息量定义为

),(log),( jiji yxpyxI



当 xi和 xj 相互独立时，有P(xi， xj)= P(xi)P(xj) ，那么就有 I(xi， xj)= I(xi)+ I(xj)



条件自信息量定义：设在 yj 条件下，随机事件发生 xi

的条件概率为 P(xi/yj) ，则 xi 的出现所带来的信息量被称为它的条件自信息量，表示为

)/(log)/( jiji yxpyxI

P(xi/yj) 的含义：收端收到 yj 后，推测信源发 xi 的概率。



自信息量、条件自信息量和联合自信息量之间的关系：

I(xi， xj)= -logP(xi) P(yj /xi)= I(xi)+ I(yj /xi) = -logP(yj) P xi / yj)= I(yj)+ I(xi /yj)



互信息量定义：对两个离散随机事件集合 X和

Y ，事件 yj 的出现给出关于事件 xi 的信息量，定义为事件 xi、 yj 的互信息量，用I(xi ; yj) 表示。

)(

)|(l);(

i

jiji xP

yxPogyxI

)/()()( jiiji yxIxIyxI ；

互信息量的性质：



例：设有两个离散信源集合

4.06.0

10

)(21 aa

XP

X )10 21 bbY

其中

4

1

4

36

1

6

5

)/()/(

)/()/()/(

2221

1211

abpabp

abpabpxyP

求：

自信息量

条件自信息量

互信息量

)( iaI

)/( ji baI

);( ji baI



条件互信息量定义：条件互信息量是在给定 zk 条件下，事件 yj 的出现所提供的有关 xi 的信息量，用I(xi； yj|zk) 表示或用 I[(xi； yj)|zk] 表示。

)/(

)|(log)|(

ki

kjikji zxP

zyxPzyxI ；



条件互信息量假设 XYZ 空间的事件 xi、 yj、 zk ，那

么事件 yjzk 出现后，从 yjzk 中获取关于xi 的信息量是多少呢？

如果把 yjzk 看作一个事件，有

)(

)|(l);(

i

kjikji xP

zyxPogzyxI



条件互信息量条件互信息量和条件信息量的关系

)/()/(

)/()/()|(

kijkj

kjikikji

zxyIzyI

zyxIzxIzyxI

；

即：条件互信息量可用条件信息量表示



离散信源的信息熵 Entropy 离散随机变量 X 的信息熵就是其概率空

间中每个事件所含有的自信息量的数学期望

1

( ) ( ) ( ) log ( )q

i i ii

H X E I a P a P a



例 : 二进制通信系统的信源空间为

)0()1(:)(

01::][

PPPP

X

XX

求该信源的熵

解 : 设 P(1)=p ，则 P(0)=1-p。

H(X) = - p logp - (1-p) log(1-p)

上式又称为二进制熵函数，也常用 H(p) 表示

当 p = 0或 p =1 时， H(X) = 0； p = 1/2 时， H(X) =1



信息熵的物理含义：信息熵 H(X) 表示了信源输出前，信源的平

均不确定性；信息熵 H(X) 表示了信源输出后，每个消息

或符号所提供的平均信息量；信息熵 H(X) 反映了随机变量 X 的随机性。



条件熵

上面讨论的是单个离散随机变量的概率空间的不确定性的度量问题。然而，在实际应用中，常常需要考虑两个或两个以上的概率空间之间的相互关系，此时就要引入条件熵的概念。



条件熵

定义：在联合集 XY 中，把条件自信息量的概率加权平均值定义为条件熵。其定义式为：

XYXY

YX

)|(lb)()|(lb)|()(

)/()()|(1 1

yxPxyPyxPyxPyP

baIbapHq

i

m

jjiji



条件熵物理含义：称： H(X/Y) 为信道疑义度。称： H(Y/X) 为信道噪声熵或散步度。



举例：已知信源， XY 构成的联合概率为

10，、 YX

计算条件熵 H（ X/Y）

8

111(00( 2211 ），）， bapbap

8

301(10( 1211 ），）， bapbap



联合熵定义：在联合集 XY 中，把每对元素 aibj

的自信息量的概率加权平均值定义为联合熵。其定义式为：

XY

XY

)(l)(

)()()(1 1

xyogPxyP

baIbapHq

i

m

jjiji

联合熵的性质：



平均互信息量定义：两个离散随机事件集合 X和 Y ，若

其任意两事件间的互信息量为 I(xi； yj) ，则其联合概率加权的统计平均值，称为两集合的平均互信息量，用 I(X； Y) 表示。

XYXY

XYX

);()()(

)|(lb)(

)(

)|(lb)|()();()();(

1 11

yxIxyPxP

yxPxyP

xP

yxPyxPyPyIyPI

N

i

M

j i

jijij

M

jjj

物理含义



平均互信息量的几点讨论 I(X; Y) = H(X) –H(X/Y) I (Y; X) = H (Y) – H (Y/X) I (X; Y) = H(X) + H(Y) – H(XY) 平均互信息量的性质



多变量之间的平均互信息两组多元随机变量之间的平均互信息

)()()(

)/()()/()();(

XYZHYZHXH

XYZHYZHYZXHXHYZXI

条件平均互信息

)()()()(

)/()/()/()/()/;(

YZHXYZHZHXZH

XZYHZYHYZXHZXHZYXI

)/;();(

)/()/()/()()/()();(

YZXIYXI

YZXHYXHYXHXHYZXHXHYZXI



总结：各类熵之间的关系



例：已知信源空间

5.05.0:)(

: :][ 21

X

XX

P

xxP

信道特性如图所示： 0.98

x1 y1

x2 y2

0.80

求：在该信道上传输的平均互信息量 I (X; Y) ，疑义度 H(X|Y) ，噪声熵 H(Y|X) 和共熵 H(XY)。



熵函数性质离散信源的数学模型

1 2

1 2

, , ,

( ), ( ), , ( )( )q

q

a a aX

P a P a P aP x



信息熵的基本性质用一个概率矢量 P 表示离散信源 X 的

概率分布，即令

则信息熵可表示为 P 的函数：

又称 H(P) 为熵函数。

1 2 1 2( ( ), ( ), , ( )) ( , , , )q qP a P a P a p p p P

1

1 21

( ) ( ) log ( )

log ( , , , ) ( )

q

i ii

q

i i qi

H X P a P a

p p H p p p H

P



熵函数性质 (1) 对称性：变量的顺序任意交换，不改

变熵函数的值。

(2) 确定性：信源为一个确知信源，则信息熵等于零。为一确知信源

1 2 2 3 1

1 1

( , , , ) ( , , , , )

( , , , )

q q

q q

H p p p H p p p p

H p p p

(1,0) (1,0,0) (1,0, ,0) 0H H H



熵函数性质 (3) 非负性

(4) 扩展性：若信源符号集中增加了若干符号，当这些符号出现的概率很小时，信源的熵不变。

1 21

( ) ( , , , ) log 0q

q i ii

H H p p p p p

P

1 1 2 1 20lim ( , , , , ) ( , , , )q q q qH p p p H p p p



熵函数性质

(5) 可加性：统计独立的两个信源 X 和 Y ，有

H( X Y )=H( X )+H( Y )证明：



(6) 强可加性：任意两个相互关联的信源 X 和 Y ，其联合熵等于

H( X Y )=H( X )+H( Y / X )

或 H( X Y )=H( Y )+H( X / Y )

证明：



熵函数性质 (7)

(8) 条件熵小于信源熵即

( ) ( ) ( )H XY H X H Y

H(Y|X)< H(Y)

当且仅当 Y 和 X 相互独立时，等号成立



熵函数性质 (9) 递增性：若原信源中某一个符号划分成 m 个符号，这 m 个符号概率之和等于原某一符号的概率，新信源的熵增加了。

其中

1 1 2 1 1 2

1 21 2 1

( , , , , , , , )

( , , , , ) , , ,

n m n m

mn n n n m

n n n

H p p p q q q

qq qH p p p p p H

p p p

1 1

1n m

i j ni j

p q p

，推广分析：



推广结论：具有 n 个概率分量的熵函数，最终可分解为（ n-1 ）个只二员信源的熵函数的加权和。



熵函数性质 (10) 极值性（最大离散熵定理）离散信源的各符号为等概率分布时，信

息熵有最大值。

1 2

1 1 1( , , , ) , , , logqH p p p H q

q q q



熵函数性质 (11) 上凸性：对任意概率矢量

和，及有

由于 H(P ) 是概率矢量 P 上的严格上凸函数，所以熵函数存在极大值。

1 1 2( , , , )qp p p P

2 1 2( , , , )qp p p P 0 1

1 2 1 2(1 ) ( ) (1 ) ( )H H H P P P P



多维随机变量的熵 H(X1,X2,…,Xn)=H(X1)+H(X2|X1)

+H(X3|X1X2)+…+H(Xn|X1X2…Xn–1)

可以看出，多维随机变量的熵等于某一随机变量的熵及其它所有随机变量的条件熵之和，而条件熵涉及的条件，随着随机变量的维数增加而递增。

n

iiiH

111 ),,|( XXX



多维随机变量的信息流通问题假设信源是一个多维随机变量 (X1, X2,

…,Xn) ，它通过信道传送到信宿的信息量，就是它们的平均互信息量 I(X1, X2,…, Xn ； Y) 。由平均互信息量的定义和熵的链接准则，有

n

iiiin II

112121 ),,,|;(),( XXXYXYXXX ；，，



熵的界 n 维随机变量的共熵，不大于它们各自的熵

之和。即

称为熵的界（ Bounds ）

n

iin H,,,H

121 )()( XXXX



离散无记忆信源讨论的问题：发出单个符号的离散无记忆信源和发出

符号序列的离散无记忆信源两种，离散无记忆信源发出的各个消息符号是相

互独立的。

2.5 离散无记忆的扩展信源



发出单个符号的离散无记忆信源：每次只发出一个符号且每个符号代表一个消息

发出符号序列的离散无记忆信源：每次发出一组不少于两个的符号序列来代表一个消息。



前面我们讨论的只是最简单的离散信源，即信源每次输出只是单个符号的消息。我们给出了用信息熵 H（ X ）来对基本离散信源进行信息测度，以及研究了信息熵 H（ X ）的基本性质。

从本节开始，我们将进一步讨论较为复杂的离散信源及其信息测度。



离散无记忆信源的序列熵定义：若信源发出的消息是由 N 个离散

符号构成的符号序列，且各消息相互统计独立，则称此信源为发出符号序列消息的离散无记忆信源。



发出符号序列消息离散无记忆信源的典型例子 ASCII 码可以看成是由 8 个二进制符号构成的

符号序列；中文电报码是由 4 个十进制符号构成的符号序

列而每个十二进制符号又由 5 个二进制符号构成；

通信系统中的 QPSK ，根据 2 个二进制符号 00 ，01 ， 10 ， 11 进行相位调制等。



离散无记忆信源的 N 重扩展信源

定义：若单符号离散无记忆信源的信源空间为 [X · P] ，对其进行 N 重扩展得到符号序列 X=X1X2…Xn ，则称扩展后的信源为离散无记忆信源 [X · P]的 N 重扩展信源， N 重扩展得到符号序列记为 XN。



离散无记忆扩展信源的特点：信源先后发出的一个个符号彼此是统计独立的，并且具有相同的概率分布，



N 重扩展信源的数学模型用N 重离散概率空间来描述这类信源。若N维随机矢量中每个变量的取值为

Niaaax qi ,,2,121



则信源的 N 重概率空间为

)()()(

)()()(

)( 211111

211111

qqq

qqqN

aaapaaapaaap

aaaaaaaaa

XP

X

这个空间共有元素个。Nq

N

k

q

ii

N

kii

Ni aPpaXPaP

11

1)()()( 并满足且：



离散无记忆扩展信源的熵由于信源发出的符号序列彼此统计独立，故发出符号序列消息离散无记忆信源的熵为

H(XN) = N H(X) 证明：



例（书例 2.5 ）设由一离散无记忆信源

X： a1, a2, a3

P(X)： 1/2, 1/4, 1/4

构成二重扩展信源 X2 ，求该扩展信源的 H(X2)



2.6 离散平稳信源在实际信源中，输出序列各符号之间存

在一定的相关性，引入离散平稳信源的概念。

定义：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。



平稳信源的熵为了使分析简单直观，先分析研究发出的

信源序列中只是前后两个符号之间有关联性的情况。即先讨论二维再推广到多维



二维平稳信源数学模型

)/()()()(

1212111

21

21

ijiji

qqq

aapapaap

aaaaaaaaaa

XXP

XX

有：



例 : 已知某单符号离散信源的概率空间为

4

1

9

4

36

11:)(

,,: 321

X

X

P

aaa

该信源发出的消息均为二重符号序列 (ai， aj)， (i, j = 1, 2, 3) ，两个符号的关联性用条件概率 P(ai|aj) 表示，如表 3.2 所示，求 H(X2)。



离散平稳信源的极限熵

若离散平稳信源当 N 趋于无穷时，平均符号熵的极限存在，则称此极限为离散平稳信源的极限熵（也称熵率）

)|(lim)(lim 121 NNN

NN

XXXXHHH X



离散平稳信源的性质

1 、若信源 X 是平稳离散信源，则有 H(X) = H(X1X2…XK)

= H(X1) + H(X2|X1) +H (X3|X1X2) + … + H (XK |X1X2…XK – 1)

即 H(X)是 X 中起始时刻随机变量 X1 的熵与各阶条件熵之和。




2 、平稳离散信源的条件熵随 K 的增加是非递增的，即

H (XK |X1X2…XK–1) ≤H (XK–1 |X1X2…XK–2)

特别地，当 K=2 时，有

H (X2 /X1) ≤ H (X2)




3 、对于平稳离散信源，令

)(1

)( 21 NN XXXHN

XH

若 H (X1) < ∞ ，则 HN (X) 的极限值存在且有

)|(lim)(lim 121 NNN

NN

XXXXHHH X



结论：对于有限记忆长度的平稳信源可用有限记忆长度的条件熵来对平稳信源进行信息测度。



例：设有离散二维平稳信源 X ，其概率空间如下：

4

1

9

4

36

11:)(

,,: 321

X

X

P

aaa

1)(3

1

i

iaP且

假设发出的符号只与前一个符号有关，即可用二维联合概率给出它们的关联程度，如表所示

求： H （ X ）， H （ X2/X1 ）， H（ X1X2 ）， H2（ X）（平均符号熵）



习题 2.18



2.7 马尔可夫信源前面已对离散平稳有记忆信源进行了讨论，

下面主要讨论非平稳离散信源中的一类特殊信源——马尔可夫信源（ m 阶M 信源）。

定义：书 50页



马尔可夫信源发出消息的方式体现在马尔可夫链的状态转移上，可以用条件概率（或称为转移概率）来描述这种转移。



马尔可夫过程和马尔可夫链的定义定义 1 ：设 X(t) 为一个随机过程，若对任意的

t1<t2<…< tn 时刻的随机变量 X(t1) ， X(t2) ，…， X(tn) ，有

P( xn; tn | xn－ 1, xn－ 2, …, x1; tn－ 1, tn－ 2, …, t1)

= P( xn; tn | xn－ 1; tn－ 1) 则称X(t) 为单纯马尔可夫过程或一阶马尔可夫过程。

上式说明：一阶马尔可夫过程在 tn 时刻的随机变量 xn ，仅和它前一时刻 tn-1 的随机变量 xn-1 有关。



K 阶马尔可夫过程定义 2 ：设 X(t) 为一个随机过程，若对任意的

t1<t2<…tn –k…< tn 时刻的随机变量X(t1)， X(t2)，…， X(tn – k )，…， X(tn) ，有

P( xn ； tn|xn － 1,xn － 2…,xn–k,…,x1 ； tn －1,tn－ 2, …tn-k, …,t1)

=P(xn； tn|xn－ 1,xn－ 2,…,xn–k ； tn－ 1,tn-2,…tn–k)

则称 X(t)为 K 阶马尔可夫过程。



定义 2 说明， K 阶马尔可夫过程在 tn 时刻的随机变量 xn ，仅和它前 k 个时刻tn–1,tn–2,…,tn–k 的随机变量 xn–1,xn–2,…,xn–k 有关。



马尔可夫链

当马尔可夫过程的随机变量的值和时间均取离散值时，该马尔可夫过程就称为马尔可夫链。



马尔可夫信源的状态分析

可用马尔可夫链的状态转移图来描述马尔可夫信源。

在状态转移图上，每个圆圈代表一个状态，状态之间的有向线代表某一状态向另一状态的转移。有向线的一侧的符号和数字分别代表发出的某符号和条件概率 )/( ik Eap



可以将马尔可夫链状态及其状态转移的情况用线图的方法表示出来，这种含有状态和状态转移的图又称为香农线图。



例：

一个二进制二阶马尔可夫信源 X ，其信源符号集为 [0,1] ，条件概率给定为 P(0|00) = P(1|11)=0.8；

P(1|00) = P(0|11)=0.2;

P(0|01) = P(0|10) = P(1|01)=P(1|10) = 0.5。

试画出其香农线图。



解：信源符号只有 0,1 两种，即 M=2。

二阶马尔可夫信源， k=2 ，故信源的状态数为

S = MK= 22=4

即 S = {s1, s2, s3, s4}={ 00, 01, 10, 11}，

下面是该信源的两种香农线图初始状态下一状态

00 00 (01)

0.2 0.5

01 01 0.8

0.8 (00) 0.5 0.5 (11)

10 10

0.5 0.2

11 11 (10)

0.8

0.2

0.2

0.8

0.5

0.5

0.5

0.5



例：设信源符号，信源所处的状态 321 ,, aaaAX

JEEEES ,, 21

各状态之间的转移情况如下图：

试求出其一步状态转移阵



2

1

4

1

4

1

0014

10

4

32

1

2

10

4

1

4

1

2

1

)/( ik Eap

解：由图可知：



4

1

4

3000

10000

004

1

4

30

002

1

2

10

04

10

4

1

2

1

)/( ij EEp

状态的一步转移概率为



状态转移矩阵 P 的讨论：

1 、一步状态转移矩阵 P

设为马尔可夫信源的状态空间（ q 表示信源符号的个数， m 表示马尔可夫信源的阶数，则一步状态转移矩阵可写成矩阵形式：

qSSSS ,, 21

ijp

qqqq

q

q

ppp

ppp

ppp

P

21

22221

11211

该矩阵 P 中第 i 行元素对应从某一个状态 Si 转移到所有状态Sj 的转移概率。



特点： P 中每行之和为 1 ，每列元素之和不一定为 1 。

2、 k 步状态转移矩阵 kP

由且普曼—柯尔莫郭洛夫（ Chapman—Kormotopob ）方程：

r

rjk

irr

krjir

r

lkrj

lir

kij ppppppp )1()1()()()(

写成矩阵形式：

kk PP

PPPP

)(

2)2(



马尔可夫信源的熵

m阶马尔可夫信源的数学模型

qkkkkaaaap

aaa

P

Xmm

kkkk

q

mm

,,2,1,,,)/( 121

21

211

qkkkaaaap m

q

kkkkk

m

mm,,2,1,,1)/( 21

1

211

满足：



马尔可夫信源的熵

m阶马尔可夫信源的熵

)/()/()/(211111121 mmNmNmNNNmmN kkkkkkkkkkkkkk aaaapaaaapaaaaaap



)/(

)/(log)(

)/(log)(lim

)/(log)(lim

)|(lim

211

1 1

1 1

1 1

121

1 1

211121

1

21121

1

12121

mm

q

k

q

kkkkkkkk

q

k

q

kkkkkkkk

N

q

k

q

kkkkkkkk

N

NNN

XXXXH

aaaapaaap

aaaapaaap

aaaapaaap

XXXXHH

m

mmm

N

mmN

N

NNN

结论： m 阶马尔可夫信源的熵等于 m 阶条件熵



11 1

1 1

1

( ) ( / ) log ( / )

( ) ( / ) log ( / )

( ) ( / )

m m

m

m

q q

m i j i j ii j

q q

i k i k ii k

q

i ii

H H p E p E E p E E

p E p a E p a E

p E H X E

进一步

式中是马尔可夫信源稳定后的状态极限概率，是状态之间的一步转移概率。

),2,1)(( mi qiEp

)/( ij EEp



状态极限概率存在的条件

不是任何马尔可夫信源都存在状态极限概率，只有具有各态历经性的马尔可夫信源才存在状态极限概率。

各态历经性的判断



具有各态历经性的 M 信源的状态极限概率

当m阶M 信源具有各态历经性时，存在状态极限概率

),2,1()()/(lim mjijl

lqjEpEEp

如何求解？



其极限概率是下方程的唯一解

),,2,1()/()()(1

mq

i

mijii qjEEpEpEp

mq

jji EpEp

1

1)(,0)(

且要满足：



稳态时信源符号的概率

mq

iikik SapSpap

1

)/()()(



例：

已知道某一马尔可夫信源的一步状态转移概率如下图，问其是否具有各态历经性？



例：

有一个二元二阶马尔可夫信源，其信源符号集为0 ， 1 。初始概率大小为 p(0)=1/3， p(1)=2/3。

条件概率定为：

p(0/00)=p(1/11)=0.8

p(1/00)=p(0/11)=0.2

p(0/01)=p(0/10)=p(1/01)=p(1/10)=0.5

求其极限熵和稳态后信源符号的概率分布。



马尔可夫信源和有记忆平稳信源的比较

m 阶马尔可夫信源和消息长度为 m 的有记忆信源其所含符号的依赖关系不同，对相应关系的数学描述不同，平均信息量的计算公式也不同。



马尔可夫信源和有记忆平稳信源的比较

长度为 m 的有记忆信源 X 用这 m 个符号的联合概率来描述符号间的依赖关系。

m 阶马尔可夫信源用状态转移概率（条件概率）来描述这种依赖关系



2.8 信源剩余度

相对熵（熵的相对率） =H ( X ) / Hmax( X )

剩余度 E=1 – H ( X ) / Hmax( X )

内熵 =Hmax( X ) – H ( X )



练习：1 、某一无记忆信源的符号集合为（ 0 ， 1 ），其概率空间为

（ 1 ）求符号的平均熵；（ 2 ）由 100 个符号构成的序列，求某一特定序列（例如有 m 个 0 和 100-m 个 1 ）的自信息量的表达式；（ 3 ）计算（ 2 ）中的序列的熵。

4

3

4

1:)(

,1,0:

X

X

P



解：（ 1 ）因为信源是无记忆信源，所以符号的平均熵

符号/.., 81bit041504

32

4

1

4

3

4

1X

（ 2 ）某一特定序列（例如： m 个 0 和 100-m 个1 ）出现的概率为

m-100m

m-100m10021

L

4

3

4

11P0PXXXPXP

,,,

所以，自信息量为

bitm)(

XP,X,,XXI-mm

L

3log100200

4

3

4

1loglog

2

100

10021



（ 3 ）序列的熵序列/81bitX100XL



作业： 2.21 ； 2.23



（ 1 ）求（）的联合熵和平均符号熵

（ 2 ）求这个链的极限平均符号熵

（ 3 ）求和它们所对应的冗余度。

321 XXX

210 ,, HHH



解：（ 1 ）因为 23121213121321 /xxP/xxPxPx/xxP/xxPxPxxxP

可以计算得到

,

,

,

16

1/aaP/aaPaPaaaP

16

1/aaP/aaPaPaaaP

8

1/aaP/aaPaPaaaP

13111311

12111211

11111111

,

,

,

24

1aaaP

0aaaP12

1aaaP

321

221

121

,

,

,

0aaaP24

1aaaP

12

1aaaP

331

231

131

,

,

,

24

1aaaP

24

1aaaP

12

1aaaP

312

212

112



,

,

,

0aaaP

0aaaP

0aaaP

322

222

122

,

,

,

0aaaP36

1aaaP

18

1aaaP

332

232

132

,

,

,

24

1aaaP

24

1aaaP

12

1aaaP

313

213

113

,

,

,

36

1aaaP

0aaaP18

1aaaP

323

223

123

,

,

,

0aaaP

0aaaP

0aaaP

333

233

133



所以：

三个符号3.967bit/

log3636

12log18

18

12log24

24

16log12

12

14log16

16

12log8

8

1

xxxlogPxxxPXXX 321X X X

321321

1 2 3

所以，平均符号熵

符号/1.322bitXXX3

1X 321

33



（ 2 ）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布. 由题意得到一步转移矩阵：

03

1

3

23

10

3

24

1

4

1

2

1

P



可得状态方程组：

1WWW

W3

1W

4

1W

W3

1W

4

1W

W3

2W

3

2W

2

1W

321

213

312

3211

解方程组得到各状态的稳态分布概率

143W

143W

74W

3

2

1

/

/

/



所以信源平稳后的概率分布为

143aP

143aP

74aP

3

2

1

/

/

/

因为信源为一阶马尔可夫信源，所以信源的熵：

符号/.,,,,,,

/

251bit103

1

3

2H

14

3

3

10

3

2H

14

3

4

1

4

1

2

1H

7

4

XXX 122

（ 3 ）解：符号/.585bit1log30

)(log)(3

11 i

ii apaP

其中应是达到平衡后的概率分布，不是起始概率分布。则

)( iap



符号/251bit.1X/X 122 H

符号，， /.414bit114

3

14

3

7

41

对应的冗余度分别为：

02511

251111

11504141

251111

2105851

251111

22

11

00

.

.

..

.

..

.

信息论 information theory

Documents