第五章機率、隨機訊號與雜訊

通訊原理第五章機率、隨機訊號與雜訊 1教育部資通訊科技人才培育先導型計畫

第五章機率、隨機訊號與雜訊


大綱5-1 機率變數

離散隨機變數 (Discrete Random Variables)連續隨機變數 (Continuous Random Variables)

5-2 隨機程序隨機程序 (Random Processes) 基本概念自相關函數、互相關函數廣義穩定隨機程序 (Wide Sense Stationary Random Processes)功率頻譜密度函數 (Power Spectral Density)

5-3 隨機訊號通過線性非時變系統 (Transmission of a Random Processes through Linear Time-Invariant System)

5-4 雜訊高斯隨機雜訊 (Gaussian Random Noise)白色雜訊窄頻雜訊 (Narrowband Noise)正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)


機率變數在機率或隨機程序裡常利用機率模式或機率系統來描述所觀察到

的現象，定義一個機率模式 (model) ( 由 S,E,P 所組成 ) ：

1. 取樣空間 (sample space, S) ，以符號 S 來表示：

取樣空間 S 是觀察某個隨機實驗所有可能發生的實驗現象或結果

(sample point or outcome) 所形成的集合。

2. 事件 (event, E):

取樣空間之部份集合稱為事件，以符號 E 來表示。

3. 機率測量 (probability measurement) ，用 P [·] 表示。

某一事件的機率測量可以定義為

其中 nE表示 N 次隨機實驗中，事件 E 出現的次數。

無法預知下次實際結果

[ ] lim E

N

nP E

N


集合之基本運算一個取樣空間 S 中若有兩集合 ( 事件 )A 與 B ，以下是集合的基本運

算：

聯集 (Union) ：

或

交集 (Intersection) ：

且

補集 (Complement) ：

且

}|{ BxAxxBA

}|{ BxAxxBA

}|{ AxSxxAA c

Venn diagram


機率公設機率測量均會滿足：

P[S]=1 ，以及 P[ ]=0 。對於任意事件 A ，。若 A 和 B 兩個事件是互斥，則

。

範例 5-1-1

以擲骰子為例子，討論機率空間 :

S=

P[ ]=0, , , P[S]=1

1 [ ] 0P A

][][][ BPAPBAP

若兩事件互斥，則兩事件交集是空集合，兩事件聯集是取樣空間 S 。

事件 =“ 實驗結果點數是偶數”

表示空集合


以下列出幾條機率特性、公設 (Axioms) ：

公設 3 證明：

機率公設

1. [ ] 1 [ ]

2. [ ] 0

3. [ ] [ ] [ ] [ ]

4. , [ ] [ ]

cP A P A

P

P A B P A P B P A B

A B P A P B

[ ] [ / ] [ / ] [ ]

[ / ] [ ] [ / ] [ ] [ ]

[ ] [ ] [ ]

P A B P A B P B A P A B

P A B P A B P B A P A B P A B

P A P B P A B

A/B 代表結果屬於事件 A 但不屬於事件 B 的集合

因為 A 與 Ac 為互斥事件


條件機率：事件 A 、 B 為取樣空間 S 之部分集合，且 P[B]>0 ，

則在事件 A 已發生的前提下，事件 B 發生的機率即為條件機率。

條件機率的定義：。

若 A 與 B 互斥，也就是，則。

若 A 是 B 的子集合，則。

若

則稱 A 和 B 互為獨立事件 ( 統計上的獨立 ) 。

條件機率

][

][]|[

AP

BAPABP

[ | ] 0A B P B A

1]|[, ABPABA

[ ] [ ] [ ] [ | ] [ ]P A B P A P B P B A P B

已知事件 A 發生不會影響事件 B 機率的測量


貝氏定理若，且

，則 {E1 , E2 , …… , En } 稱為事件空間。

全機率定理 (Total Probability Theorem) ：若 {E1 , E2 , …… , En } 是ㄧ組事件空間，對於任意事件 A 而言，恆有：

貝氏定理 (Bayes’ Theorem) ：若 {E1 , E2 , …… , En } 是ㄧ組事件空間，對於任意事件 A ，且 P[A]>0 ，

恆有：

n

jjj

iiii

EPEAP

EPEAP

AP

AEPAEP

1

][][

][][

][

][][

][]|[...][]|[][]|[

][...][][][

2211

21

nn

n

EPEAPEPEAPEPEAP

EAPEAPEAPAP

1 2 ... nE E E S , i jE E i j

E1 , E2 , …… , En 均為事件

稱為事前機率稱為事前機率


隨機變數隨機變數 (Random Variables) ：

隨機變數是一種函數對應的關係，是將取樣空間中每個實驗結果對應於一個實數值，則稱為隨機變數，簡寫為 X ，其函數結構為 X : S R ，其中 R 為實數域。

)(sXx

Ss

)(sX

S1s

3s4s

2s

)( 1sX)( 2sX )( 3sX )( 4sXR圖 5-1-1


取樣空間取樣空間 S 是隨機變數的定義域，其對應域為 R ，而隨機變數的值

域 (range) SX乃是某個隨機變數所有對應出實數值的集合或範圍。

若以不同的角度來觀察某個隨機實驗的結果，所形成的取樣空間就會改變。

定義隨機變數最主要的目的是將某個隨機實驗所有可能會發生的結果加以數值化，以方便之後進行統計上的處理與運算。

圖 5-1-2

SX

x RS

s

)(sXx

| ( ), ,XS x x X s s S x R


事件事件 (event) 會是取樣空間的子集合，換句話說當某個隨機實驗進行

時發生某個事件的結果一定會包含在所對應子集合裡。

任一事件 A 是取樣空間 S 的子集合，即 A S ，此集合是包含所有屬於事件A 的實驗結果，經過隨機變數 X 函數對應後映至 B ，也就是

當事件 A 發生時，事件 B 也會跟著發生，所以 A 跟 B 被視為等效事件，所以兩者發生的機率會一致， P[B] = P[A] 。

圖 5-1-3

{ | ( ), } XB x x X s s A S

B


範例 5-1-2

假設一公平的硬幣連續投擲三次，定義隨機變數 X 表示正面出現的次數：

1.隨機變數 X 的值域 SX={0,1,2,3} 。

2.所謂公平即是一次投擲出現正面與反面的機率各為 1/2 ，因此每個 out

come 出現的機率均是 1/8 。3.例如 P[X=2]=P[ 正正反 , 正反正 , 反正正 ]=3/8 。

機率變數

此即為隨機變數的對應關係


離散隨機變數離散隨機變數 (Discrete Random Variables)

定義：若是隨機變數 X 之值域 SX為可計數的，不論個數是有限或是

無限，稱為離散型隨機變數。

對於離散隨機變數，機率質量函數 (probability mess function, PMF) 是用來表示離散隨機變數值域中每一個元素的機率值，其

數學符號為。XSx

( ) [ ]XP x P X x


對於離散隨機變數 X ，機率質量函數為 PX(x) 之具有之特性：

隨機變數值域中對於每個元素 x ，其機率值必為正值： PX(x) 0

對於隨機變數值域中所有元素的機率值相加必為 1 ：

對於任何一個事件 AS ，經過隨機變數 X 函數對應後映至 B SX ，則

事件 A 出現的機率為

離散隨機變數

( ) 1X

Xx S

P x

[ ] [ ] ( )Xx B

P A P B P x


累積分配函數累積分配函數 (cumulative distribution function, CDF)

若隨機變數 X 之機率質量函數為 PX(x) ，定義累積分配函數為：

累積分配函數的重要特性：

( ) [ ] ( )X Xs x

F x P X x P s

1 2 1 2

0 00

0 0 0 00

1. 0 ( ) 1,

2. ( ) 0, ( ) 1

3. < ( ) ( )

4. ( ) lim ( )

5. [ ] ( ) ( ) lim ( )

6. [ ] ( ) ( )

X X

X X

X X

X X

X X X

X X

F x x S

F F

x x F x F x

F x F x

P X x P x F x F x

P a X b F b F a

隨機變數 X 小於 x 的機率 : 即是將隨機變數的值域 SX 中所有小於以及等於x 的機率全部累加起來。

累積分配函數是右連續函數，但不一定是左連續函數。


累積分配函數範例 5-1-3

公平的銅板連續投擲三次，隨機變數 X 表示正面出現的次數，請繪出

此隨機變數之機率質量函數及累積分配函數：

解答

隨機變數X

0 1 2 3

PX(x) 1/8 3/8 3/8 1/8

)(xPX

8

1

8

3

圖 5-1-4


根據上表，可獲得累積分配函數為：

x

x

x

x

x

xFX

3,1

32,8

7

21,2

1

10,8

1

0,0

)(

FX

(x)

x

累積分配函數

圖 5-1-5


累積分配函數機率質量函數及累積分配函數關係：

)(xPX

8

1

8

3

FX(x)

x

機率質量函數累積分配函數

將機率質量函數的各點的機率值由左至右累加起來，即可獲得累積分配函數；累加到最後機率值為 1


平均值 (average) 或期望值 (expected value) ：離散型隨機變數 X 的平均值定義為 :

平均值的意義：某個隨機變數的平均值，是指進行許多次隨機試驗後計算其統計平均值，也就是將各個可能出現的結果 xi做算術平均，還要乘上其對應的機率值 PX(xi) 進行加權，即獲得其統計平均值。

離散型隨機變數 X 之機率質量函數為 PX(x) ，若 Y=g(X) 是定義在 X 之值域上的函數，則 Y 之期望值為 :

( ) ( )X

X Xx S

E X xP x

平均值或期望值

[ ] [ ( )] ( ) ( )X

Y Xx S

E Y E g X g x P x


平均值或期望值隨機變數經由線性轉換後的期望值 :

隨機變數 X 之機率質量函數為 PX(x) ，經由線性轉換 Y=g(X)=aX+b 後，

則 Y 之期望值為 :

証明：

( )Y X Xg a b

[ ] [ ] ( ) ( )

( ) ( )

[ ]

X

X X

Xx S

X Xx S x S

E Y E aX b ax b P x

a xP x b P x

aE X b

隨機變數 Y 與 X 的平均值也滿足函數 (線性轉換 ) 的關係


變異數 (Variance)

離散型隨機變數 X 的變異數的定義為：

標準差 (Standard deviation)

隨機變數 X 的標準差的定義為：

在統計上，比較常使用變異數的平方根，也就是標準差，因為標

準差的單位和隨機變數 X 是一樣的。

變異數與標準差

2 2Var[ ] ( ) ( ) ( )X

X X Xx S

X E X x P x

][Var XX

X


變異數與標準差常用之定理：

證明：

)115(][][

][][Var22

22

XEXE

XEX X

22

222

22

22

2

][][

2][

)()(2][

)()(2)(

)()(][Var

XEXE

XE

xPxxPXE

xPxPxxPx

xPxX

XX

SxXX

SxXX

Sx SxXX

SxXXX

SxXX

XX

X XX

X


離散隨機變數範例 5-1-4

某ㄧ個隨機變數 R ，其機率質量函數如下，期望值為 3/2 ，求隨機變數R 的變異數？

解答由公式 (5-1-1) 得知， Var[X]=E[X2]-(E[X])2

otherwise0

,24/3

,04/1

)( r

r

rPR

2 2 2

22

2

[ ] 0 (0) 2 (2) 3

Var[ ] [ ] [ ]

3 33

2 4

R RE R P P

R E R E R


k 次動差 (kth moment) ：離散型隨機變數 X 的 k 次動差之定義如下 :

動差產生函數 (Moment Generating Function, MGF) 之定義如下 :

函數之定義：

具有之特性：

動差形成函數

( ) [ ] ( ) (5 1 2)X

tX txX X

x S

M t E e e P x

( )

0

( )

0

1. (0) 1

( )2. (0) [ ] (5 1 3)

(0)3. ( )

!

X

kXk k

X k

t

kkX

Xk

M

d M tM E X

dt

MM t t

k

( ) [ ] ( )X

k k kX X

x S

E X x P x

將動差產生函數微分 k 次後帶入 t=0之後獲得隨機變數 k 次動差

由無窮多個動差來合成動差產生函數


接下來介紹常用的離散型隨機變數

均勻分佈 (Uniform Distribution)

定義：若是隨機變數 X 的機率質量函數滿足底下公式

則稱隨機變數 X 為離散型均勻分配。

意義：若隨機變數具有 n 個不同結果，每個結果都具有相同之機率，則稱為均勻分佈之隨機變數。

ㄧ般用在對於每一個實驗結果沒有進一步資訊或概念時，先假設每一個結果發生的機率皆相同。

均勻分配

jixxxxxxn

xP jinX ,,,...,,,1

)( 21


均勻分配

離散型均勻分配機率質量函數圖形

離散型均勻分配累積分配函數圖形

相同之機率

圖片來源 http://wikimediafoundation.org/wiki/Home

機率機率

圖 5-1-9 圖 5-1-10


白努力分配 (Bernoulli Distribution)

定義：若是隨機變數 X 的機率分配為

則稱隨機變數 X 為白努力分配，記為 X~B(1, p) 。

白努力試驗的意義：1. 每次試驗結果只有兩種，成功或失敗。2. 任何一次試驗彼此互相獨立。3. 成功或失敗機率在每次試驗中均相同。

日常生活中，很多例子都是白努力試驗的結果。例如擲硬幣、品管檢查等等。

白努力分配

1,0,)1()( 1 xppxP xxX


範例 5-1-5 若隨機變數 X~B(1, p) ，試求： (1)動差母函數 (2) 平均值 (3)標準差

解答

(1)白努力的機率分配由式子 (5-1-2) ，

(2) MX(t) 在 t=0 之泰勒展開式：

白努力分配

1

0

1

)1()()()(

1,0,)1()(

x

tX

txtXX

xxX

pepxPeeEtM

xppxP

...)!3!2

1()1()(32

tt

tpptM X

( 接下頁 )


所以

可得

(3) 由式子 (5-1-1)

白努力分配

...!2

)0(")0(')0(

...!3!2

1)(

2

32

tM

tMM

pt

pt

pttM

XXX

X

)1(

)0(')0(")()()(Var

)415()0(')(

2

222

pppp

MMXEXEX

pMXE

XX

X


二項分配 (Binomial Distribution)

定義：若是隨機變數 X 的機率分配為

則稱隨機變數 X 為二項分配，記為 X~B(n, p) 。

意義：就白努力試驗而言，如果每次成功機率為 p ，則失敗機率為 1-p ，

執行 n 次試驗之後，成功次數即為隨機變數 X ，其值介於 0~n 之間，則

X 之機率分配即為二項分配。

二項分配

nxppCxP xnxnxX ,...,3,2,1,0,)1()( !

( )! !nx

nC

n x x


二項分配範例 5-1-6

若隨機變數 X~B(n,p) ，試求 X 的動差母函數、期望值以及標準差。

解答動差母函數

由式子 (5-1-4) ，期望值

而標準差

nt

n

x

xnxtnx

n

x

xnxnx

txtXX

pep

ppec

ppceeEtM

1

)1(

)1()(

0

0

nppepepnM ttnt

X

01 |)()1()0('

)3.5()1()0(')0(" 22 pnpMM XX


範例 5-1-7

讓隨機變數 X 表示 n 個骰子中出現點數為六點的骰子個數，試計算 X

的變異數。

解答

點數六點表示成功，所以隨機變數 X 可用 ~B(n, 1/6) 來表示

由式子 (5-1-1) ，

二項分配

36

5

6

11

6

1

)1()(Var

n

n

pnpX


機率密度函數連續隨機變數 (Continuous Random Variables)

定義：若是隨機變數 X 之值域 SX為不可計數的，稱為連續型隨機變數。

機率密度函數 (Probability Density Function, PDF) ：若一個非負的連續函數 fx(x) 滿足以下式子：

則 fx(x) 就是隨機變數 X 的機率密度函數。

機率密度函數的特性：

x

X dttfxXP )(][

A X

X

X

dxxfAXP

xf

xf

)(][.3

1)(.2

0)(.1機率密度函數積分後才是機率！

就像水的密度是 1乘上體積後才表示水的質量！


累積分配函數 (Cumulative Distribution Function, CDF) ：

若隨機變數 X 的機率密度函數為 fX(x) ，我們可以定義

累積分配函數：

累積分配函數有以下特性：

1.

2.

3. 累積分配函數是右連續的 (Right-continuous) 。

4.

5.

x

XX dttfxXPxF )(][)(

累積分配函數

1)(0 xFX

,1)(lim,0)(lim

xFxF Xx

Xx

)()(][ aFbFbXaP XX

)()(

xfdx

xdFX

X


範例 5-1-14

令隨機變數 X 表示在區間 (0,3)內所取的任意點，試求出隨機變數 X 的

機率密度函數。

解答

令 X 的機率密度函數 fX(x)=k ，例用機率密度函數特性 2 ，

所以

連續隨機變數

3

1

13)(

else,0

30,)(

3

0

k

kdxkdxxf

xkxf

X

X


21 xx

連續隨機變數累積分配函數之圖例：

連續型隨機變數之累積分配函數圖形 John G. Proakis,

Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002

1)(lim

xFXx

dfxXxPx

x X 2

1

)(][ 21

圖 5-1-14


變數變換後的期望值：

若連續型隨機變數 X 之機率密度函數為 fX(x) ，而 g(x) 為定義在

X 之值域上的函數，則 g(X) 之期望值為：

)515()()()]([

dxxfxgXgE X

期望值


變異數：

若隨機變數 X 具有機率密度函數 fX(x) 以及累積機率函數 FX(x) ，則變

異數：

若 Var(x)很小，表示 x 的值都在平均值附近。

所以變異數可以反應隨機變數 X 的所有 x 值之間分散的程度。

)615()]()(1[2

][

)()(

])[()(Var

0

2

22

2

22

XXX

X

XX

XX

dxxFxFx

XE

dxxfx

XEX

變異數


期望值的特性：

變異數的特性 ( 假設 c 為任意常數 ) ：

)(Var)(Var.3

0)(Var.2

)(Var)(Var.1 2

XcX

c

XccX

所以將 f(x) 圖形左右平移，並不會影響此分配之分散狀況

cXEcXE

ccE

XcEcXE

)()(.3

)(.2

)()(.1

連續隨機變數


範例 5-1-15

若隨機變數 X 的累積分配函數為 FX(x)=1-e-x2 , x>0 。

試利用

求出 X 的變異數。

解答

由式子 (5-1-5)

由式子 (5-1-6)

連續隨機變數

2,)(][

00

1 2

dxedxxXPnxXE xnn

41

21)(Var

12

)(12)(2][

2)(][

2

0

00

2

00

2

2

X

dxxe

dxxFxdxxXxPXE

dxedxxXPXE

x

X

x


平均值：

連續型隨機變數 X 的平均值的定義為：

平均值的意義：某個隨機變數的平均值，是指該隨機試驗進行許多次以後的平均結果。所以，不僅將各個結果 xi做算術平均，要再乘上出現機率 fX(xi)dx 進行加權！

n 次動差 (nth moment) ：連續型隨機變數 X 的 n 次動差之定義為：

dxxxfXE X )()(

dxxfxm X

ndef

nX )()(

平均值與動差


動差形成函數 (Moment Generating Function, MGF)

定義：

特性：

特性 2 證明：

歸納可得

動差形成函數

)715()(][)(

dxxfeeEtM txtX

X

)815( ][)0(.2

1)0(.1)(

Kk

X

X

XEM

M

][)0(

][)()0('

)()()('

)()(

)( kk

X

txtxX

txX

XEM

XEdxxxfM

dxxfxedxxfedt

dtM

dxxfetM

X


特徵函數 (Characteristic Functions) ：

隨機變數 X 具有機率密度函數 fX(x) ，則 X 之特徵函數之定義為：

特徵函數實際上就是 fX(x) 取傅立葉轉換，故不論 X 為何種機率分配特徵函數一定存在。

範例 5-1-16

有ㄧ個高斯隨機變數，期望值 m ，變異數，可知特徵函數：

dxexfw jwx

XX )()(

][)}({)( jwXXX eExfFx

2

2

2

)(

2

22

2

2

2

1)(

wjwx

jwxmx

X

e

dxeew

特徵函數


對於可微分函數而言 y=g(x) 而言，則隨機變數 X 經由 Y =g(X)轉換後之機率密度函數 fY (y) 為：

範例 5-1-17

若隨機變數 X 為常態分配，，試求隨機變數 Y=a

X+b 的機率密度函數：解答

變數變換

)1,0(~ NX

2

2

2

)(

2

1

2

1)(

)(')(

a

byX

Y eaa

aby

fyf

a

byx

axgbaxxg

)(1)('

)()(

ygxi i

iXY

ii

xg

xfyf


隨機向量 (Random Vector) ：延伸連續型隨機變數的概念到多維的連續型隨機向量。

設 S 為連續型結合隨機變數 (X,Y) 之值域， E 為 S內之任一部分集合，

若實函數 fX,Y(x,y) 滿足：

則稱 fX,Y(x,y) 為 (X,Y) 的結合機率密度函數。

結合機率密度函數特性：

隨機向量

Eyx

YX dxdyyxfEP),(

, ),(][

1),(

,,0),(

,

,

dxdyyxf

Ryxyxf

YX

YX


結合累積分配函數定義 X 和 Y 的結合累積分配函數 (joint CDF) 為：

由萊布尼茲 (Leibnitz’s)微分法則得知結合機率密度函數和結合累積分配函數的關係為：

在已知 X=x 的情形下的條件機率函數為：

.0)(,)(

).()|( ,

, xfxf

yxfxyf X

X

YXYX

yx

yxFyxf YX

YX

),(

),( ,2

,

dsdttsf

yYxXPyxFx y

YX

YX

),(

],[),(

,

,


所以對於統計上獨立的隨機變數 X 與 Y ，我們有：

若 g(x,y) 為定義在 X,Y 之值域上的函數，則可以得知 g(x,y) 的期望值為：

相關性：若 g(x,y) 為 XY ，則 E[XY] 稱為隨機變數 X 與 Y 的相關性。

結合累積分配函數

][][][)()(),(

)()(

),()|(

,

,|

YEXEXYEyfxfxyf

yfxf

xyfxyf

YXXY

YX

XYXY

dxdyyxfyxgYXgE YX ),(),(),( ,


共變數 (Covariance)

隨機變數 X,Y 之共變數定義：

共變數的意義：1. 若隨機變數 X 與 Y 同時減少，則 Cov(X,Y)>0

2. 若隨機變數 X 與 Y 的增減互為相反，則 Cov(X,Y)<0

3. 若隨機變數 X 與 Y 互為獨立，則 Cov(X,Y)=0

共變數

XY

YX

YEXEXYE

YXEYXCov

][][][

))((),(

( 證明 )Cov(X,Y)=E[XY]-E[X]E[Y] = E[X]E[Y]-E[X]E[Y]=0


相關係數 (Correlation Coefficient)

隨機變數 X,Y 之相關係數定義：

相關係數之性質：

1. 之值在 +1 與 -1 之間。

2. 若，則稱 X 與 Y 為互不相關 (uncorrelated) 。

3. 若 X 與 Y 互為獨立，則 X 與 Y 必定不相關，反之未必。

相關係數

YX

XY

YXXY

YXCov

),(

XY

0XY


相關係數之性質 1 證明：

令隨機變數 U 與 V

相關係數的意義：相關係數表示 X 與 Y 之間是否具有線性關係的指標，若

相關係數趨近於 +1 或 -1 ，表示期間的相關性越強。若相關係數為 +1 或 -

1 ，表示 X 與 Y 為線性關係。

相關係數

1

1

),(][][

,

2

222222

XY

XY

YX

YX

YXCovVEUEUVE

YVXU


接下來介紹連續型隨機變數模型

均勻分配 (Uniform Distribution)

定義：若是隨機變數 X 的機率密度函數為

則稱隨機變數 X 為連續型均勻分配，記為 U(a,b) 。

應用：有時候影響某事件的因素相當多，且每一個因素的影響程度均差不多，則此現象即可使用均勻分布來描述。例如熱力學中的亂度理論。

1, ,

( )

0 , otherwiseX

x a bb af x

均勻分配


範例 5-1-18

若隨機變數 X 為均勻分配，試求隨機變數 X 的動差形成函數以及期望值與變異數。

解答

根據公式 (5-1-7) ，

期望值以及變異數，由式子 (5-1-5) 、 (5-1-6) ：

均勻分配

tab

eedx

abe

eEtMatbt

b

a

tX

tX

)(

1

][)(

12

)(

23][

2

1][

2222222 abbababa

XE

badx

abxXE

b

a


連續型均勻分配機率密度函數圖形

均勻分配

機率密度均等

圖 5-1-15


常態分配 ( 高斯分配 ) (Gaussian Distribution)

定義：若是隨機變數 X 的機率密度函數為

則稱隨機變數 X 為常態分配，記為。

當時，則稱 X 為標準常態分配。

討論：常態分布中有兩個參數，1. 稱為位置參數，影響 f(x) 在 x軸上的對稱位置。2. 稱為形狀參數，影響 f(x) 圖形的胖瘦。

0,,,2

1)(

2

2

2

)(

RRxexfx

常態分配

),(~ 2NX

1,0


常態分配機率密度函數圖形圖片來源 http://wikimediafoundation.org/wiki/Home

常態分配

不同值影響對稱軸位置

不同值影響圖形胖瘦

機率

圖 5-1-16


常態分配的累積分配函數圖形


常態分配

機率

圖 5-1-17


常態分配機率密度函數圖形

常態分配

可看出機率分配與標準差之間的關係


機率

圖 5-1-18


範例 5-1-19

若隨機變數 X 為常態分配，，試求隨機變

數 X 的動差形成函數以及期望值與變異數。

解答根據公式 (5-1-7)

常態分配

2

2

2 2 2 2 22

2

2 222

2

( )

2

2( ) ( )

2 2

( )

22

( ) [ ]

1

2

1

2

1

2

tX

xtx

x t x tt t

x tt t

M t E e

e e dx

e e dx

e e dx

),(~ 2NX

( 接下頁 )


常態分配所以動差形成函數

期望值及變異數：

9)-1-(5

22

1)(

22

22

2

2

tt

tt

e

etM

2202

222

0

|][][)(Var

|][

t

t

t

MXEXEX

t

MXE

由公式 (5-1-8)


範例 5-1-20若隨機變數 X 為常態分配，，試求隨機變

數 X2的期望值及變異數。

解答因為，所以 E[X]=0

又，

所以由式子 (5-1-9) 知 X 的動差形成函數為

，由式子 (5-1-8) 知

而

常態分配

2222222 ][][ ][][][Var XEXEXEXEX

),0(~ 2NX

),0(~ 2NX

40

)4(42 3|)(][ )(2

2

t

t

X tmXEetmX

4224

22422222

2)(3

][][][])[(][Var

XEXEXEXEX


前面提到，若，則稱 X 為標

準常態分配。

我們就可以定義標準常態分配的累積分配函數：

的意義為：

常態分配)1,0(~,1,0 NX

zt

dtez 2

2

2

1)(

)(z

)(z

z圖 5-1-19


常態分配

所以可以進一步得知：

由於圖形左右對稱，可知：z

z

t

dtez 2

2

2

1)(1

)()()(1 zQzz

z z

)( z )()(1 zQz

圖 5-1-20


Q函數的特性

根據以上對於 Q 函數的定義，可以知道 Q 函數滿足下列關係：

0)(.32

1)0(.2

)(1)(.1

Q

Q

xQxQ

部分 Q 函數的表


Q函數的範圍

我們常用三種方程式來近似 Q 函數的値

0 allfor 1

12

1)(.3

0 allfor 2

1)(.2

0 allfor 2

1)(.1

22

2

2

2

2

2

xexx

xQ

xex

xQ

xexQ

x

x

x

常用的上限

常用的下限


Q函數的範圍配合上一頁的方程式，可得近似 Q 函數範圍的圖型


二維常態分配 ( 結合高斯隨機變數 )

(Two–Dimensional Gaussian Distribution)

定義：若是隨機變數 (X,Y ) 的結合機率密度函數為

其中

則稱隨機變數 (X,Y ) 為二維常態分配，

記為

2

2

2

2

2

1

1

2

1

1

2221

2

12

1exp

12

1),(

yyxx

yxf

二維常態分配

1,0,,,,, 2121 RRyx

),,,,(~),( 22

2121 BNYX


二維常態分配中的參數分別對應到隨機變數X,Y 的期望值，標準差與相關係數。

若，表示 X 與 Y彼此互相獨立。

証明：當時，

範例 5-1-21

若隨機變數 X 和 Y 的結合機率密度函數如下所示：

二維常態分配 ,,,, 2121

0

)()(),( 0 yfxfyxf

yx

yxyxyxf ,,

8

1026exp

8

1),(

22


試求：

解答

整理一下可得

和二維常態分布的機率密度函數比較

可得

所以

二維常態分配

)(Var)3( }2|{)2( ]0|3[)1( YXXYEYXP

22

2

1

2

3

2

1exp

222

1),(

yxyxf

0,4,1,4,3 222

211

X 與 Y 互相獨立

844)(Var)(Var)(Var)3(

1][]2|[)2(2

1]3[]0|3[)1(

YXYX

YEXYE

XPYXP


中央極限定理 (Central Limit Theorem) ：對於許多個獨立且相同分布 (independent and identically distributed) 的隨機

變數 X1、 X2 、 …、 Xn ，每個隨機變數 Xj平均值均為，變異數

令隨機變數 Zn為

則

將許多彼此獨立且相同分布 ( 不需要是高斯分布 ) 的隨機變數相加就會趨近於高斯隨機變數。

2X

1( ) ... ( )X n Xn

X

X XZ

n

中央極限定理

X

趨近於標準高斯分佈的隨機變數

21

lim Pr exp22

( )

z

nn

xz z dx

z

P


隨機程序基本概念

我們常使用數學分析的方式來建立訊號的模型。

訊號模式通常可以分成兩大類形 :

確定性訊號模式 (Deterministic signal model)

在任何時間下訊號沒有任何不確定性

經調變過後的傳送訊號

隨機性訊號模式 (Random or Stochastic signal model)

在任何時間下訊號呈現不確定性

只能由統計特性來描述其瞬間特性

通道雜訊、通道干擾即為隨機性訊號



隨機訊號並不容易事先預測，僅能由統計的觀點描述其特性

隨機程序與隨機變數的比較

隨機變數對隨機變數而言，其實驗結果會對應到一個數值

通常僅關心某一個事件發生的頻率

隨機程序對隨機程序而言，其實驗結果會對應到一個時間上的函數

我們就不僅關心某些事件發生的頻率，還需要瞭解事件發生的

先後順序的關係

對隨機程序而言，其統計特性會隨時間進行而改變



名詞解釋取樣空間 S 是觀察某個隨機實驗所有可能發生的實驗現象或結果所形

成的集合。

取樣函數 (Sample function) ：即是某個實驗結果所對應之時間函數 x(t ; si) 。

隨機程序 (Random processes) ：所謂隨機程序 X(t , s) 是一種函數對應的規則，是將某個實驗結果對應至某個時間函數 x(t , si) ，以及對每

個實驗結果 si進行機率測量 P[si]=P[x(t,si)] 所組成。

整體 (Ensemble) ：所謂整體是表示由一個實驗中所有可能出現之取樣函數的集合。

Ssi

Ssi



為了簡化表達式，通常省略 s 而僅僅使用 X(t) 表示一個隨機程序。對某一固定時刻 tk ，所有可能出現的結果形成一個隨機變數

當 t = tk， s= si 皆固定時， x(tk ,si) 僅是一個數值。

取樣函數

t=tk

x(tk ,si) 是數值

)},(),...,,(),,({)( 21 nkkkk stXstXstXtX

取樣空間 S X(tk) 是隨機變數

圖 5-2-1


隨機程序基本概念範例 5-2-1

假設我們在時間 T = 0, 1, 2, …, 的時候各擲一次骰子，並且把每個時

間所出現的點數 NT 記錄下來 (1 NT 6) ，我們就可以產生一個離散

的隨機程序 X(t) ，在時間 T t T+1內， X(t) = NT。

在此例中，這個隨機程序包含無限多個取樣函數，每一個取樣函數是對應於進行連續擲出骰子並紀錄點數出現的順序。

對於某些不同的實驗結果在此例中是有可能發生的。

),(),(, jiji stxstxss


隨機程序基本概念範例 5-2-1 中實驗結果取樣函數與對應的圖例

取樣空間

針對 s1 的取樣函數圖形

針對 s2 的取樣函數圖形

圖 5-2-2


隨機程序基本概念隨機變數與隨機程序的不同

假設在某特定時間點 tk來觀察一個隨機程序

用來表示這個隨機變數

其統計特性可以用機率質量函數或機率密度函數來描述。

)( ktX

)()( xfktX 隨機變數

X(tk)

)()( xPktX

2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed

圖 5-2-3

t=tk


隨機程序基本概念範例 5-2-2

讓一個經過整流的餘弦信號 X(t)=R|cos2ft|擁有一個隨機的振幅 R ，振幅 R 的機率統計特性為指數分佈 (exponential distributed) 的隨機變數。其機率密度函數為

那麼隨機程序的機率密度函數為 ?

解答：

otherwise

rerf

r

R 0

0 )10/1()(

10/

)( )( )( xftX tx

1

)(

|]2cos|/[

])([)(

|2|cos10/

2cos

0

)(

πftx

πft|x/|

R

tX

e

drrf

ftxRP

xtXPxF


隨機程序與隨機變數

X(t) 機率密度函數為

機率密度函數是會隨時間而改變

範例 5-2-3

範例 5-2-2 中，令 Xn =X(nT) ，則 Xn的機率質量函數 (PMF) 為何？

解答：

/10|cos2 |( )

( )

1 , 0( )

10 | cos 2 |( )

0 ,

x ftX t

X t

e xdF xftf x

dxotherwise

otherwise, 0

6,...,1, 6/1)(

xxP

nX


隨機程序與隨機變數如何描述一個隨機程序的分佈呢？

對單一個隨機變數 X1而言，只要知道其機率密度函數就可以解

決和 X1有關任何的問題。

若是對於兩個隨機變數如 X1和 X2，就必需要知道它們的

結合機率密度函數 (joint PDF) 。

若是對於隨機程序 X(t) 進行完整敘述，對於任意 k 值以及所選擇 k 個時間 t1,

t2, …, tk進行取樣所形成的隨機向量 [X(t1), …, X(tk)] ，都必需要知道這個隨

機向量的結合機率密度函數

1 1( )Xf x

1( ),..., ( ) 1( ,..., )kX t X t kf x x

),( 21, 21xxf XX


離散與連續的隨機程序離散數值與連續數值的隨機程序： (Discrete-value and Continuous-value R.P.s)

對於隨機程序 X(t) ，觀察在任意時間點 t 出現的所有結果 (outcomes)

形成的集合，若此集合的元素是可計數的，則此 X(t) 稱為離散數值的隨機程序；反之若此集合的元素是不可計數的，則此 X(t) 稱為連續數值的隨機程序。

離散時間與連續時間的隨機程序： (Discrete-time and Continuous-time R.P.s)

若隨機程序 X(t) 只有在時間 tn=nT下才定義 (X(nT) 有對應的數值， T

是時間常數而 n 是整數 ) ，則此 X(t) 稱為離散時間的隨機程序；若 X

(t) 在所有時間 t都有定義，則此 X(t) 稱為連續時間的隨機程序。


離散與連續的隨機程序離散數值與連續數值的隨機程序圖例：

這兩個訊號在時間上 (x軸上 )都是連續的。

離散數值或連續數值之隨機程序的判斷是觀察隨機程序的結果 ( 也就是 y軸上 ) 是否連續。

連續時間，連續數值連續時間，離散數值

圖 5-2-4 圖 5-2-5


離散與連續的隨機程序離散時間與連續時間的隨機程序圖例：

離散時間隨機訊號 Xdc(t) 的產生是對連續時間隨機訊號 Xcc(t) 以 T=0.1秒時間間隔進行取樣所得到的結果。

這兩個訊號在數值上 (y軸上 )都是連續的。

連續時間，連續數值離散時間，連續數值

圖 5-2-6 圖 5-2-7


隨機程序基本概念由於一個隨機程序 X(t) ，在某時間點 t1的取樣值 X(t1) 是一個隨機變數，

因此 X(t1) 平均值為常數。

但平均值會隨著時間 t 而改變，故隨機程序平均值為一個時間函數，即)]([)( tXEtX

John G. Proakis, Communication System Engineering Chapter 4, 2th Edition, Prentice Hall,2002

隨機變數 X(t1)

隨機程序的期望值函數

)(tX

)( 0tX

)( 1tx

圖 5-2-8


隨機程序基本概念一隨機程序 X(t) 的平均值是決定性函數 (deterministicn function)deterministicn function) 。。

ㄧ旦 X(t1) 的機率密度函數 fX(t1) 已知，則 X(t1) 平均值為

範例 5-2-4

找出之前範例 5-2-2 中餘弦信號 X(t)=R|cos2ft| 的期望值

解答：

dxxxftXEt tXX )()]([)( )(11 1

|2cos|10

|2cos|][

|]2cos|[)]([)(

ft

ftRE

ftREtXEtX

隨機變數

時間的函數


自相關函數自相關函數 (Autocorrelation function)

ㄧ個隨機程序的自相關函數的意義為此隨機程序在兩個時間點 t1和 t2

之間功率的相關性。

數學表示式：

緩慢波動以及快速波動的自相關函數

緩慢波動表示兩個時間點t1 和 t2 之間的功率相關性高

快速波動表示兩個時間點t1 和 t2 之間的功率相關性低


)]()([),( 2121 tXtXEttRX

圖 5-2-9


自變異函數自變異函數 (Autocovariance function)

ㄧ個隨機程序的自變異函數的意義為此隨機程序在兩個時間點 t1 和

t2 之間標準差的相關性。

數學表示式：

自變異函數和自相關函數的關係：

隨機程序 X(t) 的變異數 (variance) 為

)](),([),( 2121 tXtXCovttCX

)()(),(

)()()()(

)()()()(

)()()()()()()()(

)()()()(),(

2121

2121

2121

21212121

221121

ttttR

ttttXE

tXEttXtXE

ttttXtXttXtXE

ttXttXEttC

XXX

XXX

X

XXXX

XXX

),()()()]([Var 112

111 ttCttXEtX XX


互相關函數

交互相關函數 (Cross-correlation function )

考慮兩個隨機程序 X(t) 和 Y(t) ，所對應的自相關函數分別為 RX(t1, t

2) 以及 RY(t1, t2) ，定義 X(t) 和 Y(t) 兩個隨機程序的交互相關函數為 :

若對於所有的 t1 和 t2 ，均滿足，則 X(t) 和Y(t) 為正交 (orthogonal) 訊號。

若採用另一種自相關函數的定義 :

)]()([),(

)]()([),(

2121

2121

tXtYEttR

tYtXEttR

YX

XY

0),( 21 ttRXY

)]()([),(

)]()([),(

tXtYEtR

tYtXEtR

YX

XY


互變異函數

則可以證明 :

互變異函數 (Cross-covariance function )

定義 X(t) 和 Y(t) 兩個隨機程序的互變異函數為：

若對於所有的 t1 和 t2 ，均滿足

則 X(t) 和 Y(t) 為無關 (uncorrelated) 訊號。

)()(),(

)()()()(),(

2121

221121

ttttR

ttYttXEttC

YXXY

YXXY

0),(or 0),( 2121 ttCttC YXXY

),(),( tRtR YXXY


互相關函數範例 5-2-5

考慮一和 X(t) 有關的正交調變程序 XI(t) 和 XQ(t) 定義如下：

而 fc表示載波頻率，隨機變數在區間 [0, 2π]內為均勻分布

並且和 X(t)彼此互相獨立，請問互相關函數

解答：

由定義，

(接下頁 )

)2sin()()(

)2cos()()(

tftXtX

tftXtX

cQ

cI

隨機變數

1 2 1 2( , ) [ ( ) ( )]I QX X I QR t t E X t X t

?),( 21, ttRQI XX


互相關函數解答 (接續 )

將 XI(t1) 和 XQ(t2) 分別代入，可獲得

1 2 1 2 1 2

1 2 2 1

1 2 1 2 2 1

1 2 1 2

( , ) [ ( ) ( ) cos(2 )sin(2 )]

[ ( ) ( )] [sin(2 )cos(2 )]

1( , ) sin 2 ( ) 2 sin 2 ( )

2

1( , )sin 2 ( )

2

I QX X c c

c c

X c c

X c

R t t E X t X t f t f t

E X t X t E f t f t

R t t E f t t f t t

R t t f t t

統計特性只跟兩點觀察時間之間隔有關

值得注意的是當 t1 = t2 時， RXI XQ (t1,t2) =E[XI(t1)XQ(t2)]= 0 ，這說明以相

同時間點去觀察這兩個隨機程序 XI(t) 和 XQ(t) ，它們彼此是互相正交，因此稱 XI(t) 和 XQ(t) 為正交調變程序。


複數形式的自相關函數複數隨機訊號的自相關函數表示 (Auto-correlation function for complex-valued random process )

),(),(2

),(),(2

122

12

1

))((2

1

))((2

1

2

1),(

21212121

21212121

21211221

2211

*2211

*2121

ttRttRj

ttRttR

YXEXYEj

YYEXXE

YYXjYXjYXXE

jYXjYXE

jYXjYXEZZEttR

XYYXYX

tttttttt

tttttttt

tttt

ttttttZ


複數形式的互相關函數複數隨機訊號的互相關函數表示 (Cross-correlation function for complex-valued random process )

注意：用 1/2 當標準化係數是因為數學上方便表示而定。

),(),(2

),(),(2

1

)ˆ)((2

1

)ˆ)((2

1ˆ2

1),(

2121ˆ2121ˆ

2211

*2211

*2121ˆ

ttRttRj

ttRttR

jYXjYXE

YjXjYXEZZEttR

XYXYYYXX

tttt

ttttttZZ


穩定隨機程序

穩定隨機程序 (Stationary random processes ) 的定義：對於一個隨機程序 X(t) 或者 Xn ，如果任意選擇 {m :m=1,2,…} 個觀察時

間點 (t1,…, tm) ，以及對於任意時間上的位移之結合機率分佈函數都滿足：

或者是結合機率密度函數都滿足：

若上面的式子對所有的 m ≦M都成立，則此 X(t) 或者 Xn 就是一個M

階穩定隨機程序。

1 1 1

1 1

( ),..., ( ) 1 ( ),..., ( ) 1

,..., 1 ,..., 1

( ,... ) ( ,... )

( ,... ) ( ,... )m

n n n k n km m

X t X t m X t X t m

X X m X X m

F x x F x x

F x x F x x

1 1 1

1 1

( ),..., ( ) 1 ( ),..., ( ) 1

,..., 1 ,..., 1

( ,... ) ( ,... )

( ,... ) ( ,... )m

n n n k n km m

X t X t m X t X t m

X X m X X m

f x x f x x

f x x f x x

離散時間隨機程序

連續時間隨機程序


穩定隨機程序也就是說對於任何 m 個時間點所取出的 m 個隨機向量 (random vector)[X

(t1),X(t2),…,X(tm)] 或者的 m階結合機率分佈函數不會隨著時間位移而改變。

穩定隨機程序的統計特性只跟 (t1, t2 ,…, tm) 時間上的相對位置有關。

穩定隨機程序 (Stationary random processes ) 是一個十分嚴格的穩定條件，只有少數的訊號可以滿足這樣的條件。

穩定隨機程序的重要概念就是隨機程序的結合機率分佈函數不會隨著時間位移而改變。

也就是說穩定隨機程序在不同的時間去觀察它時會有相同的統計結果。

1 2[ , ,..., ]

mn n nX X X


穩定隨機程序穩定程序會滿足三個重要特性：

若 X(t) 是一個穩定程序，則 X(t) 的統計特性不為隨時間變化而改變，因此任何時間下的平均值、自相關函數以及自變異函數將分別滿足：

以下將分別證明：平均值是常數 :

機率密度函數不隨時間位移而改變

( ) (0)( ) ( ) ( )X X t X Xt xf x dx xf x dx

)()(),(

)(),(

)(

212

2121

2121

ttCttRttC

ttRttR

t

XXXX

XX

XX


穩定隨機程序自相關函數

自變異函數

)(

)0,(

),(

),(

)()(),(

21

21

2121)0()(21

2121)()(21

2121

21

21

ttR

ttR

dxdxxxfxx

dxdxxxfxx

tXtXEttR

X

X

XttX

tXtX

X

二階統計特性只跟兩點取樣時間之間隔有關

二階結合機率密度函數不隨時間位移而改變

)(

)0,(

)0,(

)()(),(),(

21

21

221

212121

ttC

ttC

ttR

ttttRttC

X

X

XX

XXXX


穩定隨機程序範例 5-2-6

假設隨機訊號 X(t) 是一個具有固定載波頻率 fc與隨機相位的餘弦載

波，相位是 [0,2] 均勻分布隨機變數，訊號的表現如下：

的機率密度函數為

請問隨機訊號 X(t) 的期望值以及自相關函數如何表示？

)2cos()( tfAtX c

均勻分布隨機變數

otherwise , 0

20 , 2

1)(

f


穩定隨機程序解答

X(t) 計算期望值如下：

接下來計算自相關函數：

0|)2sin(2

)2cos(2

)()2cos(

)2cos()()(

20

2

0

tfA

dtfA

dftfA

tfAEtXEt

c

c

c

cX

21

2121

2cos)2cos(

)()(),(

tfAtfAE

tXtXEttR

cc

X

對任意頻率的弦波訊號積分一個週期，積分結果為 0


穩定隨機程序所以

)(2cos2

|)(22sin4

)(2cos2

2

1)(22cos

2)(2cos

2

)(2)(2cos2

)(2cos2

2)(2cos)(2cos2

),(

21

2

2021

2

21

2

2

0 21

2

21

2

21

2

21

2

2121

2

21

ttfA

ttfA

ttfA

dttfA

ttfA

dfttfA

ttfA

ttfttfEA

ttR

c

cc

cc

cc

ccX

積分結果為 0

自相關函數只跟兩點取樣時間 t1 與 t2 之相對位置 t1-t2 有關和 t1 與 t2絕對位置無關


圖例：擁有隨機相位的正弦波的自相關函數圖形

圖例：隨機二位元訊號波的自相關函數圖形


穩定隨機程序圖例

圖 5-2-9

圖 5-2-10


廣義穩定隨機程序穩定的隨機程序通常不容易做驗證。

隨機程序 X(t)只要對於所有時間都滿足以下式子

或者滿足

則 X(t) 就是一個廣義穩定 (wide-sense stationary, WSS) 隨機程序 ( 例如範例 5-2-6) 。

廣義穩定隨機程序僅只考慮一階與二階的統計特性，而二階統計特性是針對於自相關函數與自變異函數不隨時間位移而改變。

212121 , allfor )(),(

allfor )(

ttttRttR

tt

XX

XX

平均值是一個常數

212121 , allfor )(),(

allfor )(

ttttCttC

tt

XX

XX

只跟兩點取樣時間 t1 與 t2 之相對位置 t1-t2 有關和 t1 與 t2絕對位置無關


廣義穩定隨機程序二階統計特性只跟兩點取樣時間之差距 (t1-t2 ) 有關和 t1與或者 t2絕對位置無關。

若 X(t) 是一個廣義穩定隨機程序，則令 τ=t1-t2 ，我們可以改寫

注意 :穩定程序必為廣義穩定程序，而廣義穩定程序不一定會是穩定程序；這是因為穩定程序的定義最嚴謹，廣義穩定程序的定義比較寬鬆。

)( ),(),(

)( ),(),(

21

21

XXX

XXX

CttCttC

RttRttR


結合廣義穩定隨機程序考慮兩個隨機程序 X(t) 和 Y(t) ，只要對於所有時間都滿足：

X(t) 和 Y(t) 本身是廣義穩定程序 (WSS) 。

互相關函數只跟兩點取樣時間之差距 (t1-t2 ) 有關

或者

則 X(t) 和 Y(t) 就是一個結合廣義穩定 (jointly WSS) 隨機程序 ( 例如範例5-2-5) 。

)()(),( 2121 XYXYXY RttRttR

)( ),(

)( ),(

YY

XX

CttR

RttR

)()(),( 2121 YXYXYX RttRttR


廣義穩定隨機程序若 X(t) 是廣義穩態隨機程序，則 X(t) 的自相關函數 RX()

會滿足三個重要特性：

補充：偶函數的定義為 f(x) = f(− x)

，對稱 Y軸，例如即為ㄧ例。 ( 如右圖 )

)0()(

)()(

0)0(

XX

XX

X

RR

RR

R

當 =0 ， RX(0) 表示隨機程序的平均功率

RX() 是一個偶函數

自相關函數的峰值出現在 =0

2)( xxy


圖 5-2-11


廣義穩定隨機程序證明：

0)(

)()()0(2

tXE

tXtXERX

)(

)()(

)()()(

X

X

R

tXtXE

tXtXER

平均功率偶函數

峰值 (使用柯西不等式 )

22

2

22

22

)0()(

)0(

)()(

)()()(

XX

X

X

RR

R

tXEtXE

tXtXER

[ 補充 ] ：柯西不等式 (Cauchy Inequality)

222 VEUEUVE


廣義穩定隨機程序範例 5-2-7

隨機的二位元信號 ( 在展頻通訊系統中常用來表示的隨機展頻碼 )

下ㄧ頁的圖顯示一個包含二進制的符號 1 和 0 的隨機數列組成的程序

X(t) 的取樣函數 x(t) 。我們現在有下列假設：

1. 符號 1 和 0 分別用 +A 和 -A伏特的波形代表，週期是 T秒。

2. 因為波形並沒有同步，所以第一個完整波的起動時間 td可能位在 0 到 T

秒之間的任何時刻。

3. 假設 td是一連續均勻分布之隨機變數 Td的取樣值，機率密度函數如下表

示：

elsewhere

TtTtf d

dTd

0

0 1

)(


廣義穩定隨機程序在時間區間 (n1)T< ttd <nT 內 (n 是整數 ) ，我們利用投擲一個公正

的硬幣來決定值是 0 或是 1 。若是正面，我們就把結果標記為 1；若

是反面，我們就把結果標記為 0 。所以 0 和 1 出現的機率將會是相同的，而且不同的時間間隔內出現的

0 或 1 的次數是彼此互相獨立的。

+A

-A

x(t)

td

t0

T

圖 5-2-12


廣義穩定隨機程序 X(t) 的平均值為 X(t) 的自相關函數為 :

當則

當時

令

因為

所以

TtttXEtXEtXtXE ikikik ,0)()()()(

id tTt

ttXE ,0)(

Ttt ik

由於 tk , ti 是屬於不同的時間區間內，則 X(tk ) 與 X(ti ) 為兩個無關的隨機變數

Ttt ik

kik ttt ,0

0 id tTt


廣義穩定隨機程序可得 X(t) 在 td條件下的自相關函數 :

因為隨機變數 Td的機率密度函數為 :

將對於 Td取平均可

以獲得 :

TttT

ttA

dttfAtXtXE

ikik

ttT

ddTik

ik

d

,1

)()()(

2

0

2

elsewhere

ttTtAttXtXE ikd

dik , 0

,)()(

2

elsewhere

TtTtf d

dTd

, 0

0 ,1

)(

dik ttXtXE )()(

自相關函數只跟取樣時間 ti 與 tk 之相對位置 ti-tk 有關


廣義穩定隨機程序

X(t) 為廣義穩定隨機程序，令，自相關函數為 :

繪出來的圖形：

-T T

( )XR

A2

ikX tt

T,

TT

AR ,

0

,1)(

2

圖 5-2-14

ik tt


廣義穩定隨機程序廣義穩定隨機程序 X(t) 的平均功率為

範例 5-2-8

給定一個隨機變數 W ，機率密度函數為 fW(w) ，以及隨機變數在區間 (,)內均勻分布，且 W 和互相獨立。若 X(t) 如以下定義，

則 X(t) 是否為廣義穩定隨機程序？

提示：可以證明 X(t) 的期望值為 0 ，而且自相關函數為 τ=t

1-t2的函數，所以得 X(t) 是廣義穩定隨機程序。

)(

)()()0(2 tXE

tXtXERX

)cos()( WtAtX

),( 21 ttRX


廣義穩定隨機程序整體平均 (ensemble average) 與時間平均 (time average)

整體平均是對隨機程序的所有取樣函數 (整個隨機程序 ) 進行統計平均，又稱為隨機程序之期望值或統計平均值。由於一個隨機程序 X(t) ，在某時間點 t0是進行觀察獲得隨機變數 X(t0) ，對於任意函數 g(X) ，其整體平均值為

時間平均是針對隨機程序某一個取樣函數 x(t ,si) 進行時間上的平均。對於任意函數 g(x) ，其時間平均值為

dxxfxgtXgE tX )()())](([ )(0 0

2/

2/

def

)),((1

lim)(T

T iTi

dtstxgT

xg


各態歷經通常跟所選擇的取樣函數 x(t ,si) 有關，選擇不同的取

樣函數可能會獲得不同的時間平均值。

考慮穩定隨機程序 X(t) ，對於某個取樣函數的時間平均值是否會等於其整

體平均值？

各態歷經 (Ergodic) 的定義 : 對於穩定隨機程序 X(t)

若對於任意函數 g(x) 以及所有取樣函數 x(t ,si) ，都可滿足

則 X(t) 為各態歷經。也就是說 X(t) 的某個取樣函數的在時間上的平均值會收歛至整體平均。

ixg )(

))](([)),((1

lim)(2/

2/tXgEdtstxg

Txg

T

T iTi


功率頻譜密度函數範例 5-2-9

有一個隨機相位訊號 (參考範圍 5.6) ，相位

在 [0,2 )內均勻分布，考慮，試問 X(t)

是否為各態歷經？

解答

)2cos()( tfAtX c

duuAg

f

duuAg

T

dttfAgT

dttfAgNT

dttfAgT

tXg

c

utf

c

T

c

NT

NTN

c

T

TT

c

cos2

1

2cos

1

)2cos(1

)2cos(2

1lim

)2cos(1

lim);(

2

0

2

0

2

00

0

2

2

0

0

0

20


功率頻譜密度函數

另ㄧ方面：

剛剛得知：

所以 X(t) 為各態歷經！

duuAg

duuAg

dtfAgtXE

tf

tf

utf

c

c

c

c

2

0

22

2

2

2

0

cos2

1

)cos(2

12

1)2cos()]([

duuAgtXg cos2

1);(

2

0

時間上的平均值會收歛至整體平均。


各態歷經各態歷經的另ㄧ種定義：

穩定程序 X(t) 平均為各態歷經的兩個條件：

而

穩定程序 X(t) 在自相關函數為各態歷經的兩個條件：

而

1. Pr lim ( ) 1

2. lim Var ( ) 0

1( ) ( )

2

X XT

XT

T

X T

T

T

T X t dtT

P

dttXtXTR

TR

TRTR

T

TX

XT

XXT

)()(2

1);(

0);(Varlim.2

1)();(limPr.1

P


各態歷經各態歷經的隨機程序會滿足 : 某個取樣函數的時間平均會收歛至整體平均

。

X(t) 是穩定隨機程序，那麼時間平均會非常接近整體平均嗎？對於範例 5-2-

9 ，答案是不一定！

若ㄧ隨機程序 X(t) 是各態歷經，則 X(t) 一定是穩定隨機程序。

反過來，若ㄧ隨機程序 X(t) 是穩定，則 X(t) 不一定是各態歷經。

隨機程序是穩定只是說明 : 在不同的時間下觀察隨機程序的結果會具有

相同的統計分布特性。

X


功率頻譜密度函數之前提到：

1. 是廣義穩定隨機程序的平均功率。

2. 自相關函數的意義是表示平均功率會隨著兩個取樣時間的不同而變化。

功率頻譜密度 (Power Spectrum Density, PSD):

從頻譜上來觀察隨機程序之平均功率在各頻率上的分配情況。廣義穩定隨機程序之功率頻譜密度與自相關函數是傅利葉轉換 (Fourie

r transform) 的關係： (Einstein-Wiener-Khintchine relation)

)0()(2XRtXE

)]()([)( tXtXERX

功率頻譜密度 SX(f)的單位是 watt/Hz 。

dfefSR

deRfS

fjXX

fjXX

2

2

)()(

)()(



功率頻譜密度 SX(f) 在低頻區域較大表示平均功率大多集中在低頻率的訊號成份。

訊號的高頻部份對於訊號的平均功率貢獻較少。


功率頻譜密度函數特性

功率頻譜密度函數特性：

1. 訊號的直流部份的平均功率為

2. 平均功率：

3. 功率頻譜密度必為正值：

4. 由於實數值隨機程序的自相關函數為偶函數

可證明，也就是功率頻譜密

度為偶函數。

5. 功率頻譜密度為實數。

dffSRtXE XX )()0()(2

dRfS f )(|)( 0

0)( fSX

)()( XX RR

對功率頻譜密度函數做積分才是功率！

)()( fSfS XX

隨機訊號的任何頻率對於平均功率的貢獻均為正值！將於 5-3節證明！


特性 4功率頻譜密度為偶函數之證明：

特性 5功率頻譜密度為實數之證明：

由於是實數函數，透過傅利葉轉換的關係可獲得

，因此


)(

)()(,)(

,)(

)()(

2

2

)(2

fS

RRdsesR

sdsesR

deRfS

X

XXfsj

X

fsjX

fjXX

)(XR

由特性 4 可以推得功率頻譜密度為偶函數

)()()( * fSfSfS XXX )()( * fSfS XX

若複數 z 與其共軛 z* 相等時 z 即為實數



有一個隨機相位訊號 (參考範圍 5.6) ，相位

在 [-, )內均勻分布，試問功率頻譜密度？

解答由 (5-3-1) ，

)2cos()( tfAtX c

)()(4

4

4

)2cos(2

)(

2

)(2)(22

2222

22

cc

ffjffj

fjfjfj

fjcX

ffffA

dedeA

deeeA

defA

fS

cc

cc


隨機相位訊號功率頻譜密度如圖：

此訊號的平均功率為


Haykin / Communication Systems,4th Ed., 2000,John Wiley & Sons, Inc.

dffS

AR XX )(

2)0(

2

圖 5-2-15



隨機二元訊號 (Random Binary Wave)(參考範例 5-2-7)

符號 0 與 1 分別以振幅大小為 +A 與 -A伏特週期為 T 的波形代表，數學式可用以下表示：

由範例 (5-2-7) 知自相關函數

otherwise,0

0,1)(

1,)()(

Tttp

ItnTtpIAtX jdn

otherwise,0

,1)(

2 TT

ARX


功率頻譜密度函數功率頻譜密度由式子 (5-3-1) ：

T

T

fjfjT

fj

T

fjT

fjT

TX

Tf

fTffA

dfT

A

deeT

A

deT

AdeT

A

deT

AfS

022

2

0

2

22

0

2

2022

0

2

22

4

)2sin()(2)2cos(2

)2cos(12

1

11

1)(



隨機二元信號的功率頻譜密度圖形


)(sinc

)(sin

4

)2cos(12)(

22

22

22

22

2

fTTA

Tf

fTA

Tf

fTAfSX

圖 5-2-16


功率頻譜密度函數 ( 補充 )

限頻 (bandlimited)信號的功率頻譜密度圖形

帶通 (bandpass)信號的功率頻譜密度圖形


圖 5-2-17

圖 5-2-18


交叉頻譜密度函數交叉頻譜密度函數 (cross spectral density)

對於兩個隨機程序 X(t) 以及 Y(t) ，它們的交叉頻譜密度函數的定義為：

其中

若 X(t) 和 Y(t) 是一對結合廣義穩定 (jointly WSS) 隨機程序，則

( ) ( ) exp( 2 )

( ) ( ) exp( 2 )

XY XY

YX YX

S f R j f d

S f R j f d

1 2 1 2

1 2 1 2

( , ) [ ( ) ( )]

( , ) [ ( ) ( )]XY

YX

R t t E X t Y t

R t t E Y t X t

1 2 1 2

1 2 1 2

( , ) ( ) ( )

( , ) ( ) ( )XY XY XY

YX YX YX

R t t R t t R

R t t R t t R


結合廣義穩定隨機程序 X(t) 和 Y(t) 之交叉頻譜密度函數的特性 :

由於

可證得

交叉頻譜密度函數

( ) ( )

( ) ( ) exp( 2 )

( ) exp( 2 )

( ) exp( 2 )

( )

XY YX

YX YX

YX

XY

XY

R R

S f R j f d

R j f d

R j f d

S f

( ) ( )XY YXS f S f


範例 5-2-12

若 X(t) 和 Y(t)都是廣義穩態隨機程序，考慮有一個相加的程序 Z(t)= X

(t)+ Y(t) ，則 Z(t) 的功率頻譜密度函數為何？

解答


),(),(),(),(

)()()()()()()()(

)()()()(

)]()([),(

,, utRutRutRutR

uYtYEuXtYEuYtXEuXtXE

uYuXtYtXE

uZtZEutR

YXYYXX

Z

( 接下頁 )


因為 X(t) 和 Y(t) 均為廣義穩態隨機程序，則

取傅利葉轉換後獲得

若是 X(t) 和 Y(t)彼此不相關，且 X(t) 或者 Y(t) 的平均值為零，

則


( ) ( ) ( ) ( ) ( )Z X XY YX YR R R R R

)()()( fSfSfS YXZ

兩個不相關的隨機程序之和的功率頻譜密度為兩隨機程序個別之功率頻譜密度相加！

( ) ( ) ( ) ( ) ( )Z X XY YX YS f S f S f S f S f

( , ) [ ( ) ( )] [ ( )] [ ( )] 0XYR t E X t Y u E X t E Y u


隨機訊號通過線性非時變系統在這個章節，討論經由線性非時變系統下的隨機程序傳輸中輸入端信號 X(t) 和輸出端信號 Y(t) 之間的統計特性關係。

假設 X(t) 是一個廣義穩定隨機程序 :

X(t) 和 Y(t) 是定義在相同的機率空間

請問 Y(t) 是否是廣義穩定隨機程序 ??

( ) ( ) ( ) ( ) ( )Y t X t h t X v h t v dv

進行迴旋積分 (Convolution integration)


隨機訊號通過線性非時變系統輸出信號 Y(t) 的平均值：

輸入信號 X(t) 和輸出信號 Y(t) 之間的互相關函數：

0

0

( ) ( ) ( ) ( )

( ) ( )

( ) ( )

( ) exp( 2 ) |

( ) | (0)

Y

t v

X X

X f

X f X

t E Y t E X v h t v dv

E X v h t v dv

h t v dv h d

h j f d

H f H

因為 X(t)

是廣義穩定

1 2 1 2 1 2( , ) ( ) ( ) ( ) ( ) ( )XYR t t E X t Y t E X t X v h t v dv

1. 輸出信號 Y(t) 平均值為常數 ( 與時間 t 無關 )2. 輸出的平均值 =輸入的平均值 * 系統的直流響應 H(0)


接上頁

所以

X(t) 和 Y(t) 之間的互相關函數只跟取樣時間差 τ=t1-t2 有關，下一頁又

證明 Y(t) 是廣義穩定隨機程序，所以 X(t) 和 Y(t) 是一個結合廣義穩定(jointly WSS) 隨機程序。

隨機訊號通過線性非時變系統

1 2 1 2

1 2

1 2

( , ) ( ) ( ) ( )

( ) ( )

( ) ( )

( ) ( )

XY

X

X

X

R t t E X t X v h t v dv

R t v h t v dv

R t t u h u du

R u h u du

令 u=v-t

2

因為 X(t)是廣義穩定

令 τ=t1-t2

1 2 1 2( , ) ( ) ( ) ( ) ( )XY XY XY XR t t R t t R R h


隨機訊號通過線性非時變系統輸出信號 Y(t) 的自相關函數：

因此

由於 Y(t)期望值為常數，自相關函數只跟只跟 t1與 t2的時間差 τ=t1-t2

有關，所以 Y(t) 是廣義穩定隨機程序。

1 2 1 2

1 2 2 1

2 1

1 2

( , ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )

( ) ( )

( ) ( ) ( ) ( ) ( )

Y

XY

XY

XY X

R t t E Y t Y t

E X v h t v dvY t E X v Y t h t v dv

R v t h t v dv

R u h t t u du

R h R h h

因為 X(t) 和 Y(t) 是結合廣義穩定

1 2 1 2( , ) ( )

( ) ( ) ( ) ( ) ( ) ( )Y Y

Y XY X

R t t R t t

R R h R h h

令 u=v-t

2令 τ=t1-t2


上述的推導可得知輸入信號 X(t) 和輸出信號 Y(t)自相關函數的關係 :

若線性非時變系統的輸入端是廣義穩定的程序，那麼系統的輸出端也是廣義穩定的程序。

輸出端與輸入端之間的關係 :

由於


( )h ( )XR ( )XYR

( )h ( )YR

( ) ( ) ( )XY XR R h

*

( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( )

YX XY X

YX X

YX X XY

R R R h

R R h

S f S f H f S f

因為 RX(τ) 是偶函數

*( ) ( ) ( )XY XS f S f H f

因為 SX(f) 是實數函數


接下來討論輸出端 Y(t) 之功率頻譜密度函數 :

方法一 :先求得輸出訊號 Y(t)自相關函數 ( 時域上處理 ) ，再經由傅利葉轉換之後可獲得 Y(t)功率頻譜密度函數。

方法二 :先求得輸入訊號 X(t) 之功率頻譜密度函數 (頻域上 ) ，再經由輸出端與輸入端之間的功率頻譜密度函數的關係 ( 下一頁証明 ) 得到 Y

(t)功率頻譜密度函數。


2

( ) ( ) ( ) ( )

( ) ( )

Y X

j fY Y

R R h h

S f R e d

2

2

( ) ( )

( ) ( ) ( )

j fX X

Y X

S f R e d

S f S f H f

功率頻譜密度只跟振幅響應有關跟相位響應無關


隨機訊號通過線性非時變系統証明 : 因為

且

所以

經由反傅利葉轉換可獲得：

2( ) ( ) ( )Y XS f S f H f

22 2( ) ( ) ( ) ( )j f j fY Y XR S f e df S f H f e df

( ) ( ) ( ) ( )Y XR R h h

2 2

** 2

*

( ) ( )

( )

( )

j f j fu

j fu

h e d h u e du

h u e du

H f

*( ) ( ) ( ) ( )Y XS f S f H f H f

假設 h(t) 是實數，則 h(u)= h*

(u)

複數 z=a+jb 與其共軛 z*=a-jb 相乘可得到 |z|2=a2+b2

若已知輸入信號之功率頻譜密度可以直接求得輸出信號的功率頻譜密度


隨機訊號通過線性非時變系統接下來用範例補充說明功率頻譜密度的物理意義。

範例 5-3-1

假設是實數，而定義如圖：)()( fHh

2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed圖 5-3-2


則

也就是輸出功率約等於 SX 在 fc 上的值乘上頻率範圍 Δf 。當 Δf 很小時， SX ( fc ) 表示訊號在頻率 fc 上的功率密度，若對於所有頻率都測量其對應的功率密度，則 SX ( f ) 稱為功率頻譜密度函數。


)()(

)()(

)()(

)()0()]([

2/

2/

2/

2/

2

2

cXcX

ff

ff X

ff

ff X

X

YY

fSfSf

dffSdffS

dffSfH

dffSRtYE

c

c

c

c

2[ ( )]E Y t

當 Δf 很小時


隨機訊號通過線性非時變系統範例 5-3-2

假設有一個低通濾波器 ( 如圖 ) ，隨機程序 X(t) 當作輸入訊號， X(t) 的功率頻譜密度特性如下：

請問輸出端的自相關函數為何 ??

低通濾波器

0

1( ) , for all

2XS f N f

X(t)輸入端

Y(t)輸出端

圖 5-3-3


隨機訊號通過線性非時變系統採用方法二 :

低通濾波器的頻率響應為

則

利用

可求得

* 0

2 2

1( ) ( ) | ( ) |

2 1 2 /Y X

NS f S f H f

L R f

)/(0

2

220

4

/21

1

2)(

LR

fjY

eL

RN

dfefRL

NR

22

2

)/2(1

1)(

fRLfH

1( )

2 1 2 /

RH f

R j fL j fL R


功率頻譜密度函數接下來說明功率頻譜密度特性 3 的證明：

讓隨機訊號 X(t)輸入至一濾波器，濾波器的脈衝響應為：

由傅式轉換可得

0)( fSX

)2cos()( tfth c

2/)()()( cc fffffH


功率頻譜密度函數輸出訊號 Y(t) 的平均功率為

對於任意頻率 fc，都保證

)(2

1)()(

4

1

)()()()(4

1

)()()()]([22

cXcXcX

XcXc

XY

fSfSfS

dffSffdffSff

dffSfHdffStYE

由功率頻譜密度函數特性 4 得知兩者相等

由 5.3節得知

0)]([2)( 2 tYEfS cX

因此功率頻譜密度函數必為正值


範例 5-3-3

一對穩定的線性非時變濾波器 ( 所對應的脈衝響應為 h1(t) 、 h2(t)) ，分

別輸入將兩個結合廣義穩定 (jointly WSS) 隨機程序 X(t) 和 Y(t) ，如圖所示。請問兩輸出程序 V(t) 和 Z(t) 的交互頻譜密度函數？

解答

求

交互頻譜密度函數

2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed

1 2 1 2( , ) [ ( ) ( )]VZR t t E V t Z t

( 接下頁 )


另外

交互頻譜密度函數 1 2 1 2 1

1 2 1

1

( , ) ( ) ( ) ( )

( ) ( )

( ) ( )

VY

XY

XY

R t t E X t v Y t h v dv

R t t v h v dv

R v h v dv

因為 X(t) 與 Y(t) 是結合廣義穩定

令 τ=t1-t2

1 2 1 ( , ) ( ) ( ) ( )VY VY XYR t t R R h

1 2 1 2 2

1 2 2

2 2

2

( , ) ( ) ( ) ( )

( ) ( )

( ) ( ) ( ) ( )

( ) ( )

VZ

VY

u v

VY VY

VY

R t t E V t Y t v h v dv

R t t v h v dv

R v h v dv R u h u du

R h

V(t) 與 Y(t) 互相關函數是廣義穩定

1 2 2 ( , ) ( ) ( ) ( )VZ VZ VYR t t R R h 兩輸出 V(t) 與 Z(t) 互相關函數是廣義穩定


上述的推導可得知兩輸出信號 V(t) 和 Z(t) 互相關函數 :

交互頻譜密度函數

2 ( )h ( )XYR ( )VYR

1( )h ( )VZR

1 2 2 1 2( , ) ( ) ( ) ( ) ( ) ( ) ( )VZ VZ VY XYR t t R R h R h h

*1 2 1 2( ) ( ) ( ) ( ) ( ) ( ) ( )VZ XY XYS f S f H f H f S f H f H f

*2 ( )H f1( )H f

( )VYS f( )VZS f( )XYS f


雜訊的物理意義

雜訊的物理意義：雜訊，ㄧ般指通訊系統中不想要的訊號，可能來自於系統外或是系統內。

這些不想要的訊號或破壞信號傳輸困難度或是增加信號處理的複雜度。

在通訊系統內造成的損害無法控制。

系統外雜訊來源：如大氣、銀河、人為…等。

系統內雜訊來源：電路中電流或電壓的自然晃動造成干

擾，最常見的兩種為散射雜訊與熱雜訊。


雜訊圖例我們用圖片來表示雜訊所產生的現象：

原始影像

原始影像加上高斯雜訊

原始影像加上椒鹽雜訊(salt and pepper noise)

From ： vision.cse.psu.edu


雜訊圖例

原始影像

原始影像加上指數雜訊原始影像加上伽瑪雜訊

原始影像加上均勻分布雜訊原始影像加上椒鹽雜訊

各種雜訊的影響

2002, Prentice HallGonzalez and Woods Digital Image Processing 2nd Edition(DIP/2e)


高斯隨機訊號高斯隨機訊號

對於隨機訊號 X(t) 任意選擇 k 個時間點以及任意選擇觀察時間 t1 、

t2 、 … 、 tk進行取樣所形成的隨機向量 [X(t1), …, X(tk)]都可以

形成一個多維高斯隨機向量，那麼 X(t) 就是一個高斯隨機訊號。


高斯隨機變數的機率密度函數

圖 5-4-1


高斯隨機訊號重要特性：1.若一個線性濾波器的輸入端是高斯隨機訊號，那麼輸出端也將是高斯

隨機訊號。 (這個特性也可以用來確定輸入訊號是否是高斯隨機訊號 )

2.對於高斯隨機訊號的任意 k 個時間點作取樣所形成的隨機向量 [X(t1),

…, X(tk)] 是一個多維的高斯隨機向量。

3.如果一個高斯隨機訊號是廣義穩定的隨機程序 (WSS) ，那麼此一高斯隨機訊號也將是一穩定程序 (SSS) 。

重要特性 3 證明 :

假設 X=[X(t1), …, X(tk)] 的期望值向量以及變異矩陣 (covaria

nce

matrix) C 。

μ

高斯隨機訊號


位移一段時間 T 後得到的期望值

向量和變異矩陣分別是和。由於 X(t) 是廣義穩定滿足

1. 期望值不跟隨時間改變

2. Cij表示變異矩陣中第 i 列第 j 行的元素，可以表示

所以可知。

C

Xii TtXEtXE )()(

ijijXijXjiXij CTtTtCttCttCC )()(),(

),...(),...( 1)(),...,(1)(),...,( 11 kTtXTtXktXtX xxfxxfkk

由於高斯隨機向量的結合機率密度函數可以由期望值向量和變異矩陣來決定，因此結合機率密度函數不隨時間改變，所以 X(t) 是穩定隨機程序

高斯隨機訊號 1 2( ) ( )...... ( )kX t T X t T X t T X


高斯隨機雜訊高斯隨機雜訊 (Gaussian Random Noise) 就是機率密度函數為高斯分布的雜

訊。

因為數學式易於處理，所以高斯雜訊模型常被運用到。


標準高斯分布機率密度函數圖形圖 5-4-2


高斯隨機雜訊應用於影像處理中的例子：

高斯隨機雜訊

原始影像原始影像經過高斯隨機雜訊後的影像

2002, Prentice Hall, Gonzalez and Woods Digital Image Processing 2nd Edition(DIP/2e)


熱雜訊

熱雜訊 (Thermal Noise)

由於導體內電子的隨機運動所產生的雜訊。

通常溫度只要大於絕對零度 (0oK) 就會產生。

在頻寬為 Δf Hz內，量測電阻 R(歐姆 ) 兩端的熱雜訊電壓為 VTN。

VTN的平均值為零，變異數為，單位

為 (伏特 2) 。

其中表示波茲曼常數 (Boltzmann‘s cons

tant) ，

T 表示絕對溫度 (oK) 。

2[ ] 4TN

E V kTR f

231.38 10k


熱雜訊的電路模型如圖所示：

戴維寧 (Thevenin) 等效電路：熱雜訊電阻 R 以及均方值為之電壓源。

諾頓 (Norton) 等效電路：，單

位為 (安培 2)

電阻內電子非常多且獨立，依據中央極限定理得知熱雜訊電壓 VTN為高斯分佈，平均值為 0 。

熱雜訊

2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4th Ed

][ 2TNVE

fkTGR

VEIE TN

TN 4

][][

2

22

圖 5-4-5


白色雜訊白色雜訊

定義：若是雜訊的功率頻譜密度函數等於一個常數值，意即在任何頻

率下的功率密度都相同，這種雜訊就被稱為白色雜訊。

功率頻譜密度被定義為：。2)( 0N

fSW

白色雜訊的功率頻譜密度白色雜訊的自相關函數

2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed圖 5-4-6 圖 5-4-7


白色雜訊由上一頁自相關函數圖中可知，對於兩個不同時間作取樣 ( 不管有多接近 ) 的結果會是不相關 (uncorrelated) ，也就是

缺點：這種雜訊表示方式會使總能量變成無限大，

，在現實中是不可能的。

優點：實際上在濾波器或量測儀器的頻率範圍或頻寬是有限，在此頻率範圍內若雜訊擁有平坦的功率頻譜密度，則此雜訊可以被視為白色雜訊，所以在通訊系統的分析上白色雜訊是相當重要的。

範例 5-4-2

當白色雜訊通過理想的低通濾波 (Ideal Low-Pass Filtered White Noise)

對於ㄧ個平均值為 0 的白色雜訊，求通過一個低通濾波器後之輸出的自相關函數 ? 其中低通濾波器頻寬為 B ，頻譜上大小響應為 1 。

df

NdffStWE W 2

)()( 02

1 2 1 2( , ) [ ( ) ( )] 0WR t t E X t X t


白色雜訊經過低通濾波器之後，平均值為 0 之雜訊的功率頻譜密度會變成：

自相關函數：

由圖中可知，若我們以每秒 2B 的取樣速率進行訊號的取樣，取樣的結果會是彼此不相關 (uncorrelated) 。

02 ,

2( ) ( ) ( )

0, otherwiseN W

Nf B

S f H f S f

00( ) exp( 2 ) sinc(2 )

2N

NR j f df N B B

功率頻譜密度自相關函數


圖 5-4-8 圖 5-4-9


白色雜訊範例 5-4-3

考慮ㄧ系統方塊圖如下：討論訊號與白色雜訊的輸出功率。

本地載波 (local carrier)

相關器 (correlator)圖 5-4-10


白色雜訊在上一頁的系統方塊圖中本地載波常使用ㄧ常數來正規化訊

號的功率：

輸出雜訊為

2 /T2

0

2

0

0

2cos(2 )

2cos (2 )

1 cos(4 )

1

T

c

T

c

Tc

S f t dtT

f t dtT

f tdt

T

dttfT

twNT

c0

)2cos(2

)(


白色雜訊

2

)2(cos

)2cos()2cos()(2

2

)2cos()2cos()()(2

)2cos(2

)()2cos(2

)(

0)2cos(2

)()2cos(2

)(

0

0

20

0

0

0 0

00

2

00

N

dssfT

N

dsdtsftfstN

T

dsdtsftfswtwET

dssfT

swdttfT

twE

dttfT

twEdttfT

twE

T

c

T

cc

T

cc

T

T

c

T

cN

T

c

T

cN

若 w(t) 是白色高斯雜訊，則 N 即是高斯分佈，其機率密度函數可由平均值和變異數來決定


窄頻雜訊窄頻雜訊 (Narrowband noise)

在通訊系統的接收端中，通常會使用一個頻寬剛好可以讓接收訊號 x

(t) 中的調變訊號成份 s(t)( 由傳送端送出 ) 通過的窄頻帶通濾波器。另外，白色雜訊也會經由此帶通濾波器 (band-pass filtered white noise)

而變成 (帶通 )窄頻雜訊，例如窄頻雜訊的功率頻譜密度為：

圖 5-4-11 窄頻雜訊功率頻譜密度圖 5-4-12 窄頻訊號取樣函數



窄頻雜訊使用第 2 章第 9節帶通訊號的標準表示式來表示窄頻 (帶通 ) 雜訊 :

所以窄頻雜訊 n(t) 可以表示為 :

其中 nI(t) 稱為同相位 (In-Phase) 成分， nQ(t) 稱為正交相位 (Quadratur

e) 成分，可以由分解的方式 ( 如下圖 ) 來產生 :

( ) ( ) cos(2 ) ( )sin(2 )I c Q cn t n t f t n t f t

2000,John Wiley & Sons, Inc. Haykin / Communication Systems,4 th Ed圖 5-4-13

nI(t) 與 nQ(t) 經載波調變後相位上相差 90 度

由帶通窄頻雜訊 n(t) 分解出基頻的 nI(t) 與 nQ(t)


窄頻雜訊反之，也可以使用基頻同相位 nI(t) 以及正交相位 nQ(t) 成份來合成或產生

一 (帶通 )窄頻雜訊 n(t) ，如圖表示：

nI(t) 以及 nQ(t) 重要統計特性：

1. 若 n(t) 平均值為 0 ，則 nI(t) 與及 nQ(t) 平均值均為 0 。

2. 若 n(t) 為高斯隨機程序，則 nI(t) 與 nQ(t) 為結合高斯隨機程序。

由同相位成份 nI(t) 與正交相位成份 nQ(t)來合成帶通窄頻雜訊

圖 5-4-14



窄頻雜訊 nI(t) 以及 nQ(t) 重要統計特性：

3. 若 n(t) 為廣義穩定隨機程序，則 nI(t) 以及 nQ(t) 為結合廣義穩定隨機程序。

4. nI(t) 以及 nQ(t) 的功率頻譜密度函數皆為純實數函數。

其中 SN(f) 有訊號出現的頻帶為

且 ( 例如圖 5-4-11) 。

5. nI(t) 以及 nQ(t) 的平均功率與 n(t) 相同，

6. 若 n(t) 為高斯隨機程序 ( 平均值為 0) 且 SN(f) 對稱於 fc ( 例如圖 5-4-17) ，

則 nI(t) 與 nQ(t) 為統計獨立之隨機程序。

( ) ( ), | |( ) ( )

0 , otherwiseI Q

N c N c

N N

S f f S f f f BS f S f

BfBffBf ccc

(0) ( ) ( ) (0)I IN N N NR S f df S f df R


窄頻雜訊 7. nI(t) 與 nQ(t) 的交互頻譜密度函數皆為純虛數函數。

( ) ( ) , | |( ) ( )

0 , I Q I Q

N c N c

N N N N

j S f f S f f f BS f S f

otherwise

n(t) 的功率頻譜密度

nI(t) 與 nQ(t) 的交互頻譜密度


圖 5-4-15

圖 5-4-16


窄頻雜訊範例 5-4-4

白色雜訊通過帶通濾波器 :

ㄧ個平均值為 0 的白色雜訊，功率頻譜密度，經過一個大小響應為 1 的帶通濾波器之後，輸出端之 (帶通 )窄頻雜訊 n(t) 的功率頻譜密度如下圖：

0 / 2N

圖 5-4-17 帶通濾波器的輸出之功率頻譜密度2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed


窄頻雜訊經由反傅利葉轉換可獲得 (帶通 )窄頻雜訊的自相關函數：

由上圖得知，若以每秒 2B 的取樣速率對於雜訊進行取樣，取樣的結果會是彼此不相關 (uncorrelated) 。

2 20 0

0

( )2 2

2 sin c(2 )cos(2 )

c c

c c

f B f Bj f j fN f B f B

c

N NR e df e df

N B B f

圖 5-4-18 帶通窄頻雜訊的自相關函數



窄頻雜訊由特性 4 可以獲得 nI(t) 與 nQ(t) 的功率頻譜密度函數

經由反傅利葉轉換可獲得 nI(t) 與 nQ(t) 的自相關函數

窄頻雜訊的平均功率為

0( ) ( ) 2 sinc(2 )I QN NR R N B B


圖 5-4-19 nI(t) 與 nQ(t) 的功率頻譜密度函數

20[ ( )] (0) 2 (0)

IN NE n t R N B R


窄頻雜訊若使用波封 (Envelope) 與相位成分 (Phase) 來表示窄頻雜訊，則可以表示成：

其中，而

。

如何求出和的機率分布？假設 nI(t) 與 nQ(t) 為獨立之高斯隨機程序 ( 由特性 6 得知 ) ，則 nI(t) 與 nQ(t)

結合機率密度函數為

其中 NI與 NQ表示對隨機程序 nI(t) 與 nQ(t) 進行取樣所獲得的隨機變數。

( ) ( ) cos(2 ) ( )sin(2 )

( ) cos 2 ( )

I c Q c

c

n t n t f t n t f t

r t f t t

2 2 1( ) ( ) ( ) ( ) tan ( ) / ( )I Q Q Ir t n t n t t n t N t

( ) ( )r t t

2 2

, 2 2

1( , ) exp

2 2I Q

I QN N I Q

n nf n n

波封相位


窄頻雜訊利用座標轉換如圖：

利用變數變換，以及

可以獲得與結合機率密度函數！

)sin( )cos( rnrn QI


rdrddndn QI

圖 5-4-20 圖 5-4-21

( ) ( )r t t


窄頻雜訊和的結合機率密度為

所以討論：

由結合機率密度中可看出機率密度函數跟變數無關，可以推知的機率密度函數為常數，也就是均勻分佈。

因為，所以

( ) ( )r t t2

, 2 2

,

2

, 2 2

1( , ) exp

2 2

( , )

( , ) exp2 2

I QN N I Q I Q

R

R

rf n n dn dn rdrd

f r drd

r rf r

20

20for 2

1)( f


窄頻雜訊因此和彼此之間是互相獨立的，所以 R

.20for2

1)(

.0for2

exp)(2

2

2

f

rrr

rfR

此即為瑞雷 (Rayleigh) 分佈

<補充 > V 是正規化瑞雷分佈 ( ):2

exp( ), 0( ) 2

0 , otherwiseV

vv v

f v

圖 5-4-22 正規瑞雷分佈 PDF 圖形


2 1


正弦波加上窄頻雜訊

正弦波加上窄頻雜訊 (Sinusoidal Wave Plus Narrowband Noise)

現在討論一個振幅大小為 A 的正弦波訊號加上一個高斯白色雜訊後的

情形。

以 n(t) 代表白色高斯雜訊，所以接收訊號 x(t) 可以表示成：

重要特性： nI(t) 以及 nQ(t) 為高斯，而且互相獨立。

)2sin()()2cos()(

)2sin()()2cos()()2cos(

)()(2cos)(

tftxtftx

tftntftntfA

tntfAtx

cQcI

cQcIc

c



xI(t) 以及 xQ(t) 的結合機率密度函數：

經由變數變換，以及

所以：

2 21

, 2 2

( )1( , ) exp

2 2I Q

QX X I Q

x A xf x x

cos( ) sin( )I Qx r x r

2 2 2

, 2 2

2 2

2 2

cos( ) sin ( )1( , ) exp

2 2

2 cos( )exp

2 2

QI

R

QI

dxdx

dr drr A rf r

dxdx

d d

r r A Ar



在這種情形下，隨機變數和再也不是互相獨立了！

推導隨機變數 R 的臨界分佈：

R

202

22

2

2

0 22

22

2

2

0 2

22

2

2

0 ,

2exp

2

)cos(2exp

2exp

2

2

)cos(2exp

2

),()(

ArI

Arr

dArArr

dArArr

drfrf RR


正弦波加上窄頻雜訊其中，表

示零階第一類貝索函數 (Bessel function) 。

貝索函數

階數為 n 的貝索方程式表示式：

這類方程式的解通常是無法用初等函數來簡單表示的。

階數為 n 的貝索方程式的解又稱為第一類 n階貝索函數。

2

00 )cos(exp2

1)( dxxI

0)( 222

22 ynx

dx

dyx

dx

ydx


正弦波加上窄頻雜訊第一類 n階貝索函數：

修改後的 n階貝索方程式：

修改後的第一類 n階貝索函數：

0

2

0

)!(!

4/

2

sinexp2

1

)sin(cos1

)(

mnm

xx

djnjx

dnxxJ

m

n

n

n

0)( 2222

22 ynxj

dx

dyx

dx

ydx

dnxxJjxI n

nn )cos()cos(exp

2

1)()(



0階、 1階和 2階第一類貝索函數曲線

0階

1階

2階


圖 5-4-23



所以

分布即為萊斯分佈 (Rician distribution) 。

令

)(2

exp)(

)(2

exp)()(

,

0

22

0

22

avIav

vvf

avIav

vrfvf

Aa

rv

V

RV

202

22

2 2exp)(

Ar

IArr

rfR

)(rfR

正規化萊斯分布



正規化萊斯分布圖形 2000,John Wiley & Sons, Inc.Haykin / Communication Systems,4th Ed

當 a=0萊斯變成瑞雷分佈

當 a夠大，在 v=a 處趨近高斯

圖 5-4-24


參考文獻

1. John G. Proakis, Communication System Engineering Chapter 4,

2th Edition, Prentice Hall,2002.

2. Haykin / Communication Systems,4th Ed, 2000,John Wiley & Sons, Inc.

3. Gonzalez and Woods, Digital Image Processing 2nd Edition(DIP/2e)

2002, Prentice Hall

4. vision.cse.psu.edu

5. www.math.umn.edu

6. http://wikimediafoundation.org/wiki/Home

參考資料

第五章 機率 、 隨機訊號與雜訊

Documents

第五章機率、隨機訊號與雜訊