teo info

Teoria da Informao

Limites Fundamentais daInformao

UFF - Engenharia de Telecomunicaes Prof. Jos Santo G. Panaro 1

Introduo

A Teoria da Informao responde a certas questes fundamentais: Qual a menor complexidade que uma fonte de informaes pode ser reduzida? Entropia da fonte.Qual a maior taxa de transmisso para comunicao Qual a maior taxa de transmisso para comunicao confivel em um canal ruidoso? Capacidade do canal.

Um resultado mais especfico: Se a entropia da fonte for menor que a capacidade do canal, ento a comunicao atravs do canal pode ser realizada livre de erros (ou com uma taxa de erros arbitrariamente pequena) .

2UFF - Engenharia de Telecomunicaes Prof. Jos Santo G. Panaro

Incerteza, Informao e Entropia

Incerteza Informao Quando se obtm informao, diminui-se a incerteza.

Exemplo: Suponha uma varivel aleatria discreta S Exemplo: Suponha uma varivel aleatria discreta Sassuma os valores com probabilidades dadas por

Qual a quantidade de informao obtida ao se observar os resultados de S?


{ }110 ,,, = KsssS K

1,,1,0,)Pr( === Kkpss kk K


Caso 1: p0 = 1 Neste caso no h diminuio da incerteza ou ganho deinformao.

Caso 2: p1 0Caso 2: p1 0 Neste caso haveria um ganho de informao tendendo ainfinito.

Caso 3 (geral): 0 < pk < 1 Neste caso ocorre um ganho de informao entre zero einfinito.



Quantidade de informao

)(log1log)( kbk

bk ppsI =

=

Unidades de informao b = e 2,718 nat b = 2 bit


k


Propriedades

1. I(sk) = 0 para pk = 12. I(sk) 0 para 0 pk 13.3. I(sk) > I(sj) para pk < pj4. I(sj sk) = I(sj) + I(sk) se sj e sk so estatisticamente

independentes.



Entropia a quantidade de informao mdia de uma fonte de dados.

[ ]= )()( ksIESH


[ ]

=

=

=

=

=

1

0

1

0

1log

)(

)()(

K

k kk

K

kkk

k

pp

sIp

sIESH


Ex.1: Qual a entropia de uma fonte de dados binria S1 com probabilidades de smbolos dadas por p0 = e p1 = ?

( ) ==


( )

bits 811,0415,0432

41)(

bits 415,034log)(

bits 24log)(

1

21

20

=+=

=

=

==

SH

sI

sI


Ex.2: Qual a entropia de uma fonte de dados binria S2 equiprovvel (p0 = p1 = ) ?

( ) bit 12log)()( 210 === sIsI

Note que a entropia mxima ocorre para a fonte S2que equiprovvel.


bit 11211

21)( 2

210

=+=SH


Propriedades Entropia de uma fonte discreta sem memria com Ksmbolos: 0 H(S) log2 K .

H(S) = 0 se e somente se p = 1 para algum smbolo s . H(S) = 0 se e somente se pk = 1 para algum smbolo sk. H(S) = log2 K se e somente se pk = 1/K para todo k, isto , quando todos os smbolos so equiprovveis.



Entropia de uma fonte binria

)()1(log)1(logloglog)(

0020020

121020

pHppppppppSH

==

=

H(p =0,5) = 1


H(p0=0) = 0 H(p0=1) = 0

H(p0=0,5) = 1

Probabilidade de smbolo, p0


Fontes Estendidas

Blocos de n smbolos de uma fonte discreta Sproduzem uma fonte estendida Sn.

Smbolos da fonte original independentes: Smbolos da fonte original independentes:


)()( SHnSH n =


Exemplo: S = {s0, s1, s2}, p = {, , }

1log1log1log)(2

221

210

20

+

+

=

pp

pp

ppSH


( ) ( ) ( )bits

23

2log214log

414log

41

222

210

=

++=

ppp


Smbolos de S 2 0 1 2 3 4 5 6 7 8

Sequncia de S s0s0 s0s1 s0s2 s1s0 s1s1 s1s2 s2s0 s2s1 s2s2

p(i) 1/16 1/16 1/8 1/16 1/16 1/8 1/8 1/8 1/4


( ) ( ) ( ) ( )( ) ( ) ( ) ( )

)(2bits 34log

418log

818log

8116log

161

16log1618log

8116log

16116log

161

)(1log)()(

2222

2222

8

02

2

SH

ppSH

iii

==

++++

+++=

=

=

Teorema de Codificao de Fonte

Um problema importante em comunicaes arepresentao eficiente dos dados gerados poruma fonte discreta.

O processo que fornece essa representao O processo que fornece essa representaoeficiente conhecido por codificao de fonte.

Um codificador de fonte eficiente deve satisfazerdois requisitos funcionais: Palavras-cdigo devem ser geradas na forma binria. Cdigo de sada deve ser unicamente decodificvel.


Teorema de Codificao de Fonte

Comprimento mdio das palavras-cdigo

1 Teorema de Shannon (1948)

=

=

1

0

K

kkklpL


Eficincia de codificao


LSH

LL )(min

==

)(SHL

Compactao de Dados

Decodificabilidade nica

A concatenao de palavras, sem mecanismo de pontuao, deve ser unicamente decodificvel.

Contra-exemplo: Contra-exemplo:S = {a, b, c, d, e, f } = {0, 1, 00, 01, 10, 11}01 = ab ou d S no unicamente decodificvel!Lmin = H(S) = log2 (6) 2,58


!!! )(67,16

10 SHL

Compactao de Dados

Um cdigo binrio unicamente decodificvel deve satisfazer a desigualdade de Kraft-McMillan.

121

Klk

Para o contra-exemplo anterior:


120

=k

!!! 1242222 211

0>=+=

=

K

k

lk

Compactao de Dados

Cdigos Prefixo

Nenhuma palavra-cdigo prefixo de outra palavra-cdigo.

Um cdigo prefixo unicamente decodificvel e, Um cdigo prefixo unicamente decodificvel e, portanto, satisfaz a desigualdade de Kraft-McMillan.

Um cdigo unicamente decodificvel no necessariamente um cdigo prefixo.


Compactao de Dados

Smbolo Probabilidade Cdigo I Cdigo II Cdigo III

s0 0,5 0 0 0

s1 0,25 1 10 01

s2 0,125 00 110 011


O cdigo I viola a desigualdade de Kraft-McMillan e, portanto, no prefixo nem unicamente decodificvel.

A desigualdade de Kraft-McMillan satisfeita para os cdigos II e III.

Somente o cdigo II cdigo prefixo.

s3 0,125 11 111 0111

Compactao de Dados

rvore de decodificao para o cdigo II Cdigo prefixo: decodificao instantnea.

Estado


Estadoinicial

Compactao de Dados

Comprimento mdio das palavras de um cdigo pode ser arbitrariamente prximo da entropia.

Ex.: S = {a = 0, b = 10, c = 11}, pk = {0,8; 0,1; 0,1}


ok! 2,121,02180

92,0)1,0(log1,02)8,0(log8,0)( 22

>=

+=

=

=

H(S),L

SH

Compactao de Dados

Melhor cdigo para S2 (letras duplas):

=

=

=

1011000

ac

abaa

2/)]46(01,0)1433(08,0

)11(64,0[

+

++

=L


=

=

=

=

=

=

=

1111111111101110111101111100110

2

cc

cbca

bcbbba

S92,0)(96,0

2/)]46(01,0=>=

+

SH

Aumentando o nmero de letras codificadas de cada vez, o comprimento mdio das palavras se aproxima da entropia da fonte (ao preo de maior consumo de memria).

Compactao de Dados

Limitantes para cdigos prefixo

Limitantes para cdigos prefixo estendidos

1)()( +

Compactao de Dados

Cdigo de Huffman Cdigo prefixo timo para fontes sem memria.

Associa uma sequncia de bits de comprimento aproximadamente igual quantidade de informao aproximadamente igual quantidade de informao de cada smbolo da fonte.

O comprimento mdio das palavras do cdigo de sada se aproxima da entropia da fonte H(s).

25UFF - Engenharia de Telecomunicaes Prof. Jos Santo G. Panaro

Compactao de Dados

Construo do cdigo de Huffman1. Os smbolos da fonte so listados em ordem de

probabilidade decrescente. Aos dois smbolos de menor probabilidade so associados bits 0 e 1.

2. Esses dois smbolos so combinados em um novo smbolo com probabilidade igual a soma das duas probabilidades originais. A probabilidade do novo smbolo reposicionada na lista de acordo com seu valor.

3. O procedimento repetido at que a lista s contenha dois elementos aos quais so associados bits 0 e 1.


Compactao de Dados

Exemplo:

{ }}1,0;1,0;2,0;2,0;4,0{

,, 40

=

=

pssS K


bits 12,266,093,053.0

1,01log1,02

2,01log2,02

4,01log4,0)( 222

=

++=

+

+

=SH

Compactao de Dados

Cdigo de Huffman resultante:


bits 12,2)(bits 2,231,031,022,022,024,0

==

++++=

SHL

( )16,0)2,23(1,02)2,22()2,024,01( 22

1

0

22

=++=

=

=

K

kkk Llp

Compactao de Dados

Outra soluo:


LL

==

++++=

bits 2,241,041,032,022,014,02

2

222222

36,1)2,24(1,02)2,23(2,0)2,22(2,0)2,21(4,0

>=

+++=

Compactao de Dados

Limitaes do cdigo de Huffman

Necessrio conhecer as estatsticas da fonte a priori. A codificao direta de fontes com memria ineficiente. ineficiente.

A codificao da fonte estendida melhora a eficincia ao custo de maior complexidade e dispndio de memria.

A limitao de recursos computacionais impede a captao das relaes de dependncia de ordem elevada (p.ex., entre palavras e frases em um texto).


Compactao de Dados

Algoritmo LZ (Lempel-Ziv)

Inventado em 1977 por Abraham Lempel e Jacob Ziv.

Mtodo adaptativo: utiliza dicionrio.Mtodo adaptativo: utiliza dicionrio.

Amplamente utilizado (incluindo variantes e

implementaes mistas).

Programas: GZIP, LHA, ARJ, PKZIP, DEFLATE, DPKG, RPM

Formatos: GIF, TIFF, PDF, RPM, DEB, PNG, GZ, ZIP, 7z


Compactao de Dados

Variantes LZ


Compactao de Dados

Algoritmo LZ78 Insere palavras correspondentes a um ou mltiplos caracteres, da mensagem a ser codificada em um Dicionrio.

Os padres de mltiplos caracteres so da forma: C1, Os padres de mltiplos caracteres so da forma: C1, C2,, Cn-1, Cn. O prefixo de um padro consiste de todos os caracteres do padro exceto o ltimo: C1, C2,, Cn-1.

Sada LZ78:


(0, Caractere) Se um caractere no est no dicionrio

(IndicePrefixo, Caractere) Se o padro de mltiplos caracteres no est no dicionrio

(IndicePrefixo, ) Se o padro de mltiplos caracteres est no dicionrio

Compactao de Dados

Exemplo: Codificao LZ78 Mensagem de entrada: ABBCBCABABCAABCAAB

Cdigo de sada: (0,A)(0,B)(2,C)(3,A)(2,A)(4,A)(6,B)


Compactao de Dados

Comprimento de sada


Sada (0, A) (0, B) (2, C) (3, A) (2, A) (4, A) (6, B)ndice 1 2 3 4 5 6 7Lsaida: (1 + 8) + (1 + 8) + (2 + 8) + (2 + 8) + (2+ 8) + (3 + 8) + (3 + 8) = 70 bitsLentrada: 18 8 = 144 bits; Taxa de compresso: 144 : 70 = 2,06 : 1

Compactao de Dados

Exemplo: Decodificao LZ78 Cdigo de entrada: (0,A)(0,B)(2,C)(3,A)(2,A)(4,A)(6,B)

Mensagem de sada: ABBCBCABABCAABCAAB


Compactao de Dados

Taxas de compresso tpicas


Canais Discretos sem Memria

DMC (Discrete Memoryless Channel) Alfabetos de entrada e sada discretos. Sada depende apenas da entrada atual.



Matriz de Probabilidades de Transio

=

)|()|()|()|()|()|(

111110

010100

K

K

xypxypxypxypxypxyp

MMM

L

L

P


)|()|()|( 111110 JKJJ xypxypxyp LMMM

1,,1,0 para 1)|()|()|(

1

0==

===

=

Jjxyp

xXyYPxypK

kjk

jkjk

K


BSC (Binary Simmetric Channel) O canal binrio simtrico o canal discreto sem memria mais simples.

Probabilidade de erro: Pe = p Probabilidade de erro: Pe = p


=

=

pppp

xypxypxypxyp

11

)|()|()|()|(

1110

0100P


Canal Binrio Assimtrico1

Probabilidade de Erro


1

10

110001

1001

)()|()()|(),(),(

)(

ppxpxypxpxyp

xypxypxyPP kke

+=+=

+=

=

Informao Mtua

Hipteses (recepo)

O receptor: No conhece a entrada X

No conhece o rudo do canal e os seus efeitos No conhece o rudo do canal e os seus efeitos

Conhece a sada Y

Conhece a distribuio de entrada p(xj) Conhece as probabilidades de transio p(yk | xj)


Informao Mtua

A quantidade de informao na entrada do canal medida pela entropia da fonte H(X). H(X) a incerteza do receptor antes da transmisso, pois o mesmo no tem acesso direto aos dados da fonte X.fonte X.

Aps a transmisso, a observao da sada do canal Y reduz a incerteza do receptor para H(X |Y). A informao sobre a entrada que foi obtida pela observao da sada do canal a informao mtua:

I(X;Y) = H(X) H(X |Y)UFF - Engenharia de Telecomunicaes Prof. Jos Santo G. Panaro 44

Informao Mtua

Entropia Condicional

=

==

1

0 )|(1log)|()|(

J

j kjkjk yxp

yxpyYXH

[ ]== )|()( kyYXHEYXH


[ ]

=

=

=

=

=

=

=

==

==

1

0

1

0

1

0

1

0

1

0

)|(1log),(

)|(1log)()|(

)|()()|()(

K

k

J

j kjkj

K

k

J

j kjkkj

K

kkk

k

yxpyxp

yxpypyxp

yYXHyp

yYXHEYXH

Informao Mtua

Informao Mtua

=

=

=

1

0

1

0 )()|(

log),();(J

j

K

k j

kjkj

xpyxp

yxpYXI

1 1 )|(J K xyp

Regra de Bayes:

Informao mtua simtrica: I(X;Y) = I(Y;X)


=

=

=

1

0

1

0 )()|(

log),();(J

j

K

k k

jkkj yp

xypyxpXYI

)()|(

)()|(

k

jk

j

kj

ypxyp

xpyxp

=

Informao Mtua

Propriedades1.

2.

3.

);();( XYIYXI =0);( YXI

);()()();( XYHYHXHYXI +=3.


);()()();( XYHYHXHYXI +=

Capacidade de Canal

A capacidade de canal de um DMC a mxima informao mtua que pode ser obtida em um intervalo de sinalizao.

A capacidade do canal alcanada para uma A capacidade do canal alcanada para uma determinada distribuio de probabilidade de entrada {p(xj)}.


);(max)}({

XYICjxp

=

Capacidade de Canal

Capacidade do BSC

que?)(por 1)()(2/1 para 1)(

loglog)(

maxmax

10max

121020

==

===

=

XHYHppXH

ppppXH


que?)(por 1)()( maxmax == XHYH

2/1

max

max

2/1)}({

10

10

|)|(1)|()()|()(

|);();(max

==

==

=

=

=

==

pp

ppxp

XYHXYHYHYXHXH

YXIYXICj

Capacidade de Canal

Capacidade do BSC (cont.)

)|(log)|()|(log)|()|(log)|()|(log)|(1

|)|(1

112111012001

102110002000

2/110

xyppxypxyppxypxyppxypxyppxyp

XYHC pp

++

++=

===

Canal sem rudo (p = 0):C = 1 bit/smbolo

Canal mais ruidoso (p = 1/2):C = 0


)(1)1(log)1(log1

)|(log)|()|(log)|(22

112111012001

pHpppp

xyppxypxyppxyp

=

++=

++

Teorema de Codificao de Canal

O rudo no canal causa erros de transmisso. O objetivo da codificao de canal aumentar a

robustez do sistema de comunicao contra o rudo. O codificador de canal introduz certa redundncia nos O codificador de canal introduz certa redundncia nos

dados, de modo que na recepo o decodificador de canal possa corrigir os erros de transmisso.




Existe um esquema de codificao de canal que permite que os dados de uma fonte de entropia H(S) e intervalo de sinalizao Ts sejam transmitidos e intervalo de sinalizao Ts sejam transmitidos atravs de um canal de capacidade C e intervalo de utilizao de canal Tc com probabilidade de erro arbitrariamente pequena, desde que

A razo C/Tc denominada de taxa crtica.


cs TC

TSH )(


Taxa de codificao:

Canal binrio simtrico (H(S) = 1):TC1

s

c

TT

r

Assim, pode-se reduzir significativamente a taxa de erro do BSC desde que se use um cdigo com a taxa de codificao menor que a capacidade do canal.


CrCTT

TC

T sc

cs

1


Exemplo: BSC (p = 0,01) Pe = 0,01 H(p) = 0,081 C = 1 0,081 = 0,919

Cdigo de repetio (0 000; 1 111) r = 0,333 < C = 0,919 Erro se, p.ex., Tx = 000 e Rx = 011, 101, 110 ou 111


e

e

P

pppP


Desempenho dos cdigos de repetio

Taxa de Codificao, r Prob. de Erro, Pe

1 10-2


1/3 3 10-4

1/5 10-6

1/7 4 10-7

1/9 10-8

1/11 5 10-10

Entropia Diferencial


Entropia Absoluta de uma V.A. Contnua

= dx

xfxfXh XX )(1log)()( 2

Entropia Absoluta de uma V.A. Contnua


+==

=

=

=

=

=

=

)(loglim)(

)(loglim)(1log)(

)(log)(1log)(lim

)(1log)(lim)(

20

202

220

20

XhxXh

dxxfxdxxfxf

xxfxxxfxf

xxfxxfXH

x

Xx

XX

kkX

k kXkX

x

k kXkX

x


Distribuio Uniforme


Distribuio Gaussiana

pi= 2

2

2)(

exp21)( xxf X

2)(

x


( )( ) ( )[ ]

( )22

2

2

22

2

2

2log21

)log(2log21

22log

)()(2

1)(2log

2)(

exp2log)()(

pi=

+pi=

+pi=

+pi=

pi=

e

e

dxxfxdxxf

dxxxfXh

XX

X


Propriedades da Distribuio Gaussiana

1. A entropia de uma varivel gaussiana depende apenas de sua varincia (independe da mdia).

2. Para uma dada varincia 2, a varivel aleatria 2. Para uma dada varincia 2, a varivel aleatria gaussiana a que apresenta a maior entropia diferencial entre todas as variveis aleatrias. Devido a essa propriedade que o modelo de canal

gaussiano to usado como um modelo conservativo no estudo de sistemas de comunicao digital.


Informao Mtua

Informao Mtua de uma V.A. Contnua

Propriedades

dydxxf

yxfyxfYXIX

XYX

= )(

)|(log),();( 2,

Propriedades1.

2.

3.


);();( XYIYXI =0);( YXI

)|()()|()();(

XYhYhYXhXhYXI

=

=

Teorema da Capacidade de Informao

Canal Gaussiano Canal limitado em potncia (P) e em banda (B). Entrada X(t) amostrada na taxa de Nyquist 2B amostras por

segundo e as amostras so transmitidas em um intervalo total T. Nmero total de amostras: K = 2BT.

Rudo gaussiano N(t) de mdia nula e varincia 2 = N0B. Amostras de sada do canal:


KkNXY kkk ,,2,1, K=+=


Informao Mtua

)()()|()(

)|()();(

kk

kkkk

kkkkk

NhYhXNXhYh

XYhYhYXI

=

+=

=

Capacidade de Informao do Canal


( )PXEYXIC kkkxf x

== ][:);(max 2)(

)()( kk NhYh =

PXEXYXIC kkkk ==

][ gaussiano, :);( 2


Entropia da Sada

Entropia do Rudo

[ ])(2log21)( 22 +pi= PeYh k

Entropia do Rudo

Capacidade de uso do canal


( )22 2log21)( pi= eNh k

do transmitismbolopor bits22 1log21

+=

PC



segundopor bits22

1log

1log2

+=

+=

PB

PT

KC

mais fcil ampliar a capacidade de informao aumentando a largura de banda do canal do que elevando a potncia de transmisso (linear log).

Esse teorema estabelece o limite fundamental para a transmisso confivel de informaes em um canal gaussiano com potncia e banda limitados.


segundopor bits

02 1log

+=

BNPB

Implicaes do 3 Teo. de Shannon

Para se obter taxa de erro arbitrariamente pequena:

Relao entre potncia e energia de bit: P = EbRb

+=

teo info

Documents