comunicaÇÃo digital introduÇÃo À teoria de informaÇÃo evelio m. g. fernández - 2010
TRANSCRIPT
![Page 1: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/1.jpg)
COMUNICAÇÃO DIGITAL
INTRODUÇÃO À TEORIA DE INFORMAÇÃO
Evelio M. G. Fernández - 2010
![Page 2: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/2.jpg)
Introdução à Teoria de Informação
• Em 1948, Claude Shannon publicou o trabalho “A Mathematical Theory of Communications”. A partir do conceito de comunicações de Shannon, podem ser identificadas três partes:
• Codificação de fonte: Shannon mostrou que em princípio sempre é possível transmitir a informação gerada por uma fonte a uma taxa igual à sua entropia.
![Page 3: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/3.jpg)
• Codificação de Canal: Shannon descobriu um parâmetro calculável que chamou de Capacidade de Canal e provou que, para um determinado canal, comunicação livre de erros é possível desde que a taxa de transmissão não seja maior que a capacidade do canal.
• Teoria da Taxa de Distorção (Rate Distortion Theory): A ser utilizada em compressão com perdas
Introdução à Teoria de Informação
![Page 4: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/4.jpg)
![Page 5: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/5.jpg)
Compressão de Dados
• Arte ou ciência de representar informação de uma forma compacta. Essas representações são criadas identificando e utilizando estruturas que existem nos dados para eliminar redundância.
• Dados:– Caracteres num arquivo de texto
– Números que representam amostras de sinais de áudio, voz, imagens, etc.
![Page 6: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/6.jpg)
Algoritmos de Compressão
1. MODELAGEM – Extrair informação sobre a redundância da fonte e expressar essa redundância na forma de um modelo.
2. CODIFICAÇÃO – Uma descrição do modelo e uma descrição de como os dados diferem do modelo são codificados possivelmente utilizando símbolos binários.
Diferença: dados – modelo = resíduo
![Page 7: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/7.jpg)
Exemplo 1
![Page 8: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/8.jpg)
Exemplo 2
![Page 9: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/9.jpg)
Medidas de Desempenho
1. Taxa de Compressão– Ex: 4:1 ou 75 %
2. Fidelidade– Distorção (Rate Distortion Theory)
![Page 10: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/10.jpg)
Exemplo
Símbolo Prob I II III IV
A 1/2 00 0 0 0
B 1/4 01 11 10 01
C 1/8 10 00 110 011
D 1/8 11 01 1110 0111
![Page 11: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/11.jpg)
Entropia de uma Fonte Binária sem Memória
![Page 12: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/12.jpg)
Códigos Prefixos
• Nenhuma palavra código é prefixo de qualquer outra palavra-código
• Todo código prefixo é instantâneo (o final das palavras-código é bem definido)
• Um código prefixo é sempre U.D. (a recíproca não é sempre verdadeira)
• Existe um código prefixo binário se e somente se
Desigualdade de Kraft-McMillan121
0
K
k
lk
![Page 13: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/13.jpg)
Códigos Prefixos
• Dado um conjunto de códigos que satisfaz a desigualdade de Kraft-McMillan, SEMPRE será possível encontrar um código prefixo com esses comprimentos para as suas palavras-código. O comprimento médio das palavras do código estará limitado pela entropia da fonte de informação
![Page 14: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/14.jpg)
Teorema da Codificação de Fonte
• Dada uma fonte discreta sem memória com entropia H(S), o comprimento médio de um código U.D. para a codificação desta fonte é limitado por:
com igualdade se e somente se:
L
SHL
1,,1,0, Krrp klk
![Page 15: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/15.jpg)
Códigos de Huffmann Binários
1. Ordenar em uma coluna os símbolos do mais provável ao menos provável.
2. Associar ‘0’ e ‘1’ aos dois símbolos menos prováveis e combiná-los (soma das probabilidades individuais).
3. Repetir 1 e 2 até a última coluna que terá apenas dois símbolos; associa-se ‘0’ e ‘1’.
![Page 16: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/16.jpg)
Códigos Ótimos r-ários
• Método de Huffmann: aplica-se o método com o seguinte artifício:
• Adicionam-se ao alfabeto original símbolos fictícios com probabilidade zero de ocorrência, até o número de símbolos assim gerado ser congruente a 1 mod (r – 1).
• Aplica-se o método de Huffmann agrupando-se r símbolos de cada vez. O código gerado é um código r-ário ótimo para o alfabeto original.
![Page 17: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/17.jpg)
Fonte com Alfabeto Pequeno
Símbolo Códigoa1 0a2 11a3 10
• bits/símbolo• H(A) = 0,335 bits/simbolo• Redundância = 0,715
bits/símbolo (213% da entropia)
• São necessários duas vezes mais bits do que o prometido pela entropia!
05,1L
95,01 ap 02,02 ap
03,03 ap
![Page 18: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/18.jpg)
Segunda Extensão da Fonte
Símb. Prob. Cod.a1a1 0,9025 0
a1a2 0,0190 111
a1a3 0,0285 100
a2a1 0,0190 1101
a2a2 0,0004 110011
a2a3 0,0006 110001
a3a1 0.0285 101
a3a2 0,0006 110010
a3a3 0,0009 110000
• bits/símbolo• bits/símbolo
(ainda 72% acima da entropia!)
• extensão de ordem n = 8 fonte com 6561 símbolos!
• Huffman: precisa criar todas as palavras-código!
222,12 L
611,022 L
AHnLn
![Page 19: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/19.jpg)
Codificação Aritmética
• É mais eficiente designar uma palavra-código para uma seqüência de tamanho m do que gerar as palavras-código para todas as seqüências de tamanho m.
• Um único identificador ou tag é gerado para toda a seqüência a ser codificada. Esta tag corresponde a uma fração binária que tornar-se-á num código binário para a seqüência.
![Page 20: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/20.jpg)
• Um conjunto possível de tags para representar seqüências de símbolos são os números no intervalo [0, 1).
• É necessário então uma função que mapeie seqüências neste intervalo unitário. Utiliza-se a função de distribuição acumulativa (cdf) das variáveis aleatórias associadas com a fonte. Esta é a função que será utilizada na codificação aritmética.
Codificação Aritmética
![Page 21: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/21.jpg)
![Page 22: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/22.jpg)
Algoritmo para Decifrar o Identificador
1. Inicializar l(0) = 0 e u(0) = 1.
2. Para cada valor de k, determinar:
t* = (tag – l(k–1))/(u(k–1) – l(k–1)).
3. Determinar o valor de xk para o qual
FX(xk – 1) ≤ t* ≤ FX(xk).
• Atualizar os valores de l(k) e u(k).• Continuar até o fim da seqüência.
![Page 23: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/23.jpg)
Exemplo: Unicidade e Eficiência do Código Aritmético
Símbolo FX XT Binário 11
log
xP
Código
1 0,5 0,25 .010 2 01 2 0,75 0,625 .101 3 101 3 0,875 0,8125 .1101 4 1101 4 1,0 0,9375 .1111 4 1111
![Page 24: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/24.jpg)
Códigos Baseados em Dicionários
• Seqüências de comprimento variável de símbolos da fonte são codificadas em palavras-código de comprimento fixo, obtidas de um dicionário.
• Utilizam técnicas adaptativas que permitem uma utilização dinâmica do dicionário.
• São projetados independentemente da fonte de informação classe de algoritmos universais de codificação de fonte.
![Page 25: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/25.jpg)
Códigos Baseados em Dicionários
repitapalavra = leia_palavra (entrada);index = busca (palavra,dicionário);se index = 0 entãofaça
escreva (palavra, saída);inclua (palavra, dicionário);
fimsenão
escreva (index, saída);até fim_da_mensagem
![Page 26: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/26.jpg)
Seqüência Binária:
10101101001001110101000011001110101100011011
Frases:
1, 0, 10, 11, 01, 00, 100, 111, 010, 1000, 011, 001, 110, 101, 100001, 1011
Algoritmo de Lempel-Ziv
![Page 27: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/27.jpg)
Algoritmo de Lempel-Ziv
Posição no Dicionário Conteúdo Palavra-Código 1 0001 1 00001 2 0010 0 00000 3 0011 10 00010 4 0100 11 00011 5 0101 01 00101 6 0110 00 00100 7 0111 100 00110 8 1000 111 01001 9 1001 010 01010
10 1010 1000 01110 11 1011 011 01011 12 1100 001 01101 13 1101 110 01000 14 1110 101 00111 15 1111 10001 10101 16 1011 11101
![Page 28: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/28.jpg)
Transformada Discreta de Cossenos
![Page 29: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/29.jpg)
8x8 Pixels
Transformada Discreta de Cossenos
1
0
1
0 2
12cos
2
12cos,
2,
N
x
N
y N
vy
N
uxyxfvCuC
NvuF
![Page 30: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/30.jpg)
Primitivas da Transformada Discreta de Cossenos
![Page 31: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/31.jpg)
“Zig-Zag Scanning”
![Page 32: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/32.jpg)
Tamanho do “run” de zeros
Valor do coeficiente diferente de zero
Palavra-código de comprimento variável
0 12 0000 0000 1101 00
0 6 0010 0001 0
1 4 0000 0011 000
0 3 0010 10
EOB - 10
Exemplo de Codificação por Entropia em MPEG-2
![Page 33: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/33.jpg)
Codificador MPEGConversão de Formatos
Compactação
Truncamento
BLOCOS
ERRO DE PREDIÇÃO
Reconstrução
deMovimento
Deteção
24 / 30 / 60
Quadros / s
Transformação EspacialDCT
VETORES DE
MOVIMENTO DADOS
COEFICIENTES
COEFICIENTES QUANTIZADOS
QUADRORECONSTRUIDO
QDCT-1
Preditor
Fator de Escala
MUX Buffer
RLE
Huffman
SAÍDA
![Page 34: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/34.jpg)
Compensação de Movimento
![Page 35: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/35.jpg)
Canal Discreto sem Memória
![Page 36: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/36.jpg)
Matriz de Canal ou Transição
111110
111110
010100
|||
|||
|||
P
JKJJ
K
K
xypxypxyp
xypxypxyp
xypxypxyp
![Page 37: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/37.jpg)
Canal Binário Simétrico
![Page 38: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/38.jpg)
Relações entre Várias Entropias de Canal
![Page 39: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/39.jpg)
Capacidade do Canal BSC
![Page 40: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/40.jpg)
Capacidade de Canal
• A capacidade de canal não é somente uma propriedade de um canal físico particular.
• Um canal não significa apenas o meio físico de propagação das mensagens, mas também:– A especificação do tipo de sinais (binário, r-ário,
ortogonal, etc)– O tipo de receptor usado (determinante da probabilidade
de erro do sistema).
• Todas estas informações estão incluídas na matriz de transição do canal. Esta matriz especifica completamente o canal.
![Page 41: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/41.jpg)
Teorema da Codificação de Canal
![Page 42: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/42.jpg)
Teorema da Codificação de Canal
i. Seja uma fonte discreta sem memória com alfabeto S e entropia H(S) que produz símbolos a cada Ts segundos. Seja um canal DMC com capacidade C que é usado uma vez a cada Tc segundos.
Então, se
existe um esquema de codificação para o qual a saída da fonte pode ser transmitida pelo canal e reconstruída com
cs T
C
T
SH
0, eP
![Page 43: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/43.jpg)
Teorema da Codificação de Canal
ii. Pelo contrário, se
não é possível o anterior.
Resultado mais importante da Teoria de Informação
cs T
C
T
SH
![Page 44: COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010](https://reader035.vdocuments.pub/reader035/viewer/2022081515/552fc110497959413d8c5afd/html5/thumbnails/44.jpg)
Código de Repetição