introdução à amostragem compressiva
DESCRIPTION
Slides apresentados durante o minicurso Introdução à Amostragem Compressiva, no Simpósio Brasileiro de Telecomunicações. Maiores detalhes no livro Telecomunicações: Teoria, Avanços e Aplicações. ISBN 978-85-89748-08-7.TRANSCRIPT
![Page 1: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/1.jpg)
Introducao a Amostragem Compressiva
Edmar Candeia Gurjao
Departmento de Engenharia EletricaUniversidade Federal de Campina Grande
01 de setembro de 2013
![Page 2: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/2.jpg)
Apresentacao
I Edmar Candeia Gurjao
I Professor do Departamento de Engenharia Eletrica daUniversidade Federal de Campina Grande - PB
I Areas de Interesse:I Amostragem CompressivaI Radio Definido por Software
![Page 3: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/3.jpg)
Sumario
1. Introducao
2. Amostragem Compressiva
3. Aplicacoes
4. Desafios
5. Fontes de Informacao
![Page 4: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/4.jpg)
Introducao
Quantidade de dados gerada pelos seres humanos tem crescido deforma exponencial:
I A quantidade de dados gerada no mundo cresce 58% por anoI Em 2010 foram gerados 1250 bilhoes de Gigabytes de dados
I Mais bits que estrelas no universo.
I A quantidade de armazenamento cresce a 40% ao ano.
I Dependendo da resolucao e do padrao de gravacao escolhidos,as imagens obtidas por uma camera digital tem pixelsdescartados.
I Componentes em certas frequencias sao eliminadas em muitospadroes de audio
I Donoho, Candes e Tao: Porque nao capturar somente osdados de interesse (informacao)?
![Page 5: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/5.jpg)
Introducao
Teorema de Nyquist: um sinal x(t) limitado em frequencia,|X (f )| = 0, |f | > FM , e univocamente determinado por suasamostras x(nTS), n = 0,±1,±2, ... desde que Fs = 2
Ts≥ 2FM .
I Leva em consideracao somente o conteudo espectral, e nao ainformacao contida no sinal.
I Aplica-se a qualquer classe de sinais.
![Page 6: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/6.jpg)
Introducao
Alternativa para reduzir a quantidade de dados: sub-amostrar:
I Pode-se perder muita informacao.
![Page 7: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/7.jpg)
Introducao - Sinal Esparso
I Uma representacao esparsa para um sinal x de comprimentoN tem S << N coeficientes diferentes de zero.
I Ex. seno: tempo × frequencia
−8 −6 −4 −2 0 2 4 6 8n
−1.5
−1.0
−0.5
0.0
0.5
1.0
1.5
cos(n)
(a)
−8 −6 −4 −2 0 2 4 6 8N
−20
0
20
40
60
80
100
120
140
Amplitude
(b)
![Page 8: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/8.jpg)
Introducao - Sinal Esparso
Ressonancia Magnetica e sua Transformada de Fourier
![Page 9: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/9.jpg)
Introducao - Coerencia
I Dado um par de bases ortonormais, (Φ,A), tem-se
µ(Φ,A) =√N. max
1≤k,j≤N|< φk , aj >|,
a medida de coerencia, e µ(Φ,A) ∈ [1,√N].
I µ = 1 matrizes incoerentes
I µ =√N matrizes coerentes
![Page 10: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/10.jpg)
Amostragem Compressiva - Coerencia
I Sendo Φ e A ortonormais, vamos fazer as linhas de A iguaisas primeiras M colunas de Φ, ou seja
A =
φ1,1 φ2,1 · · · φN,1φ1,2 φ2,2 · · · φN,2
......
......
φ1,M φ2,M · · · φN,M
e
AΦ =
1 0 0 · · ·0 1 0 · · ·...
......
0 0 1 · · ·
logo µ(Φ,A) =
√N e as matrizes tem alta coerencia.
![Page 11: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/11.jpg)
Introducao - Definicao de norma de um vetor
I Norma lp de um vetor (‖ x ‖p)p =N∑
i=1|xi|p
I A norma l0 conta o numero de elementos nao zero no vetor,ou seja, o seu suporte.
I Seja x = (x1, x2)
(c) Norma l1 (d) Norma l2
![Page 12: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/12.jpg)
Introducao - Princıpio da Incerteza
I Seja α a representacao de um vetor x na base Φ e β a suarepresentacao na base A, entao mostra-se que
||α||0 + ||β||0 ≥2
µ(Φ,A)
I Nao e possıvel obter simultaneamente uma representacaoesparsa do mesmo sinal em dois domınios distintos.
![Page 13: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/13.jpg)
Sinais Compressıveis
A melhor aproximacao com S-termos de um sinal e obtidamantendo os maiores S coeficientes, e o erro sera dado por
σS = arg minα∈σS
||x− Φα||2
Para sinais compressıveis
σk ≤ C2S1/2−s
![Page 14: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/14.jpg)
Sinais Compressıveis
I Uma representacao compressıvel aproxima bem um sinal comS coeficientes diferentes de zero.
(e)
0 200 400 600 800 1000 1200N
0.00
0.05
0.10
0.15
0.20
0.25
0.30
0.35
Pixel Amplitude
(f)
I Usando somente os valores e as posicoes diferentes de zeropode-se obter uma representacao com alta fidelidade.
I Fundamento para a codificacoes por transformada: JPEG,JPEG2000, MPEG, MP3, etc.
![Page 15: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/15.jpg)
Amostragem Compressiva
I Amostragem Compressiva (Compressed Sensing, CompressedSampling, Compressive Sensing) surguiu como um frameworkpara obter representacoes bem mais compactas de sinaisesparsos ou compressıveis do que as obtidas baseando-se noTeorema de Nyquist.
I Ideia basica e fazer projecoes em espacos de dimensoesmenores e, quando necessario, recuperar usando otimizacao.
I Nao e uma ideia nova: em outros contextos ha aplicacoes quedatam de 1795.
![Page 16: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/16.jpg)
Amostragem Compressiva
I Sinal esparso x ∈ RN
I x e S-eparso: i : xi 6= 0 tem tamanho igual ou menor que S
I Conjunto de medidas (projecoes) y dadas por
ym = 〈x, am〉, m = 1, ...,M.
I am vetores utilizados para as medicoes
I Notacao matricial y = Ax.
y1
y2...yM
=
a11 a12 · · · a1N
a21 a22 · · · a2N...
......
...aM1 aM2 · · · aMN
×
x1
x2...xN
![Page 17: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/17.jpg)
Sistemas Lineares
Se fizermos M = N:
y = A × x
yM
...
y2
y1
=
aM,1
...
a2,1
a1,1
. . .
. . .
. . .
aM,N
...
a2,N
a1,N
×
xN
...
x2
x1
![Page 18: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/18.jpg)
Sistemas Lineares
Se fizermos M > N:
y = A × x
yM
...
...
y2
y1
=
aM,1
...
...
a2,1
a1,1
. . .
. . .
. . .
aM,N
...
...
a2,N
a1,N
×
xM
...
x2
x1
![Page 19: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/19.jpg)
Sistemas Lineares
Se fizermos M < N:
y = A × x
yM
...
y2
y1
=
aM,1
...
a2,1
a1,1
. . .
. . .
. . .
aM,N
...
a2,N
a1,N
×
xN
...
x4
x3
x2
x1
![Page 20: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/20.jpg)
Sistema Linear × representacao de sinais
Voltemos ao sistema linear: y1...yM
=
a11 a12 · · · a1N...
......
...aM1 aM2 · · · aMN
× x1
...xN
Apos a multiplicacao, observando somente a primeira linha:
y1 = a11x1 + a12x2 + ...+ a1NxN
y1 carrega informacoes sobre todos os xi , ponderados pelosrespectivos a1i .
I Se soubermos N ponderacoes, podemos determinar os xi .
I Se tivermos, ou pudermos fazer N > M combinacoes,podemos proteger os xi contra erros.
Nesses casos pode-se recuperar fazendo x = [ATA]−1ATy.
![Page 21: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/21.jpg)
Amostragem Compressiva
I Caso de interesse M < N
I Menos medidas que valores do sinal (compressao)I y = Ax tem mais incognitas que equacoes
I pode nao ter solucao, ou ter infinitas solucoes.I Vamos considerar que a matriz A e de rank completo, ou seja
suas colunas alcancam (span) todo o espaco RN ,
I Oraculo que indique as posicoes em que o vetor x e nulo,conjunto S. Pode-se formar a matriz AS somente com ascolunas indicadas por S e resolver xS = [AT
SAS ]−1ATS y.
I Sem oraculo em com x esparso: metodo de busca.I Solucao pelo oraculo servira de referencia.
![Page 22: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/22.jpg)
Amostragem Compressiva
I Norma lp de um vetor (‖ x ‖p)p =N∑
i=1|xi|p
I A norma l0 conta o numero de elementos nao zero no vetor,ou seja, o seu suporte.
I Pode-se recuperar o sinal x a partir das medicoes y resolvendoo problema de otimizacao
(P0) minx∈Rn
|| x ||l0 sujeito a Ax = y,
I A solucao desse problema envolve uma busca nos
(NS
)possıveis suportes.
![Page 23: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/23.jpg)
Amostragem Compressiva
I Busca nos
(NS
)possıveis suportes.
I Quanto mais esparso o sinal (menor o valor de S) para ummesmo N, pior.
I Exemplo: [Livro Elad] Para M = 500 e N = 2000, se o sinaltem S = 20 nao zeros, tem-se(
NS
)≈ 3, 9× 1047
I Problema NP-completo.
![Page 24: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/24.jpg)
Amostragem CompressivaI Alternativa ao problema P0: A norma l1 coincide com a
norma l0 dado que algumas condicoes sejam satisfeitas.I Tomando M ≥ S log2(N/S) << N recupera-se o sinal original
resolvendo o problema
(P1) minx∈Rn
|| x ||l1 sujeito a Ax = y,
I Como escolher o valor de M?I Erro mınimo na recuperacao: E ||x− x||2 < ε
I Para x = (x1, x2)
(g) Norma l1 (h) Norma l2
![Page 25: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/25.jpg)
Amostragem Compressiva
Espaco nulo de uma matriz:
N (A) = x : Ax = 0.
I Vetores S-eparsos serao escritos como Ax, logoI x e x′ ambos S-esparsos deveremos ter Ax 6= Ax′, ou ainda
A(x− x′) = 0I Como x− x′ pertence ao conjunto de vetores 2S-esparsos,I Condicao do espaco nulo (Null space condition):
I Para que seja possıvel recuperar um vetor S-esparso a partirde Ax, N (A) nao deve conter vetores 2S-esparsos.
![Page 26: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/26.jpg)
Amostragem Compressiva
I Caso o sinal z nao seja esparso:
I aplicar alguma transformacao Φ e obter uma representacaox = Φz que seja esparsa
I Φ ortonormal, φΦH = φHΦ = I, sendo ΦH o hermitianotransposto
(i) Lena (j) Coeficientes DWT
![Page 27: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/27.jpg)
Amostragem Compressiva
I Em seguida usar uma matriz A para comprimir o sinal.
I Entretanto, as linhas φj de Φ nao podem ser esparsamenterepresentadas pelas colunas ai of A (ou vice-versa).
I Dado um par de bases ortonormais, (Φ,A), tem-se
µ(Φ,A) =√n. max
1≤k,j≤N|< φk , aj >|,
a medida de coerencia, µ(Φ,A) ∈ [1,√N].
![Page 28: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/28.jpg)
Amostragem Compressiva
I Matrizes Φ e A devem ser incoerentes, ou seja, µ(Φ,A) = 1
I Matriz cujos elementos tem distribuicao Gaussiana eincoerente a qualquer outra base.
I Problema pratico: como gerar a mesma matriz na compressaoe na descompactacao?
![Page 29: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/29.jpg)
Amostragem Compressiva
Duas tarefas principais:
I Projetar uma boa matriz de medicao: alta compressaomantendo a informacao e criando robustez contra erros.
I Projetar um bom algoritmo de reconstrucao: rapidez, baixocusto computacional e robustez contra erros.
![Page 30: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/30.jpg)
Amostragem CompressivaI Matriz A que permite a recuperacao do vetor S-esparso v e
para um δS > 0 e que
(1− δS)||v||22 ≤ ||Av ||22≤ (1 + δS)||v||22.
Conhecida como propriedade de isometria restrita (em inglesrestricted isometry property (RIP)).
I A RIP de ordem 2S para dois sinais S-esparsos, x1 e x2:
(1− δ2S) ≤‖Ax1 − Ax2‖2
l2
‖x1 − x2‖2l2
≤ (1 + δ2S). (1)
![Page 31: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/31.jpg)
Amostragem Compressiva
I A obtencao de matrizes que obedecam a RIP ainda e objetode estudos
I Porem selecionando as entradas de A como variaveis aleatoriascom media zero e variancia 1/N, obtem-se uma matriz demedicao universal, que tem as seguintes propriedades:
I e incoerente com a base Φ = I , eI e universal no sentido que Θ = ΦA sera Gaussiana e i.i.d
independente da base ortonormal Φ.
![Page 32: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/32.jpg)
Amostragem Compressiva - Ruıdo
I Ruıdo atinge o sinal ja a mostrado, ou seja, o sinal originaldeve ser recuperado a partir das amostras
y = Ax + n
sendo n um ruıdo, ou
I Ruıdo aparece durante a amostragem, ou seja,
y = Ax + z+ n
conhecido como noise folding.
![Page 33: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/33.jpg)
Amostragem Compressiva - Ruıdo
Primeiro caso (ruıdo adicionado ao sinal amostrado):
I Na presenca de ruıdo y = Ax + z
(P2) minx∈RN
|| x ||l1 sujeito a ||Ax− y||2 ≤ ε,
I Para um ruıdo Gaussiano com variancia σ2:I Solucao pelo oraculo (conhecimento das posicoes diferentes de
zero):E ||xOracle − x||2 = Mσ2.
I Seletor Dantzig estima xDS com erro medio quadratico dadopor:
1
NE ‖ xDS − x ‖2
2≥ CS
Mlog(N)σ2 (2)
![Page 34: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/34.jpg)
Amostragem Compressiva - Ruıdo
Segundo caso (ruıdo adicionado durante amostragem):
y = Ax + z+ n (3)
I n ruıdo de medicao, z como um ruıdo associado ao sinal comco-variancia σ2
0I:y = Bx + u
B uma matriz com RIP proxima ao da matriz A, e u um ruıdobranco de media zero e co-variancia (σ2 + N
Mσ20)I.
I Como M << N, a compressao aumenta a variancia do ruıdo,fato denominado de noise folding.
![Page 35: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/35.jpg)
Amostragem Compressiva - Ferramental
I Matriz Gaussiana AM×NI Obter as medidas yN = Ax.I Recupera-se os sinal usando minimizacao da norma l1:
1. Relaxacao convexa (Convex relaxation) utilizacao umproblema de otimizacao convexa para recuperar o sinal esparso.
2. Busca Gulosa: algoritmos que fazem a busca umaaproximacao esparsa pela busca de coeficientes que fornecem amelhor representacao.
3. Framework Bayesiano (Bayesian framework) assume umadistribuicao a priori do sinal esparso e utilizando estimacaorecupera os sinal esparso.
4. Otimizacao nao-convexa (Nonconvex optimization) utilizametodos de otimizacao nao convexa para recuperar o sinalesparso.
5. Combinatoriais fazem um busca sobre todos os possıveisconjuntos de suporte para determinar em quais deles estao oscoeficientes do sinal esparso.
![Page 36: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/36.jpg)
Metodos Baseados em Otimizacao Convexa
De forma geral parte-se de um funcao de custo J(x) que e pequenapara x esparso, e busca-se resolver
minxJ(x) : y = Ax
Usando J(x) = ||x||1 e comum usar Programacao Linear. Exemplomais comum l1 magic.
![Page 37: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/37.jpg)
Metodos de Otimizacao
Partindo do problema basico da minimizacao da norma l1 :
minx∈Rn
|| x ||1 sujeito a Ax = y,
escreve-se o problema de otimizacao
minx∈Rn
1
2|| Ax− y ||22 +τ ||bfx ||1,
sendo τ um parametro de regularizacao cujo valor governa aesparsidade da solucao, desenvolveram-se varios algoritmos: l1ls,Fixed-Point Continuation, etc..
![Page 38: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/38.jpg)
Dantzig Selector
Estimacao de um parametro x ∈ RN das observacoes ruidosasy ∈ RM , quando M << N, e ruıdo Gaussiano n ∼ N (0, σ2
nIM).
miny∈RN
||y||l1 sujeito a ||A∗r||l∞ = supi≤i≤N
|(A∗r)i | ≤ λp · σ (4)
para algum λp > 0, e o vetor de resıduos r = y − Ay.|(A∗r)i | ≤ λN · σ for i = 1, ...,N: resıduos no nıvel de ruıdo.
Dado o sinal esparso S e a matriz Gaussiana com entradas i.i.d., onumero de medidas e dada por:M = S · log(p/S).
![Page 39: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/39.jpg)
Metodos de Busca Gulosa
Metodo de perseguicao (pursuit): consiste em refinar aestimativa de um vetor pela modificacao de um ou mais de seuscomponentes e escolher a modificacao que melhora arepresentacao do sinal.
I Basis Pursuit
I Matching Pursuit
I Orthogonal Matching Pursuit
![Page 40: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/40.jpg)
Matching Pursuit
Dada a representacao compacta y, a matriz A, faz-se o resıduor0 = y e com os passos:
λk = arg maxλ
< rk , ak > ak
||ak ||2
rk = rk−1 −< rk , aλk > aλk||aλk ||2
exλk = xλk + < rk−1, aλk >
Criterio de parada: norma do resıduo muito pequena.
![Page 41: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/41.jpg)
Orthogonal Matching Pursuit
Entradas:
I Uma matriz, de medicao Φ, N × d
I Um vetor N-dimensional v de dados
I O nıvel m de esparsidade do sinal ideal
Saıdas:
I Uma estimativa s em Rd do sinal ideal
I Um conjunto Λm contendo m elementos de 1, ..., dI Uma aproximacao N dimensional am do vetor v
I Um resıduo N dimensional rm = v − am
![Page 42: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/42.jpg)
Orthogonal Matching Pursuit
Inicializacao:
I Faca r0 = v, Λ0 = ∅, e o contador de inicializacao t = 1
Iteracao: Enquanto t < m faca
1. Encontre o ındice λt que resolve o problema de otimizacao
λt = arg maxj=1,...,d
< rt−1, ϕj >
2. Amplie o conjunto ındice e a matriz com os atomos escolhidos: Λt = Λt−1 ∪ λt e Ωt = [Ωt−1 ϕλt ].Inicie com Ω0 como a matriz vazia.
3. Resolva o problema dos mınimos quadrados para obter a nova estimativa do sinal
xt = arg minx||v − Φtx||2
4. Calcule a nova aproximacao dos dados e o novo resıduo
at = Φtxt e rt = v − at
5. Incremente t.
![Page 43: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/43.jpg)
Metodos Combinatoriais
I Analise das possıveis representacoes dos sinais.
I Complexidade maior do que os algoritmos de perseguicao
I Dependendo da relacao entre a esparsidade e o tamanho dosinal, dao respostas mais adequadas que os demais.
I Exemplo: dados N items como determinar S com defeito?I Teste de grupos: aplica-se o teste a um grupo de L elementos,
caso haja erro, esse grupo e subdividido.I Aplicacao na deteccao de doencas durante a guerra.
.
![Page 44: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/44.jpg)
Metodos Combinatoriais × Algoritmos de Busca
Transicao de fase (phase transition) [Donoho e Tanner]: limiarentre a compressao obtida e a esparsidade de um sinal. Determinaregiao em que deve-se usar os algoritmos de busca oucombinacionais.
(k) Observer Universality of PhaseTransition. Donho e Tanner
(l) Fonte: Nuit Blanche
![Page 45: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/45.jpg)
Amostragem Compressiva - Hardware
I Objetivo: Conversao do sinal no domınio analogico para odomınio digital porem capturando apenas a informacao
I Conversores Analogicos para Informacao, ou AIC do inglesAnalog to Information Converter.
I Sinal x(t), t ∈ [0,T ], um conjunto de funcoes testeφ(t)Mj=1, e realizar M medicoes da forma
y [j ] =
∫ T
0x(t)φj(t)dt. (5)
I Para construir esse sistema de medicao devemos ter trescomponentes
I hardware para gerar sinais de teste φj(t)I M correlatores que multipliquem o sinal x(t) com cada um dosφj(t)
I M integradores com um estado inicial com valor zero.
![Page 46: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/46.jpg)
Amostragem Compressiva - Modulador Aleatorio
x(t) e correlacionado com uma sequencia de pulsos aleatorios ±1,que alterna entre os valores numa taxa de Nyquist NaHzproporcional a taxa de Nyquist de x(t).Sinal misturado e integrado em um perıodo de tempo de 1/Ma eamostrado por um ADC de taxa MaHz << NaHz , o que fornece:
y [j ] =
∫ j/Ma
(j−1)/Ma
pc(t)x(t)dt. (6)
![Page 47: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/47.jpg)
Amostragem Compressiva
Denotando pc [n] como a sequencia de sımbolos ±1 usada paragerar pc(t), temos que pc(t) = pc [n], t ∈ [(n − 1)/Na, 1/Na], ecomo exemplo seja j = 1, temos
y [1] =
∫ 1/Ma
0pc(t)x(t)dt =
Na/Ma∑0
pc [n]
∫ 1/Ma
0x(t)dt (7)
e como Na e a taxa de Nyquist de x(t) entao∫ 1/Ma
0 x(t)dt e amedia de x(t) no n-esimo intervalo, que pode ser denotado porx [n], o que nos leva a
y [1] =
Na/Ma∑n=1
pc [n]x [n]. (8)
![Page 48: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/48.jpg)
Amostragem Compressiva - NUS
Amostrador nao uniforme (non-uniform sampler - NUS): mantemsomente uma parte das amostras.
![Page 49: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/49.jpg)
Amostragem Compressiva - Xampling
Baseia-se na uniao de subespacos para determinar em qual dossubespacos as amostras do sinal estao e em seguida utilizar umconversor AD comercial para digitalizar o sinal.
![Page 50: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/50.jpg)
Amostragem Compressiva - Propriedades
Amostragem Aleatoria A amostragem se da pela multiplicacao poruma matriz pseudo-aleatoria que pode ser gerada poruma semente, que pode ser encarada como umachave criptografica.
Robustez a Erros A perda de amostras do sinal comprimido naogera a perda total do sinal reconstruıdo, pois podeser encarada apenas como uma reducao do numerode amostras do sinal.
Universalidade O projeto do codificador leva em conta aesparsidade do sinal, e nao sua banda de frequencia,sinais com o mesmo nıvel de esparsidade podem seramostrados com o mesmo codificador, independenteda natureza do sinal.
Complexidade Reversa O codificador e extremamente simples. Issopossibilita a aplicacao de compressao onde existelimitacao de hardware, como em redes de sensoressem fio.
![Page 51: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/51.jpg)
Amostragem Compressiva – Aplicacoes de maior destaque
![Page 52: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/52.jpg)
Amostragem Compressiva – Aplicacoes de maior destaque
![Page 53: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/53.jpg)
Amostragem Compressiva – Imagens em terahertz
I Ondas em Terahertz (0,3 a 10 THz,) pentram barreiras comoroupas e plastico.
I Podem ser usadas em seguranca para revelar, de forma naodestrutiva, objetos escondidos
I Dependendo da resolucao, pode levar horas para obter umaimagem.
![Page 54: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/54.jpg)
Amostragem Compressiva – Imagens em terahertz
![Page 55: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/55.jpg)
Amostragem Compressiva – Imagens em terahertz
![Page 56: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/56.jpg)
Amostragem Compressiva – Correcao de ErrosI Vetor de informacao x de tamanho N, uma matriz de
codificacao AM×N e o vetor codigo y = Ax. No caso dacodificacao para controle de erros, sere feito M > N, pois oobjetivo aqui e introduzir redundancia.
I O vetor codigo y e corrompido por um ruıdo e gerando ovetor yr = Ax + e, sendo e um vetor esparso arbitrario detamanho M com
||e||0 ≤ ρMsendo ρ < 1.
I Para reconstruir x deve-se reconstruir e pois y = ax + efornece Ax e consequentemente x pois A e uma matriz derank completo.
I Obtendo uma matriz F tal que FA = 0 pode-se fazer
y′ = F(Ax + e) = Fe
e o problema se reduz a reconstruir o vetor esparso e a partirde Fe.
![Page 57: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/57.jpg)
Amostragem Compressiva – Correcao de Erros
I Outra maneira e resolver o problema de otimizacao
ming∈RN
|| y − Ag ||l1 .
pois sendo g = f + h chega-se a
ming∈RN
|| e− Ah ||l1 .
Os autores estabelecem o tamanho maximo do suporte devetor de erros e para o qual a minimizacao e unica.
![Page 58: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/58.jpg)
Processamento de Sinais no Domınio Comprimido
I A operacao Ax eI LinearI Obedecendo a RIP as propriedades dos sinais se mantem
I Parametros podem ser medidos na representacao comprimida,y = Ax.
I Algumas classes de processamento nao necessitam recuperar osinal original: inferencia, classificacao, estimacao e deteccaode parametros.
![Page 59: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/59.jpg)
Aplicacoes da Amostragem Compressiva
I Compressao de audioI Musica → MDCT → Comprimir usando Amostragem
compressiva → Recuperar → Medida de distorcao
Qualidade Perceptual Interpretacao
-5 a -4 Diferenca perceptıvel e muito desagradavel-4 a -3 Diferenca perceptıvel e desagradavel-3 a -2 Diferenca perceptıvel e levemente desagradavel-2 a -1 Diferenca perceptıvel mas nao desagradavel-1 a 0 Diferenca imperceptıvel
![Page 60: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/60.jpg)
Aplicacoes da Amostragem Compressiva
0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5−4
−3.5
−3
−2.5
−2
−1.5
−1
−0.5
0
Taxa de Compressão
Qua
lidad
e P
erce
ptua
l Méd
ia
Comparação entre CODECs comuns e ACS
MP2MP3AACOGGACS
Figura: CODECs comuns e ACS
![Page 61: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/61.jpg)
Aplicacoes da Amostragem Compressiva
Jhonson-Lindenstrauss Lemma: para um conjunto de N pontos emM dimensoes e possıvel encontrar uma projecao aleatoriaf : RN×D → RN×M com M =
(log N
ε2
)Considere uma colecao de N objetos cada um com D dimensoesrepresentado no instante n por uma matriz
X (n) = [x1(n) x2(n) ... xN(n)]T
e atualizados de forma assıncrona com ∆(n + 1) = (i , j , vn+1) queinforma a atualizacao da linha i , coluna j com o valor v .
![Page 62: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/62.jpg)
Aplicacoes da Amostragem Compressiva
I Atualizacoes na matriz X (n) ∈ Rn×d podem ser vistas como:
xi ,j(n) = xi ,j(n − 1) + vn
e em uma notacao matricial
X(n) = X(n − 1) + V(n)
sendo V(n) = Vmn(n) = vnδi ,mδj ,n.
![Page 63: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/63.jpg)
Aplicacoes da Amostragem CompressivaI Se considerarmos A(0) = 0 temos
A(n) =n∑
i=1
V(i).
Usando a matriz R ∈ RD×M podemos escrever o esboco damatriz A(n) usando a projecao
S(n) = A(n) · R
e
S(n) =n∑
i=1
V(n)R.
As atualizacoes podem ser feitas considerando
S(n + 1) =n+1∑i=1
V(n)R =n∑
i=1
V(n)R + V(n + 1)R
entao para atualizar os esbocos pode-se projetar a atualizacaosobre a matriz R.
![Page 64: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/64.jpg)
Aplicacoes da Amostragem Compressiva
I Esboco de uma atualizacao pode ser vista como
V(n)R = [0 ...v(n) ...0]T [r1 r2 ... rN ] = v(n)
0 0 ... 0...
... · · ·...
rj ,1 rj ,2 · · · rj ,k...
... · · ·...
0 0 ... 0
entao a atualizacao dos esbocos consiste em multiplicar ovalore da autalizacao pela linha ad matriz de projecao.
![Page 65: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/65.jpg)
Aplicacoes da Amostragem Compressiva
I Considerando dados gerados por medidores de energia eletrica
I Conjunto de 400 usuarios
I Medida de ”similaridade”(S) entre usuarios: distancia entreos vetores que representem os seus consumos.
I SO similaridade calculada nos dados originais
I SP similaridade calculada nos dados projetados
I E = |SO−SP |S1
.100
![Page 66: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/66.jpg)
Aplicacoes da Amostragem Compressiva
Erro na recuperacao × Compressao
![Page 67: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/67.jpg)
Aplicacoes da Amostragem Compressiva
Tempo de processamento × Compressao
![Page 68: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/68.jpg)
Fontes de Informacao
I Nuit Blanche blog (http://nuit-blanche.blogspot.com.br/)
I DSP at Rice University (http://dsp.rice.edu/cs)
I An Introduction to Compressive Sensing, Connexions.
![Page 69: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/69.jpg)
Fontes de Informacao
![Page 70: Introdução à Amostragem Compressiva](https://reader034.vdocuments.pub/reader034/viewer/2022052316/559795611a28abd6108b47ee/html5/thumbnails/70.jpg)
Fontes de Informacao