![Page 1: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/1.jpg)
EXTRAÇÃO DE DESCRITORES
SONOROS TIMBRÍSTICOS A PARTIR
DA TRANSFORMADA WAVELET
PACKET
Thiago Rossi Roque
Rafael Santos Mendes
DCA/FEEC/UNICAMP
AES BRASIL 2014
![Page 2: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/2.jpg)
• Busca por novas formas de extração de informações sonoras (descritores)
• Possibilidade de modulação dos descritores
• Alterações controladas no timbre
• Transformada Wavelet
– Decomposição tempo-frequencial (descritores frequenciais variantes no tempo)
– Cálculo simples e eficiente tanto para análise quanto para síntese
MOTIVAÇÃO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
2
![Page 3: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/3.jpg)
• Descritores de Áudio
– Quantificar aspectos qualitativos de um sinal, ou seja, descrever as características de um sinal sonoro de forma objetiva
INTRODUÇÃO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
3
![Page 4: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/4.jpg)
• MPEG-7: Descritores Timbrísticos
– Temporais
• Tempo Logarítmico de Ataque
• Centroide Temporal
– Espectrais
• Centroide Espectral Harmônico
• Espalhamento Espectral Harmônico
• Desvio Espectral Harmônico
• Variação Espectral Harmônica
• Centroide Espectral
INTRODUÇÃO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
4
![Page 5: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/5.jpg)
TEMPO LOGARITMICO DE ATAQUE
5 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 6: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/6.jpg)
CENTROIDE TEMPORAL
6 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 7: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/7.jpg)
CENTROIDE ESPECTRAL
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
7
• Média frequencial ponderada pela amplitude de cada componente.
• Sensação de brilho de um som
𝐶𝐸 = 𝐹 𝑛 ∗ 𝑛𝑁𝑛=1
𝐹(𝑛)𝑁𝑛=1
• Análogo ao primeiro momento estatístico
– Centro de massa espectral
![Page 8: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/8.jpg)
CENTROIDE ESPECTRAL HARMÔNICO
8 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 9: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/9.jpg)
ESPALHAMENTO ESPECTRAL HARMÔNICO
9 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
• Espalhamento espectral médio em relação ao CEH
• Sensação de harmonicidade de um som
𝐸𝐸𝐻𝐿 𝑛 = 1
𝐶𝐸𝐻𝐿(𝑛)
( 𝐹ℎ,𝑛 − 𝐶𝐸𝐻𝐿(𝑛)2∗ 𝐴2ℎ,𝑛)
𝑁ℎℎ=1
𝐴2ℎ,𝑛𝑁ℎℎ=1
• Análogo ao segundo momento estatístico
![Page 10: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/10.jpg)
• Transformada de Fourier Janelada (STFT) – Técnica predominante para sinais de áudio – Deficiências conhecidas:
• Decompor sinais de energia finita em base de energia infinita – Sons naturais são pseudo-periódicos
• Janelamento do sinais através de janelas fixas
ANÁLISE ESPECTRAL
10 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 11: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/11.jpg)
• Wavelet Packet
– Análise em multiresolução – Muito efetiva com sinais não periódicos e pseudo-
periódicos
– Utilização de wavelets para estimação espectral é muito recente!
ANÁLISE ESPECTRAL
11 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 12: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/12.jpg)
• Funções finitas
– Energia concentrada no tempo
• Sem componentes de frequência nula
WAVELET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
12
dtt 2|)(|
0)( dtt
)2(2)(, ktt jj
kj
![Page 13: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/13.jpg)
• Análise multi-resolução
– Funções wavelets possibilitam escalamentos e deslocamentos temporais • Possibilitando análises tanto no domínio da frequência
quanto no domínio do tempo
A TRANSFORMADA WAVELET
13 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
dtttfttfjkW kjkj )()( )(),( ),( ,,
![Page 14: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/14.jpg)
• Sendo um sinal discreto:
• e são os coeficientes da transformada wavelet discreta
• e são respectivamente a função escala e função wavelet
A TRANSFORMADA WAVELET
14 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
)(tx
(k)jd)(cr k
k k rj
j
j
r
r ktkdktkctx )2()()2()()(
)(t )(t
![Page 15: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/15.jpg)
A TRANSFORMADA WAVELET
15 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
)()2()( 1 ncknhkcn
jj
)()2()( 11 ncknhkdn
jj
![Page 16: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/16.jpg)
WAVELET PACKET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
16
![Page 17: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/17.jpg)
WAVELET PACKET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
17
![Page 18: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/18.jpg)
• É necessário reordenar os coeficientes de forma frequencial
• Código Gray: 000,001, 011, 010, 110, 111, 101, 100 0, 1, 3, 2, 6, 7, 5, 4
WAVELET PACKET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
18
![Page 19: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/19.jpg)
• Análise espectral wavelet de um trompete (A3)
ANÁLISE ESPECTRAL A PARTIR DA WP
19 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 20: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/20.jpg)
• Análise espectral wavelet de um trompete (A3)
ANÁLISE ESPECTRAL A PARTIR DA WP
20 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 21: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/21.jpg)
DSCRITORES TEMPORAIS WAVELET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
21
• TLA WT • -0,1948
• TLA convencional
• - 0,1938
• CT WT • 2,2349 s
• CT convencional
• 2,0844 s
![Page 22: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/22.jpg)
CENTROIDE ESPECTRAL WAVELET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
22
• CE
STFT
• CE
Wavelet
![Page 23: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/23.jpg)
CENTROIDE ESPECTRAL HARMÔNICO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
23
• CEH
STFT
• CEH
Wavelet
![Page 24: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/24.jpg)
ESPALHAMENTO ESPECTRAL HARMÔNICO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
24
• EEH
STFT
• EEH
Wavelet
![Page 25: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/25.jpg)
• Análise espectral wavelet se demonstrou eficiente
• Alta correlação entre o descritores calculados pela transformada wavelet e pela forma convencional
CONCLUSÕES
25 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 26: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/26.jpg)
• Estudos mais profundos a cerca da estimação espectral wavelet
• Aprimorar a técnica para outros descritores
• Manipulação dos coeficientes wavelet de forma a alterar controladamente os descritores sonoros
– Transformada Wavelet de Banda Harmônica
PRÓXIMOS PASSOS
26 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
![Page 27: Extração de Descritores Sonoros Timbrísticos a Parir da Transformada Wavelet Packet](https://reader035.vdocuments.pub/reader035/viewer/2022081801/5494349bb479593d4d8b4a5e/html5/thumbnails/27.jpg)
• Obrigado pela atenção!
FIM
27 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
Duvidas? Questões? Sugestões?