riproduzione del suono, 3d-sound e spazializzazione binaurale 16/12/2008 corso di informatica...
TRANSCRIPT
![Page 1: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/1.jpg)
Riproduzione del suono, 3d-sound e Spazializzazione Binaurale
Riproduzione del suono, 3d-sound e Spazializzazione Binaurale
16/12/2008 Corso di Informatica Applicata alla Musica
Davide A. Mauro
16/12/2008 Corso di Informatica Applicata alla Musica
Davide A. Mauro
![Page 2: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/2.jpg)
Qualche domanda…Qualche domanda…
Che cos’e’ uno spazio sonoro tridimensionale?
In che modo il nostro apparato uditivo e’ in grado di percepire la direzione di provenienza di un suono?
Che cos’e’ uno spazio sonoro tridimensionale?
In che modo il nostro apparato uditivo e’ in grado di percepire la direzione di provenienza di un suono?
![Page 3: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/3.jpg)
Ancora…Ancora…
Come possiamo capire se un suono proviene da: Destra-Sinistra Alto-Basso Davanti-Dietro (Distanza)
Come possiamo capire se un suono proviene da: Destra-Sinistra Alto-Basso Davanti-Dietro (Distanza)
![Page 4: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/4.jpg)
Come funziona…Come funziona…
Tre parametri chiamati “Localization Cues”: ILD: Interaural Level
Difference ITD: Interaural Time
Difference DDF: Direction
Dependent Filtering
Tre parametri chiamati “Localization Cues”: ILD: Interaural Level
Difference ITD: Interaural Time
Difference DDF: Direction
Dependent Filtering
![Page 5: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/5.jpg)
ILDILD
Interaural Level Difference (espresso in dB), differenze di intensità fra gli stimoli alle due orecchie
ILD varia in funzione dell’azimuth e della frequenza
(frequency dependent) Utile per le alte frequenze
Interaural Level Difference (espresso in dB), differenze di intensità fra gli stimoli alle due orecchie
ILD varia in funzione dell’azimuth e della frequenza
(frequency dependent) Utile per le alte frequenze
![Page 6: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/6.jpg)
ITDITD
Interaural Time Differences, differenze di tempo di arrivo degli stimoli alle due orecchie.
Varia in funzione dell’azimuth
(frequency indipendent) Utile per le basse
frequenze
Interaural Time Differences, differenze di tempo di arrivo degli stimoli alle due orecchie.
Varia in funzione dell’azimuth
(frequency indipendent) Utile per le basse
frequenze
![Page 7: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/7.jpg)
DDFDDF
Direction Dependent Filtering, filtraggio effettuato dall’orecchio esterno, dalla testa e dal torso, dipendente dalla direzione di provenienza dello stimolo.
Diversi modi di risonanza della pinna
Direction Dependent Filtering, filtraggio effettuato dall’orecchio esterno, dalla testa e dal torso, dipendente dalla direzione di provenienza dello stimolo.
Diversi modi di risonanza della pinna
![Page 8: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/8.jpg)
L’AmbienteL’Ambiente
Una precisazione: Stiamo parlando di ascolto in free-field, ovvero senza l’interazione dell’ambiente esterno
Riverbero: Centrale per la percezione di “spazialità e ambiente” (es canali nei sistemi dolby) può dare più profondità anche a un semplice stereo
Una precisazione: Stiamo parlando di ascolto in free-field, ovvero senza l’interazione dell’ambiente esterno
Riverbero: Centrale per la percezione di “spazialità e ambiente” (es canali nei sistemi dolby) può dare più profondità anche a un semplice stereo
![Page 9: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/9.jpg)
Tecniche: Una prima ideaTecniche: Una prima idea
Più altoparlanti da disporre attorno all’ascoltatore più possibilità di ricreare posizionamento spaziale?
Posso registrare anche in mono e poi “assegnare”(panpot) agli altoparlanti
Percezione delle sorgenti virtuali Si ma… In questo modo NON ho
informazioni su di uno spazio acustico reale
Più altoparlanti da disporre attorno all’ascoltatore più possibilità di ricreare posizionamento spaziale?
Posso registrare anche in mono e poi “assegnare”(panpot) agli altoparlanti
Percezione delle sorgenti virtuali Si ma… In questo modo NON ho
informazioni su di uno spazio acustico reale
![Page 10: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/10.jpg)
Panning e Sorgenti VirtualiPanning e Sorgenti Virtuali
![Page 11: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/11.jpg)
PrecisazionePrecisazione
Le prime due tecniche che citeremo funzionano bene se l’ascoltatore si trova esattamente nel punto previsto per l’ascolto
Altrimenti… La sorgente si sposta verso l’altoparlante più prossimo all’ascoltatore
Le prime due tecniche che citeremo funzionano bene se l’ascoltatore si trova esattamente nel punto previsto per l’ascolto
Altrimenti… La sorgente si sposta verso l’altoparlante più prossimo all’ascoltatore
![Page 12: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/12.jpg)
Tecniche: StereoTecniche: Stereo
Riproduzione “1-D” Riproduzione tramite 2 altoparlanti equidistanti dal punto di
ascolto, varie configurazioni es Stereo Dipole
Riproduzione “1-D” Riproduzione tramite 2 altoparlanti equidistanti dal punto di
ascolto, varie configurazioni es Stereo Dipole
![Page 13: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/13.jpg)
Stereo: MicrofonazioneStereo: Microfonazione
X-Y Coincidente: 2 Microfoni direzionali (cardioidi)
M-S: Middle Side: 1 Cardioide + 1 Bidirezionale (pattern a 8)
ORTF: 2 Cardioidi
X-Y Coincidente: 2 Microfoni direzionali (cardioidi)
M-S: Middle Side: 1 Cardioide + 1 Bidirezionale (pattern a 8)
ORTF: 2 Cardioidi
![Page 14: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/14.jpg)
Tecniche:Multicanale discretoTecniche:Multicanale discreto
Ad esempio home theater 5.1
1 Canale centrale (parlato) 2 Canali frontali 2 Canali posteriori
(riverbero) 1 Canale LFE
(Subwoofer) Riproduzione “2-D”
Ad esempio home theater 5.1
1 Canale centrale (parlato) 2 Canali frontali 2 Canali posteriori
(riverbero) 1 Canale LFE
(Subwoofer) Riproduzione “2-D”
![Page 15: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/15.jpg)
Multicanale discreto: Microfonazione
Multicanale discreto: Microfonazione
Anche qui molte tecniche:
Es Decca-Tree+ORTF Esistono microfoni specifici Tool specifici per il mixaggio
Anche qui molte tecniche:
Es Decca-Tree+ORTF Esistono microfoni specifici Tool specifici per il mixaggio
![Page 16: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/16.jpg)
Multicanale discretoMulticanale discreto
Non perfetta localizzazione delle sorgenti. Risente molto della configurazione e del punto di
ascolto
Non perfetta localizzazione delle sorgenti. Risente molto della configurazione e del punto di
ascolto
![Page 17: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/17.jpg)
Tecniche: WFSTecniche: WFS
Wavefield Synthesis: Ricreazione del fronte d’onda
Principio di Huygens: Scomposizione del fronte d’onda. Sovrapposizione di onde elementari
Necessita di ambiente anecoico e molti altoparlanti disposti in array (distanza 10-15 cm max)
La localizzazione non dipende dalla posizione dell’ascoltatore
Wavefield Synthesis: Ricreazione del fronte d’onda
Principio di Huygens: Scomposizione del fronte d’onda. Sovrapposizione di onde elementari
Necessita di ambiente anecoico e molti altoparlanti disposti in array (distanza 10-15 cm max)
La localizzazione non dipende dalla posizione dell’ascoltatore
![Page 18: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/18.jpg)
Tecniche: Multicanale con matrici di conversione
Tecniche: Multicanale con matrici di conversione
Ambisonic: Utilizzo di microfoni
specifici Decodifica su un qualsiasi
sistema di altoparlanti a meno di alcuni vincoli: Non è importante la
posizione quanto la direzione
Numero minimo per restituire le caratteristiche N-dimensionali
Ambisonic: Utilizzo di microfoni
specifici Decodifica su un qualsiasi
sistema di altoparlanti a meno di alcuni vincoli: Non è importante la
posizione quanto la direzione
Numero minimo per restituire le caratteristiche N-dimensionali
![Page 19: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/19.jpg)
AmbisonicAmbisonic
4 canali per 1 ordine (3 senza elevazione) 9 canali per 2 ordine (7 senza elevazione) Miglior impressione di spazialità Migliore “stabilità” e precisione per la localizzazione
4 canali per 1 ordine (3 senza elevazione) 9 canali per 2 ordine (7 senza elevazione) Miglior impressione di spazialità Migliore “stabilità” e precisione per la localizzazione
![Page 20: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/20.jpg)
Tecniche: Spazializzazione Binaurale
Tecniche: Spazializzazione Binaurale
Riproduzione “3-D” Idea: ”I principali veicoli dell'informazione uditiva al soggetto
umano sono le sue due orecchie” Non si cerca di ricreare un paesaggio sonoro tridimensionale
attraverso il posizionamento di sorgenti sonore nelle tre dimensioni ma si crea un paesaggio sonoro virtuale attraverso la simulazione del comportamento dell'apparato uditivo fornendo all'ascoltatore un segnale a due canali che contenga al suo interno i parametri necessari affinchè il nostro orecchio possa determinare la direzione di provenienza del suono in uno spazio tridimensionale”
Riproduzione “3-D” Idea: ”I principali veicoli dell'informazione uditiva al soggetto
umano sono le sue due orecchie” Non si cerca di ricreare un paesaggio sonoro tridimensionale
attraverso il posizionamento di sorgenti sonore nelle tre dimensioni ma si crea un paesaggio sonoro virtuale attraverso la simulazione del comportamento dell'apparato uditivo fornendo all'ascoltatore un segnale a due canali che contenga al suo interno i parametri necessari affinchè il nostro orecchio possa determinare la direzione di provenienza del suono in uno spazio tridimensionale”
![Page 21: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/21.jpg)
Spazializzazione BinauraleSpazializzazione Binaurale
Quindi --> Ricreazione dei parametri Idonea alla riproduzione in cuffia Realizzabile tramite diverse tecniche:
Filtraggi e linee di ritardo Convoluzione
Quindi --> Ricreazione dei parametri Idonea alla riproduzione in cuffia Realizzabile tramite diverse tecniche:
Filtraggi e linee di ritardo Convoluzione
![Page 22: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/22.jpg)
Spazializzazione BinauraleSpazializzazione Binaurale
Convoluzione con risposta all’impulso Dummy Head per le misurazioni e
campionamenti di HRTF (Head Related Transfer Function)
Convoluzione con risposta all’impulso Dummy Head per le misurazioni e
campionamenti di HRTF (Head Related Transfer Function)
![Page 23: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/23.jpg)
TecnicaTecnica
Praticamente: Uso della dummy e di altoparlanti per inviare il segnale di misura, registrazione dai microfoni, processing.
Praticamente: Uso della dummy e di altoparlanti per inviare il segnale di misura, registrazione dai microfoni, processing.
![Page 24: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/24.jpg)
TecnicaTecnica
Misurazione con Sweep seno-logaritmica (derivata da TDS Time Delay Spectrometry)
Convoluzione con segnale TRM (Time Reversal Mirror)
Tecnica robusta, permette di trattare le non-linearità del sistema
Misurazione con Sweep seno-logaritmica (derivata da TDS Time Delay Spectrometry)
Convoluzione con segnale TRM (Time Reversal Mirror)
Tecnica robusta, permette di trattare le non-linearità del sistema
![Page 25: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/25.jpg)
Problemi… CrosstalkProblemi… Crosstalk Con altoparlanti ogni canale
raggiunge entrambe le orecchie Causa problemi nella creazione
dell’immagine spaziale Esistono tecniche di
cancellazione : Es. segnale ritardato e in controfase--> Efficaci per una zona di ascolto molto ridotta (tende ad 1 punto centrale)
Combinato con Spazializzazione Binaurale --> Stereo Transaurale
Con altoparlanti ogni canale raggiunge entrambe le orecchie
Causa problemi nella creazione dell’immagine spaziale
Esistono tecniche di cancellazione : Es. segnale ritardato e in controfase--> Efficaci per una zona di ascolto molto ridotta (tende ad 1 punto centrale)
Combinato con Spazializzazione Binaurale --> Stereo Transaurale
![Page 26: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/26.jpg)
Problemi…Problemi…
Modalità di ascolto: Altoparlanti, Cuffie Computazionali: Es. convoluzione è molto
costosa se fatta nel dominio del tempo --> Portata nel dominio delle frequenze (FFT) diventa trattabile
Efficacia: Individualizzare le risposte all’impulso (es dummy con calchi orecchie) permette migliori risultati ma… come fare?
Modalità di ascolto: Altoparlanti, Cuffie Computazionali: Es. convoluzione è molto
costosa se fatta nel dominio del tempo --> Portata nel dominio delle frequenze (FFT) diventa trattabile
Efficacia: Individualizzare le risposte all’impulso (es dummy con calchi orecchie) permette migliori risultati ma… come fare?
![Page 27: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/27.jpg)
Per cosa possiamo usare queste tecniche?
Per cosa possiamo usare queste tecniche?
Idea: RV (Realta’ Virtuali) Di cosa abbiamo bisogno?
Posizione dell’ascoltatore e orientamento (head tracking)
Posizione della sorgente sonora Geometria e caratteristiche dello spazio
Idea: RV (Realta’ Virtuali) Di cosa abbiamo bisogno?
Posizione dell’ascoltatore e orientamento (head tracking)
Posizione della sorgente sonora Geometria e caratteristiche dello spazio
![Page 28: Riproduzione del suono, 3d-sound e Spazializzazione Binaurale 16/12/2008 Corso di Informatica Applicata alla Musica Davide A. Mauro 16/12/2008 Corso di](https://reader036.vdocuments.pub/reader036/viewer/2022081518/5542eb57497959361e8c1bfc/html5/thumbnails/28.jpg)
BREVE BIBLIOGRAFIABREVE BIBLIOGRAFIA J. Blauert “Spatial Hearing, the Psychophysic of Human Sound
Localization”, the MIT Press, Cambridge, Massachussetts, 1996 D. R. Begault “3-D Sound for Virtual Reality and Multimedia”,
Academic Press, Cambridge, MA, 1994 W. A. Yost, G. Gourevitch “Directional Hearing”, Springer, New
York, 1987 Sunil Bharitkar, Chris Kyriakakis “Immersive audio signal
processing”, New York, Springer, 2006 R. E. Runstein, D. M. Ruber “Modern Recording Techniques”,
Howard W. Sams, Indianapolis, IN , 1989 Udo Zolzer “DAFX : digital audio effects”, Chichester, John Wiley,
2002 A. Farina, P. Galaverna, M. Giabbani “Il processo di auralizzazione:
metodologia ed esemplificazione”, 2000. A. S. Bregman “Auditory Scene Analysis”, MIT press, Cambridge,
MA, 1990
J. Blauert “Spatial Hearing, the Psychophysic of Human Sound Localization”, the MIT Press, Cambridge, Massachussetts, 1996
D. R. Begault “3-D Sound for Virtual Reality and Multimedia”, Academic Press, Cambridge, MA, 1994
W. A. Yost, G. Gourevitch “Directional Hearing”, Springer, New York, 1987
Sunil Bharitkar, Chris Kyriakakis “Immersive audio signal processing”, New York, Springer, 2006
R. E. Runstein, D. M. Ruber “Modern Recording Techniques”, Howard W. Sams, Indianapolis, IN , 1989
Udo Zolzer “DAFX : digital audio effects”, Chichester, John Wiley, 2002
A. Farina, P. Galaverna, M. Giabbani “Il processo di auralizzazione: metodologia ed esemplificazione”, 2000.
A. S. Bregman “Auditory Scene Analysis”, MIT press, Cambridge, MA, 1990