Download - La prosodia audiovisiva: la teoria
![Page 1: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/1.jpg)
La prosodia audiovisiva: la teoria
Diane Brentari
Purdue University10 aprile, 2008
![Page 2: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/2.jpg)
Oggi, ci poniamo queste domande: Quali sono i tratti visivi usati per realizzare la
prosodia? Qual è il rapporto temporale fra i tratti
prosodici visivi e quelli orali? Come si sviluppano i tratti visivi? Qual è il rapporto fra i tratti prosodici visivi
nelle lingue orali e nelle lingue dei segni? Quali sono le applicazioni di questa ricerca
nel campo della realtà virtuale?
![Page 3: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/3.jpg)
Le dimensioni dei gesti: icona metaforica deittica battuta (“beat”): la dimensione più
importante per la prosodia
![Page 4: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/4.jpg)
la dimensione battuta (“beat”)
l’uso del corpo o della mano come una bacchetta che segue il ritmo del discorso.
![Page 5: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/5.jpg)
le dimensioni significativi iconica: la forma del gesto rappresenta
tratti visivi e significanti. metaforica: la forma del gesto
rappresenta un’immagine astratta deittica: la forma o il movimento del
gesto è usata per la localizzazione degli oggetti nello spazio
![Page 6: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/6.jpg)
“lexical affiliate” vs. “parola co-segmentale” “lexical affiliate”: la parola o le parole che
sono più vicine al gesto in significato. “parola co-segmentale”: la parola prodotta
simultaneamente con il gesto.
Il mio punto qui è che non è obbligatorio che questi 2 concetti corrispondano alle stesse parole.
![Page 7: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/7.jpg)
i gesti non sono soltanto delle mani le guance le sopracciglia gli occhi la testa intera le spalle il busto
![Page 8: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/8.jpg)
i gesti servono ai parlanti
per ricordare e per esprimere le parole, per sostenere la catena di discorso, e
agli ascoltanti per decidere dov’è la cesura fra le frasi; per decidere la prominenza della frase
![Page 9: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/9.jpg)
Kramer & Swerts (di prossima pubblicazione)
Tratti visivi e prominenza: C’è un effetto dei tratti visivi sulla prominenza
delle parole?
Ipotesi: Un gesto + un accento ha un effetto sulla
prominenza, cioè la prominenza aumenta su quella parola e diminuisce sulle altre parole
![Page 10: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/10.jpg)
3 esperimenti sulle battute1. “fare” le battute: Che cosa fanno i
partecipanti con la voce quando usano anche i gesti?
2. “ascoltare” le battute: Quando i partecipanti ascoltano a loro frasi, sono in grado di percepire che cosa fanno con la voce quando usano anche i gesti?
3. “vedere” le battute: Quando i partecipanti guardano e ascoltano le loro frasi, che giudizio danno sulla prominenza?
![Page 11: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/11.jpg)
tutti gli esperimenti Amanda va a Malta (in olandese)
“Amanda gaat naar Malta.” L’accento può essere su “Amanda” o su
“Malta” o può anche non esserci. I partecipanti: 10 (E1-E2), 20 (E3).
![Page 12: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/12.jpg)
Esperimento 1: ‘fare’ battute 18 condizioni; 2 x 3 x 3
Parola (2 valori): ‘Amanda’ (W1) o ‘Malta’ (W2)
Battuta (3 valori): le sopracciglia, la testa, le mani
Effetto acustico (3 valori): accento W1, accento W2, Ø
![Page 13: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/13.jpg)
Risultati (E1): effetti acustici gli effetti acustici sono ‘normali’
frequenza: accento su W1 o W2 è correlato a un F0, F1 più alta ; meno effetto su F2, poco effetto su F3.
durata: l’accento su W1 è correlato a una vocale più lunga;
energia: l’accento su W1 o W2 è correlato a più energia (più forte) sulla vocale.
![Page 14: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/14.jpg)
Risultati (E1): gli effetti della battuta sul segnale
effetto della battuta accento + battuta su W1 o W2 è correlato
a un F2 più basso. accento + battuta su W2 è correlato a una
vocale più lunga.
Quindi, ci sono effetti del gesto sull’ accento, ma sono percepibili?
![Page 15: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/15.jpg)
Esperimento 2: ‘ascoltare’ battute 10 persone hanno dato giudizi
sull’accento delle vocali: 0 (nessun accento) 1 (accento minore) 2 (accento chiaro)
Misura di “prominence difference”: ∑ W1 prominenza - ∑ W2 prominenza
![Page 16: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/16.jpg)
Risultato (E2) C’è un effetto della battuta sulla prominenza
percepita. Cioè una parola + battuta è correlata a una prominenza aumentata. Invece, la prominenza relativa all’altra parola sembra essere diminuita. Tutti i tre tipi di battuta avevano questo effetto (le sopracciglia, cenno del capo, battute manuali).
Quindi, gli effetti del primo esperimento sono percepibili quando i partecipanti ascoltano, ma vorremmo sapere se c'è un effetto dei gesti sulla percezione.
![Page 17: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/17.jpg)
Esperimento 3: ‘vedere’ battute Qual’è la differenza fra la condizione
audio e la condizione audiovisiva? C’è una differenza fra che cosa si percepisce quando si ascolta soltanto e che cosa si percepisce quando si ascoltano e si vedono le frasi contemporaneamente?
![Page 18: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/18.jpg)
Analisi dei tratti accento: W1, W2, Ø tipo di battuta: le sopracciglia, le battute
manuali; cenno del capo è stato tolto)
Dov’è la battuta: W1, W2 Parlante: (primo, secondo, terzo)
soltanto 3 delle 10 sono stati usati
![Page 19: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/19.jpg)
Risultati (E3)
+ accento: Quando si vede una battuta manuale sulla prima parola, la prominenza di questa è aumentata, mentre è diminuita sulla seconda parola. Vice versa quando la battuta è sulla seconda parola.
- accento: Quando una battuta è sulla parola senza accento la prominenza della parola + accento è diminuita.
L’effetto è lo stesso (ma meno forte) quando la battuta è realizzata dalle sopracciglia.
![Page 20: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/20.jpg)
Effetto della battuta sulla prominenza percepita
prima parola seconda parola
![Page 21: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/21.jpg)
La conclusione
Le battute hanno un effetto forte sulla percezione di prominenza, quindi l’ipotesi è stata confermata.
![Page 22: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/22.jpg)
Brentari, González & Seidl (di prossima pubblicazione) Senza nessuna esperienza di segnato, gli udenti
hanno intuizioni su come usare i tratti prosodici di una lingua dei segni per decidere dove sono i confini fra le frasi segnate? La risposta prevista è: ‘si’
Quali sono le differenze fra segnanti e nonsegnanti nella percezione di questi tratti prosodici? È vero che i segnanti e i nonsegnanti usano i tratti prosodici in modi diversi? La risposta prevista è: ‘si’
![Page 23: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/23.jpg)
Tratti prosodici nella Lingua dei Segni Americana (ASL) Movimenti delle sopracciglia (Wilbur 1994, Liddell
1980) [non ne parliamo qui]
Il prolungamento del segno intero, sopratutto tratti di movimento (Wilbur 1999, Tang, et al. in press)
Il prolungamento dell’ultimo segmento (Perlmutter 1992, Brentari 1998)
Quando le mani si abbassano (Nicodemus, 2006)
Il battito delle ciglia (Wilbur 1994, Liddell 1980) Le pause (Brentari & Poizner, 1994)
![Page 24: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/24.jpg)
La struttura dell’esperimento
Questo esperimento è focalizzato sul confine delle frasi intonazionali (“I-Phrase”).
Gli stimoli sono stati costruiti come piccoli discorsi. Hanno esattamente gli stessi segni, le stesse sillabe, ma confini diversi delle frasi intonazionali.
![Page 25: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/25.jpg)
la procedura
Fase “Familiarizzazione” (passaggi lunghi) Fase “Test”(passaggi brevi) Modulo di risposta su carta. Due domande:
Fra i 2 segni, c’è una cesura? (si/no), Quanto è sicuro della Sua risposta?
(10:molto - 0:niente affatto).
Nessun limite di tempo.
![Page 26: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/26.jpg)
il metodo i partecipanti:
8 segnanti (20+anni d’esperienza); 8 non-segnanti udenti
Stimoli: 10 passaggi lunghi
fase ‘familiarizzazione’ 2 paia di segni a ciascun passaggio breve (20)
fase ‘test’ 20 paia x 2 segnanti diversi = 40 paia 3 volte ogni passaggio breve(60 stimoli con 2 pezzi di frasi diversi, 60 stimoli di una frase
intera)
![Page 27: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/27.jpg)
esempio di un paio dei passaggi lunghi (sono segnati tutti come se fossero segnati a un bambino)
A. ANIMALE TEND THEIR STRANGE. SNAKE BIG STILL MOVE FAST CAN. ALWAYS HAVE PLENTY EAT.
A. Gli animali hanno le caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]
B. YESTERDAY MORNING MY GARAGE SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE. ‘
A. Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!
![Page 28: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/28.jpg)
passaggio lungo “A”:ANIMAL TEND THEIR STRANGE. SNAKE BIG STILL MOVE
FAST CAN. ALWAYS HAVE PLENTY EAT. [Gli animali hanno caratteristiche strane. I serpenti grandi si possono comunque muovere velocemente. Sempre se hanno abbastanza da mangiare.]
QuickTime™ and aSorenson Video 3 decompressorare needed to see this picture.
![Page 29: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/29.jpg)
passaggio lungo “B”:YESTERDAY MORNING MY GARAGE I SAW SNAKE BIG. STILL MOVE FAST CAN ALWAYS. CHASE.
[Ieri mattina nel mio garage ho visto un serpente grande. Si può comunque muovere velocemente. L’ho cacciato!]
QuickTime™ and aSorenson Video 3 decompressorare needed to see this picture.
![Page 30: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/30.jpg)
I tratti previsti e quelli presenti:
battito ciglia
pause
mani abb.
nellafrase
fra le frasi
ø
ø
ø
ø
ø
forte
forte
si
si
si
previstiprevisti
ø
forte
previsti
ø
ø
si
si
si
prol.segno
prol.seg.
![Page 31: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/31.jpg)
I tratti previsti e quelli presenti:
battito ciglia
pause
mani abb.
si
si
nella frase
BIG STILL CAN. ALWAYSPassaggio A
nellafrase
fra le frasi
fra le frasi
ø
ø
ø
ø
ø
ø
ø
ø
forte
forte
si
si
si
previsti
forte
forte
si
ø
previsti
ø
forte
previsti
ø
ø
si
si
si
BIG STILLPassaggio A
si
si
nella frase
BIG STILLPassaggio A
ø
ø si
si
ø
ø
ø
prol.segno
prol.seg.
![Page 32: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/32.jpg)
I tratti previsti e quelli presenti:
battito ciglia
pause
mani abb.
forte
forte
fra le
frasinellafrase
fra le frasi
nella frase
ø
ø
ø
ø
ø
ø ø
forte
forte
si
si
si
previsti
ø
si
øø
si ø
Passaggio B BIG.STILL CAN ALWAYSprevisti
ø
forte
previsti
battito ciglia
pause
mani abb. ø
ø
si
si
si
CAN ALWAYSPassaggio B BIG.STILLCAN. ALWAYS
fra le frasi
ø
forte
fortesi
si
nella frase
BIG STILLPassaggio A
si
si
ø
ø
ø
prol.segno
prol.seg.
![Page 33: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/33.jpg)
questo è stato tagliato questo del passaggio “A”: SNAKE BIG STILL MOVE FAST CAN. ALWAYS[I serpenti grandi si possono comunque muovere velocemente. Sempre]
![Page 34: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/34.jpg)
questo è stato tagliato del passaggio “B”: SNAKE BIG. STILL MOVE FAST CAN ALWAYS[Un serpente grande. Si può comunque muovere velocemente.]
![Page 35: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/35.jpg)
Modulo di risposta (un pagina)
Between the two signs shown is there a sentence break? yes ___no ___ [Fra i 2 segni, c’è una cesura? (si/no)]
How confident are you in your answer? 10 9 8 7 6 5 4 3 2 1 0[Quanto sicuro è della Sua risposta?]
very not at all [molto] [niente affato]
BIG STILL CAN ALWAYS
![Page 36: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/36.jpg)
i risultati sono stati analizzati secondo queste categorie
2 pezzi dei frasi diversi
1 frase
si corretto + spaglio +
no spaglio - corretto -
![Page 37: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/37.jpg)
La accuratezza
La prova statistica d’ dimostra che non c’era un effetto del gruppo sulla accuratezza. I segnanti sono stati più accurati nella categoria di
“corretti +”: 86% segnanti; 76% nonsegnanti
I nonsegnanti sono stati più accurati nella categoria di
“corretti -”: 76.5% segnanti; 85% nonsegnanti I segnanti mostrano meno variabilità.
![Page 38: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/38.jpg)
Analisi degli stimoli costituiti da pezzi delle 2 frasi (Logical Regression)
Effetto DF p-value
Pause 1 0.0111
Bat.occhi 1 0.1266
Prol.(segno) 1 0.3256
mani cadute 1 0.4322
Prol.(segmento) 1 0.6556
Effetto DF p-value
Pause 1 <.0001
Bat.occhi 1 0.0444
mani cadute 1 0.0674
Prol.(segmento) 1 0.1248
Prol.(segno) 1 0.1471
Segnanti Non-segnanti
![Page 39: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/39.jpg)
Analisi degli stimoli costituiti da 1 frase intera (Logical Regression)
Effetto DF p-value
Prol.(seg) 1 <.0001
Bat.occhi 1 0.0938
mani cadute 1 0.1031
Pause 1 0.1327
Prol.(segno) 1 0.5203
Effetto DF p-value
Prol.(seg) 1 < 0.0001
mani cadute 1 0.0052
Bat.occhi 1 0.1033
Prol.(segno) 1 0.1719
Pause 1 0.7413
Non-segnantiSegnanti
![Page 40: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/40.jpg)
Conclusioni Segnanti e nonsegnanti possono entrambi identificare
quando c’è uno spazio fra 2 frasi. Quindi la prima ipotesi è stata confermata.
I segnanti mostrano meno variazione I segnanti focalizzano su un tratto solo, mentre
nonsegnanti focalizzano su due tratti (almeno). I segnanti e i nonsegnanti sono sensibili a tratti simili:
La pausa è il tratto più importante quando c’è una cesura nell stimolo.
Il prolungamento segmentale è il tratto più importante negli stimoli costituiti da una frase intera (senza una cesura).
Quindi anche la seconda ipotesi è stata confermata.
![Page 41: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/41.jpg)
Alcune domande sulla prosodia (sono solo esempi)
Quando un gesto e l'accento sono simultanei, quante volte il gesto è soltanto una battuta, e quante volte c'è un altra dimensione di significato.
Quando c'è un altra dimensione di significato, quale è la dimensione?
Qual'è il rapporto fra i gesti emblematici e la prominenza? Gesti emblematici hanno uno significato di per sé; e.g., ‘non me ne frega nulla di q.c’, ‘cosa/perché’, ‘perfetto’). Di solito succedono senza parole, ma qual’è il rapporto fra il gesto e le parole prima o dopo il gesto?
![Page 42: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/42.jpg)
la distribuzione delle dimensioni dei
gesti (McNeill 1992)
tipo di frase iconica battuta metaforica deittica nessuno totale narrativa 41% 25% 2% 5% 27% 543 extra-narrativa 14% 54% 13 1% 18% 247 totale 261 263 43 28 190 790
![Page 43: La prosodia audiovisiva: la teoria](https://reader036.vdocuments.pub/reader036/viewer/2022062301/5681443f550346895db0dba3/html5/thumbnails/43.jpg)
Vi invito a scegliere 1 minuto dei 2 video diversi, fare una paragone di qualche tipo, e preparare una piccola
presentazione per la prossima volta.
IT narrativo <-> ING narrativo IT extra-narrativo <-> ING extra-narrativo IT narrativo <-> IT extra-narrativo ING narrativo <-> ING extra-narrativo
--presentazione di10 minuti