Tvärmodala interaktioner vid visuell och auditiv perception

av vokaler

Hartmut Traunmüller

Lingvistik, Stockholms universitet

Tidigare undersökningars grundtankeom audiovisuell integration

vid talperception

Ren bayesisk integration av informationen tänkbar (multiplikation och normalisering av sannolikheter)

Tidigare undersökningars verklighet

Lyssnare hör även det som de ser.

Lyssnare fäster störst vikt vid sådana visuella ledtrådar som är mera pålitliga än de auditiva, främst alltså hos labiala särdrag.

Finns det dessutom en sådan här verklighet?

Ser avläsare även det som de hör?

Fäster avläsare störst vikt vid sådana auditiva ledtrådar som är mest pålitliga?

Den här undersökningen

Experiment 1 Experiment 2

Jämför!

Frågeställningar

• Finns det ett separat visuellt percept som skiljer sig från det auditiva?

• Hur stor vikt fäster vi vid auditiva och visuella ledtrådar i de båda fallen av audiovisuell integration.

• Är detta särdragsspecifikt, så att vi även i denna uppgift fäster störst vikt vid information från sidomodaliteten i de fall där denna erbjuder den mest pålitliga informationen?

Talmaterial

• Talare: 2 manliga, 2 kvinnliga.

• Originalyttranden: /gig/, /gyg/, /geg/.

• Stimuli i experiment 1 (lyssning): Varje talares auditiva plus alla 6 inkongruenta audiovisuella kombinationer av originalen.

• Stimuli i experiment 2 (avläsning): Varje talares visuella plus alla 6 inkongruenta audiovisuella kombinationer av originalen.

Perceptionsexperiment

• Lyssnare: 14 svenskfödda fp (6 män, 8 kvinnor), studenter och personal på institutionen för lingvistik, Stockholms universitet. Alla deltog i båda experimenten.

• Presentation: på datorskärm i Windows Media Player och via hörlurar. Slumpad ordning, varje stimulus 2 gånger.

Perceptionsexperiment

• Experiment 1: Vad hör du? (medan du tittar)

• Experiment 2: Vad ser du? (med hörlurarna på)

• Fp svarar genom att klicka i en ruta på bokstavstecknet för den percipierade vokalen.

• Fp styr presentationen, får även upprepa stimuli.

Resultat

Resultaten visas på de nästa två bilderna

som är förväxlingsmatriser.

Symboler

Ofyllda cirklar: Rätt vokal

Fyllda cirklar: Fel vokal

Blå: Rundning uppfattad via sidomodaliteten

Röd: Öppningsgrad uppfattad via sidomodaliteten

Experiment 1: lyssning

Experiment 2: avläsning

Vikt hos auditiva och visuella ledtrådar vid perception av öppningsgrad och läpprundning.

Auditiva Visuella

Hörd öppningsgrad 1,00 0,03

Hörd läpprundning 0,28 0,68

Sedd öppningsgrad 0,45 0,52

Sedd läpprundning 0,00 0,97

Modell för prediktion av bimodal förväxlingsmatris

A: auditiv information (endast lyssning)

V: visuell information (endast avläsning)

AV: resultatet av bayesisk integration av A och V

Plyssnig = 0,26 A +0,71 AV (r2 = 0,98)

Pavläsning = 0,57 V +0,45 AV (r2 = 0,94)

Vid ren bayesisk integration skulle vikten för AV = 1,0.

Skillnader mellan försökspersoner

Individuell variation

Hörd läpprundning faktiskt sedd: 31-100%Sedd öppningsgrad faktiskt hörd: 28-97%Det fanns ingen signifikant korrelation mellan dessa.Skillnaderna kan därför inte förklaras av en individuell disposition för intermodal integration i allmänhet.

Vid auditiv perception visade kvinnor större tillit till visuell information, som i tidigare undersökningar, men skillnaden mellan könen nådde här inte signifikansnivå.

Idealiskt beteende

Lita på hörseln för öppningsgraden och på synen för rundningen.

Beteendet oberverades hos 6 fp vid lyssning (4 kvinnor, 2 män) samt hos 1 fp (kvinna) vid avläsning i mer än 90% av fallen.

Slutsatser

Det finns både ett auditivt och ett visuellt percept. Dessa ör klart skilda. Inget av dem motsvarar ett amodalt percept som skulle kunna modelleras genom ren bayesisk integration.

Resultaten återspeglar en vägd summering av sensoriska ledtrådar, där vikten återspeglar tillförlitligheten hos den information som tillhandahålls av varje modalitet.

Variationen mellan individerna kan tänkas bero på faktiska skillnader och skillnader i skattningen av denna tillförlitlighet.

Tack för uppmärksamheten!