![Page 1: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/1.jpg)
Seminar 24. Mai 2004
Wahrnehmunggesprochener Sprache
Wahrnehmunggesprochener Sprache
Glenn Schütze
![Page 2: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/2.jpg)
2Seminar 24. Mai 2004
Gliederung
1. Akustisches Sprachsignal2. Sprachwahrnehmung
1. Motorische Theorie2. Kategorien3. Kontinuum (neues Paradigma)4. Experimente
3. Lauttrennung / Variation des Sprechers4. Sprachliches Vorwissen5. Weitere Modelle6. Fragen
![Page 3: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/3.jpg)
3Seminar 24. Mai 2004
Akustisches Sprachsignal
AkustischesSprachsignal
![Page 4: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/4.jpg)
4Seminar 24. Mai 2004
Akustisches Sprachsignal
• Beschreibung des Sprachsignals• Phoneme
• Kleinste lautliche Segmente• Bedeutungsunterscheidend, aber nicht
bedeutungstragend
• Phonetische Merkmale• Physische Bewegung des Stimmtraktes
• Als akustisches Signal• Schall des eigentlichen Signals• Zeitabhängige Frequenz- und Intensitätsmuster
![Page 5: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/5.jpg)
5Seminar 24. Mai 2004
Akustisches Sprachsignal
• Phoneme• Zerlegung des Signals in Einheiten• Beziehen sich auf Laute, nicht Buchstaben• Bsp.:
• /b/ bedeutungsunterscheidend, trägt aber keine Semantik
• Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut
Bier /b/ /i:/ /R/Pier /p/ /i:/ /R/Biel /b/ /i:/ /l/
![Page 6: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/6.jpg)
6Seminar 24. Mai 2004
Akustisches Sprachsignal
• Phonetisches Merkmal• Definiert über Produktion des Lautes im
Stimmtrakt• Dadurch: Beschreibung der Phoneme• Sonorität (stimmhaft, stimmlos)
• /d/ und /f/
• Artikulationsstelle (Verschluss-, Reibelaute)• /d/ und /f/
• Differenzierung sehr viel umfangreicher als hier angegeben
![Page 7: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/7.jpg)
7Seminar 24. Mai 2004
Akustisches Sprachsignal
• Akustisches Sprachsignal (physikalisch)• Betrachtung der Frequenz, Intensität im
zeitlichen Verlauf• Dadurch: Sprachsignalmerkmal
• Teil des akustischen Signals• Abbildung auf Phoneme
• Formant• Vokal
• Formantenansatz• Konsonant
• Abhängig von der Stellungdes Stimmtrakts
![Page 8: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/8.jpg)
8Seminar 24. Mai 2004
Akustisches Sprachsignal
• Zusammenfassung• Akustisches Sprachsignal in Phoneme
aufgliederbar• Phoneme beschreibbar mit
Sprachsignalmerkmalen
• Problem• Zusammenhang zwischen akustischen
Sprachsignalen und gehörten Lauten• Sprachwahrnehmung
![Page 9: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/9.jpg)
9Seminar 24. Mai 2004
Sprachwahrnehmung
Sprachwahrnehmung
![Page 10: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/10.jpg)
10Seminar 24. Mai 2004
Sprachwahrnehmung
• Idealisierendes Modell
Sprachproduktion
Auditives System
Wahrnehmung des Sprachproduktes
Akustisches SignalPhonemeMuster von Schalldruckschwankungen mit verschiedenen Frequenzen
DekodierungReanalyse als Phonem
![Page 11: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/11.jpg)
11Seminar 24. Mai 2004
Sprachwahrnehmung
• Problem• Es gibt keinen konstanten Zusammenhang
zwischen Phonemen und Mustern der Druckschwankungen
• Begründung• Variabilität
• Problem der Bildung von Einheiten aus dem Sprachsignalfluss
![Page 12: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/12.jpg)
12Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Variabilität• Keine 1:1 Zuordnung von Phonemen zu
Sprachsignalmerkmalen• Kontext der Phoneme verändert
Sprachsignalmerkmale
![Page 13: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/13.jpg)
13Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Wahrnehmungskonstanz
Phonem X
Akustisches Signal A
Akustisches Signal B
Akustisches Signal C
.
.
.
![Page 14: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/14.jpg)
14Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Arten der Variabilität• Individuumsabhängig• Regionsabhängig• Geschlechtsabhängig• Artikulationsabhängig
• Bsp.:„Ich gehe heute ins Kino.“
![Page 15: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/15.jpg)
15Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Problem wegen Variabilität• Bildung von Einheiten
(es gibt normalerweise keine Pausen)
![Page 16: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/16.jpg)
16Seminar 24. Mai 2004
Sprachwahrnehmung
• Fragen• Existieren spezifische Mechanismen
für die Sprachwahrnehmung?• Abgrenzung zum allgemeinen auditiven System
• Existieren Informationen zur Trennung im Signalfluss?
• Ist sprachliches „Vorwissen“ relevant?
![Page 17: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/17.jpg)
17Seminar 24. Mai 2004
Motorische Theorie
Motorische Theorieder
Sprachwahrnehmung
![Page 18: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/18.jpg)
18Seminar 24. Mai 2004
Motorische Theorie
• Motorische Theorie der Sprachwahrnehmung• Nach Liberman (1967)• Postulat
• Sprache als Signalform, die erzeugt und wahrgenommen wird
• Ein spezifisches System • Hypothetisches, neuronales Netz
![Page 19: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/19.jpg)
19Seminar 24. Mai 2004
Motorische Theorie
• Modell nach Liberman
Dekodierungsmechanismus
Phonetische Merkmale
Von den Merkmalenerzeugte Laute
Verarbeitungs-Einheit für Phoneme
Sprachsignal
Sprachwahrnehmung
Reproduktion der Aktivität im Stimmtrakt
![Page 20: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/20.jpg)
20Seminar 24. Mai 2004
Motorische Theorie
• Sprache behandelt als etwas Besonderes
• Durch Ermittlung phonetischer Merkmale• Problem der Variabilität vermieden
• Bis hierhin: Modell
![Page 21: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/21.jpg)
21Seminar 24. Mai 2004
Experimente zu Liberman
Experimente zu
Liberman
![Page 22: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/22.jpg)
22Seminar 24. Mai 2004
Experimente zu Liberman
• Empirische Belege / Experimente• Kategoriale Wahrnehmung• McGurk-Effekt• Duale auditive Wahrnehmung
![Page 23: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/23.jpg)
23Seminar 24. Mai 2004
Experimente zu Liberman
• Kategoriale Wahrnehmung• Idee
• Experiment• Phonem-Identifizierung • Phonem-Unterscheidung
SprachsignalBegrenzte Anzahl
von Wahrnehmungs-kategorien
![Page 24: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/24.jpg)
24Seminar 24. Mai 2004
Experimente zu Liberman
• Identifizierung der Phoneme• Schrittweise Veränderung der
Vokaleinsatzzeit von /da/ zu /ta/
Nach Eimas und Corbit (1973)
![Page 25: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/25.jpg)
25Seminar 24. Mai 2004
Experimente zu Liberman
• Unterscheidung der Phoneme• A, B, C Phoneme• Darbietung: A B C,wobei A ≠ B und
C = A oder C = B• Schlechte Unterscheidung innerhalb einer
Kategorie, sonst gut• Autoren schließen (Grundsatz der
kategoriellen Wahrnehmung)• Laute unterscheidbar nur bei vorheriger
Kategorisierung
![Page 26: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/26.jpg)
26Seminar 24. Mai 2004
Experimente zu Liberman
• Neues Paradigma (statt Kategorie, Kontinuum)• Experiment
• Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien
• Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983)
• Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch
Sprachwahrnehmungs-ebene
Sprachwahrnehmungs-ebene
Kommunikations-ebene
Kommunikations-ebene
KategorischKategorisch Nicht kategorisch
![Page 27: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/27.jpg)
27Seminar 24. Mai 2004
Experimente zu Liberman
• Nachweis der Kategorien auch bei• Geräuschen• Summen• Musik• Affen, die über keine Sprache verfügenDurch Miller, Pisoni, Zatorre, Halpern (1976-1979)
• Andere Richtung• Nicht kategorisch, sondern fortlaufend• Neues Modell nötig
![Page 28: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/28.jpg)
28Seminar 24. Mai 2004
Experimente zu Liberman
• McGurk-Effekt• Person im Video spricht /ga-ga/• Zu Hören ist /ba-ba/• Proband nimmt wahr /da-da/
• Verbindung zwischen auditivem und visuellem System
• Existiert Sprachverarbeitungssystem
• Benutzung aller Informationen zur Analyse des Signals
![Page 29: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/29.jpg)
29Seminar 24. Mai 2004
Experimente zu Liberman
• McGurk-Effekt bei nichtsprachlichen Signalen• Video Cellosaite wird gezupft• Ton Saite wird gestrichen• Proband sieht gestrichene Saite• Proband hört gezupfte Saite
• Effekt ist schwächer als bei Sprache• Aber: Infragestellen des spezifischen
Sprachverarbeitungsmechanismus(Saldana und Rosenblum 1993)
![Page 30: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/30.jpg)
30Seminar 24. Mai 2004
Experimente zu Liberman
• Duale auditive Wahrnehmung
Linkes Ohr Rechtes Ohr
Zu hören:Zirpen
Zu hören:/da/
Whalen und Liberman 1987
![Page 31: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/31.jpg)
31Seminar 24. Mai 2004
Experimente zu Liberman
• Anhänger Libermans: zwei Wahrnehmungsweisen• Sprachmodus
• Fügt alle Informationen zusammen
• Allgemeiner auditiver Modus
• Aber• Auch duale auditive Wahrnehmung bei
nichtsprachlichen Signalen• Fowler und Rosenblum (1990)
• Wissenschaftliche Debatte hält an
![Page 32: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/32.jpg)
32Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
Lauttrennungund
Variationen des Sprechers
![Page 33: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/33.jpg)
33Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
• Lauttrennung• Suche nach invariante
Sprachsignalmerkmalen• Analyse von 3D-Frequenzspektren
• Weisen konstante Merkmale auf
![Page 34: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/34.jpg)
34Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
• Variation/Normalisierung• Ausgleich von Unterschieden der
Sprechweise verschiedener Sprecherauf der untersten Ebene der Wahrnehmung
• Insbesondere Frequenzen• Experiment mit McGurk (s.o.)
• Visuell Frau• Auditiv männliche Stimme
• Trotzdem McGurk-Effekt• Folgerung: Normalisierung findet statt
![Page 35: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/35.jpg)
35Seminar 24. Mai 2004
Sprachliches Vorwissen
Sprachliches Vorwissen
![Page 36: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/36.jpg)
36Seminar 24. Mai 2004
Sprachliches Vorwissen
• Bisher „Bottom Up“• Von den Lauten zum Verstehen
• Nun „Top Down“
Vorwissen
Akustisches Sprachsignal
Sprachwahrnehmung
![Page 37: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/37.jpg)
37Seminar 24. Mai 2004
Sprachliches Vorwissen
• Wahrnehmung kontextabhängig• Einheitenbildung
• „DruckERzeugnis“ (Duden)• „I scream, you scream, everybody wants
icecream“ (Chris Barber)
• Semantik, Syntax• Experiment (Isard, Miller 1963)
• Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze
• Hörer sprach nach (shadowing)• 89, 79, 56% jeweils richtig nachgesprochen
• Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet
![Page 38: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/38.jpg)
38Seminar 24. Mai 2004
Sprachliches Vorwissen
• Phonemergänzung• Experiment (Warren 1970)• „Legislativkörperschaften“• Husten bei /s/, jedoch keine genaue
Lokalisation, trotzdem /s/ „gehört“
• „Nun kam der Augenblick zu (x)inken“• x ist Konsonant, z.B. x = s, x = w, …• Wenn Szenenthema „Abschied“ dann winken
![Page 39: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/39.jpg)
39Seminar 24. Mai 2004
Weitere Modelle
Weitere ModelleNicht kategorial
![Page 40: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/40.jpg)
40Seminar 24. Mai 2004
Weitere Modelle
• Fuzzy Logical Model of Perception (FLMP)
• Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis
Auswertung
Integration
Entscheidung
Informationsquellen
Auditiv AiVisuell Vj
ai vj Psychologische Werte
sk Grad der Unterstützung
t
Rk
Transformation in psychologische Werte
Bietet Unterstützungsgradfür jede Sprachalternative k
Auswahl einer der Alternativen
![Page 41: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/41.jpg)
41Seminar 24. Mai 2004
Weitere Modelle
• Voraussetzungen• Jede Informationsquelle wird bewertet
• Bestimmung des Grades um Alternativen einzuschränken
• Informationsquellen werden unabhängig bewertet
• Modell der Mustererkennung • (Massaro 2001)
![Page 42: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/42.jpg)
42Seminar 24. Mai 2004
Schlussbetrachtung
Schlussbetrachtung
![Page 43: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/43.jpg)
43Seminar 24. Mai 2004
Schlussbetrachtung
• Neue Modell werden erforscht• Alte Modelle sind teilweise unzureichend
respektive zu unkonkret
• Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an
![Page 44: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/44.jpg)
44Seminar 24. Mai 2004
Quellen
Quellen
![Page 45: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/45.jpg)
45Seminar 24. Mai 2004
Quellen
• Wahrnehmungspsychologie• Allgemeine Grundlagen• Goldstein (1997)
• Speech Processing• Aktuelle Forschung• Zeng, F.G. (1999)
• Grundfragen der allgemeinen Sprachwissenschaft
• Kommunikationsmodell• Saussure (1931)
![Page 46: Seminar 24. Mai 2004 Wahrnehmung gesprochener Sprache Glenn Schütze](https://reader035.vdocuments.pub/reader035/viewer/2022070310/55204d6249795902118b685f/html5/thumbnails/46.jpg)
46Seminar 24. Mai 2004
Fragen