seminar 24. mai 2004 wahrnehmung gesprochener sprache glenn schütze
Post on 05-Apr-2015
103 Views
Preview:
TRANSCRIPT
Seminar 24. Mai 2004
Wahrnehmunggesprochener Sprache
Wahrnehmunggesprochener Sprache
Glenn Schütze
2Seminar 24. Mai 2004
Gliederung
1. Akustisches Sprachsignal2. Sprachwahrnehmung
1. Motorische Theorie2. Kategorien3. Kontinuum (neues Paradigma)4. Experimente
3. Lauttrennung / Variation des Sprechers4. Sprachliches Vorwissen5. Weitere Modelle6. Fragen
3Seminar 24. Mai 2004
Akustisches Sprachsignal
AkustischesSprachsignal
4Seminar 24. Mai 2004
Akustisches Sprachsignal
• Beschreibung des Sprachsignals• Phoneme
• Kleinste lautliche Segmente• Bedeutungsunterscheidend, aber nicht
bedeutungstragend
• Phonetische Merkmale• Physische Bewegung des Stimmtraktes
• Als akustisches Signal• Schall des eigentlichen Signals• Zeitabhängige Frequenz- und Intensitätsmuster
5Seminar 24. Mai 2004
Akustisches Sprachsignal
• Phoneme• Zerlegung des Signals in Einheiten• Beziehen sich auf Laute, nicht Buchstaben• Bsp.:
• /b/ bedeutungsunterscheidend, trägt aber keine Semantik
• Phonem ohne Hilfe von „Frequenz“ definiert, sondern als Laut
Bier /b/ /i:/ /R/Pier /p/ /i:/ /R/Biel /b/ /i:/ /l/
6Seminar 24. Mai 2004
Akustisches Sprachsignal
• Phonetisches Merkmal• Definiert über Produktion des Lautes im
Stimmtrakt• Dadurch: Beschreibung der Phoneme• Sonorität (stimmhaft, stimmlos)
• /d/ und /f/
• Artikulationsstelle (Verschluss-, Reibelaute)• /d/ und /f/
• Differenzierung sehr viel umfangreicher als hier angegeben
7Seminar 24. Mai 2004
Akustisches Sprachsignal
• Akustisches Sprachsignal (physikalisch)• Betrachtung der Frequenz, Intensität im
zeitlichen Verlauf• Dadurch: Sprachsignalmerkmal
• Teil des akustischen Signals• Abbildung auf Phoneme
• Formant• Vokal
• Formantenansatz• Konsonant
• Abhängig von der Stellungdes Stimmtrakts
8Seminar 24. Mai 2004
Akustisches Sprachsignal
• Zusammenfassung• Akustisches Sprachsignal in Phoneme
aufgliederbar• Phoneme beschreibbar mit
Sprachsignalmerkmalen
• Problem• Zusammenhang zwischen akustischen
Sprachsignalen und gehörten Lauten• Sprachwahrnehmung
9Seminar 24. Mai 2004
Sprachwahrnehmung
Sprachwahrnehmung
10Seminar 24. Mai 2004
Sprachwahrnehmung
• Idealisierendes Modell
Sprachproduktion
Auditives System
Wahrnehmung des Sprachproduktes
Akustisches SignalPhonemeMuster von Schalldruckschwankungen mit verschiedenen Frequenzen
DekodierungReanalyse als Phonem
11Seminar 24. Mai 2004
Sprachwahrnehmung
• Problem• Es gibt keinen konstanten Zusammenhang
zwischen Phonemen und Mustern der Druckschwankungen
• Begründung• Variabilität
• Problem der Bildung von Einheiten aus dem Sprachsignalfluss
12Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Variabilität• Keine 1:1 Zuordnung von Phonemen zu
Sprachsignalmerkmalen• Kontext der Phoneme verändert
Sprachsignalmerkmale
13Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Wahrnehmungskonstanz
Phonem X
Akustisches Signal A
Akustisches Signal B
Akustisches Signal C
.
.
.
14Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Arten der Variabilität• Individuumsabhängig• Regionsabhängig• Geschlechtsabhängig• Artikulationsabhängig
• Bsp.:„Ich gehe heute ins Kino.“
15Seminar 24. Mai 2004
Sprachwahrnehmung - Variabilität
• Problem wegen Variabilität• Bildung von Einheiten
(es gibt normalerweise keine Pausen)
16Seminar 24. Mai 2004
Sprachwahrnehmung
• Fragen• Existieren spezifische Mechanismen
für die Sprachwahrnehmung?• Abgrenzung zum allgemeinen auditiven System
• Existieren Informationen zur Trennung im Signalfluss?
• Ist sprachliches „Vorwissen“ relevant?
17Seminar 24. Mai 2004
Motorische Theorie
Motorische Theorieder
Sprachwahrnehmung
18Seminar 24. Mai 2004
Motorische Theorie
• Motorische Theorie der Sprachwahrnehmung• Nach Liberman (1967)• Postulat
• Sprache als Signalform, die erzeugt und wahrgenommen wird
• Ein spezifisches System • Hypothetisches, neuronales Netz
19Seminar 24. Mai 2004
Motorische Theorie
• Modell nach Liberman
Dekodierungsmechanismus
Phonetische Merkmale
Von den Merkmalenerzeugte Laute
Verarbeitungs-Einheit für Phoneme
Sprachsignal
Sprachwahrnehmung
Reproduktion der Aktivität im Stimmtrakt
20Seminar 24. Mai 2004
Motorische Theorie
• Sprache behandelt als etwas Besonderes
• Durch Ermittlung phonetischer Merkmale• Problem der Variabilität vermieden
• Bis hierhin: Modell
21Seminar 24. Mai 2004
Experimente zu Liberman
Experimente zu
Liberman
22Seminar 24. Mai 2004
Experimente zu Liberman
• Empirische Belege / Experimente• Kategoriale Wahrnehmung• McGurk-Effekt• Duale auditive Wahrnehmung
23Seminar 24. Mai 2004
Experimente zu Liberman
• Kategoriale Wahrnehmung• Idee
• Experiment• Phonem-Identifizierung • Phonem-Unterscheidung
SprachsignalBegrenzte Anzahl
von Wahrnehmungs-kategorien
24Seminar 24. Mai 2004
Experimente zu Liberman
• Identifizierung der Phoneme• Schrittweise Veränderung der
Vokaleinsatzzeit von /da/ zu /ta/
Nach Eimas und Corbit (1973)
25Seminar 24. Mai 2004
Experimente zu Liberman
• Unterscheidung der Phoneme• A, B, C Phoneme• Darbietung: A B C,wobei A ≠ B und
C = A oder C = B• Schlechte Unterscheidung innerhalb einer
Kategorie, sonst gut• Autoren schließen (Grundsatz der
kategoriellen Wahrnehmung)• Laute unterscheidbar nur bei vorheriger
Kategorisierung
26Seminar 24. Mai 2004
Experimente zu Liberman
• Neues Paradigma (statt Kategorie, Kontinuum)• Experiment
• Einschätzung der Laute eines Kontinuums zwischen 2 Kategorien
• Probanden konnten Grad (!) der Zugehörigkeit sehr gut einschätzen (nach Massaro, Cohen 1983)
• Obwohl Sprachwahrnehmung nicht kategorisch, auf Kommunikationsebene kategorisch
Sprachwahrnehmungs-ebene
Sprachwahrnehmungs-ebene
Kommunikations-ebene
Kommunikations-ebene
KategorischKategorisch Nicht kategorisch
27Seminar 24. Mai 2004
Experimente zu Liberman
• Nachweis der Kategorien auch bei• Geräuschen• Summen• Musik• Affen, die über keine Sprache verfügenDurch Miller, Pisoni, Zatorre, Halpern (1976-1979)
• Andere Richtung• Nicht kategorisch, sondern fortlaufend• Neues Modell nötig
28Seminar 24. Mai 2004
Experimente zu Liberman
• McGurk-Effekt• Person im Video spricht /ga-ga/• Zu Hören ist /ba-ba/• Proband nimmt wahr /da-da/
• Verbindung zwischen auditivem und visuellem System
• Existiert Sprachverarbeitungssystem
• Benutzung aller Informationen zur Analyse des Signals
29Seminar 24. Mai 2004
Experimente zu Liberman
• McGurk-Effekt bei nichtsprachlichen Signalen• Video Cellosaite wird gezupft• Ton Saite wird gestrichen• Proband sieht gestrichene Saite• Proband hört gezupfte Saite
• Effekt ist schwächer als bei Sprache• Aber: Infragestellen des spezifischen
Sprachverarbeitungsmechanismus(Saldana und Rosenblum 1993)
30Seminar 24. Mai 2004
Experimente zu Liberman
• Duale auditive Wahrnehmung
Linkes Ohr Rechtes Ohr
Zu hören:Zirpen
Zu hören:/da/
Whalen und Liberman 1987
31Seminar 24. Mai 2004
Experimente zu Liberman
• Anhänger Libermans: zwei Wahrnehmungsweisen• Sprachmodus
• Fügt alle Informationen zusammen
• Allgemeiner auditiver Modus
• Aber• Auch duale auditive Wahrnehmung bei
nichtsprachlichen Signalen• Fowler und Rosenblum (1990)
• Wissenschaftliche Debatte hält an
32Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
Lauttrennungund
Variationen des Sprechers
33Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
• Lauttrennung• Suche nach invariante
Sprachsignalmerkmalen• Analyse von 3D-Frequenzspektren
• Weisen konstante Merkmale auf
34Seminar 24. Mai 2004
Lauttrennung / Variationen des Sprechers
• Variation/Normalisierung• Ausgleich von Unterschieden der
Sprechweise verschiedener Sprecherauf der untersten Ebene der Wahrnehmung
• Insbesondere Frequenzen• Experiment mit McGurk (s.o.)
• Visuell Frau• Auditiv männliche Stimme
• Trotzdem McGurk-Effekt• Folgerung: Normalisierung findet statt
35Seminar 24. Mai 2004
Sprachliches Vorwissen
Sprachliches Vorwissen
36Seminar 24. Mai 2004
Sprachliches Vorwissen
• Bisher „Bottom Up“• Von den Lauten zum Verstehen
• Nun „Top Down“
Vorwissen
Akustisches Sprachsignal
Sprachwahrnehmung
37Seminar 24. Mai 2004
Sprachliches Vorwissen
• Wahrnehmung kontextabhängig• Einheitenbildung
• „DruckERzeugnis“ (Duden)• „I scream, you scream, everybody wants
icecream“ (Chris Barber)
• Semantik, Syntax• Experiment (Isard, Miller 1963)
• Vermischten normale, grammatisch richtige Sätze, anomale und falsche Sätze
• Hörer sprach nach (shadowing)• 89, 79, 56% jeweils richtig nachgesprochen
• Semantische, syntaktische Regeln werden für die Wahrnehmung verwendet
38Seminar 24. Mai 2004
Sprachliches Vorwissen
• Phonemergänzung• Experiment (Warren 1970)• „Legislativkörperschaften“• Husten bei /s/, jedoch keine genaue
Lokalisation, trotzdem /s/ „gehört“
• „Nun kam der Augenblick zu (x)inken“• x ist Konsonant, z.B. x = s, x = w, …• Wenn Szenenthema „Abschied“ dann winken
39Seminar 24. Mai 2004
Weitere Modelle
Weitere ModelleNicht kategorial
40Seminar 24. Mai 2004
Weitere Modelle
• Fuzzy Logical Model of Perception (FLMP)
• Prozesse machen Gebrauch von Prototypen im Langzeitgedächtnis
Auswertung
Integration
Entscheidung
Informationsquellen
Auditiv AiVisuell Vj
ai vj Psychologische Werte
sk Grad der Unterstützung
t
Rk
Transformation in psychologische Werte
Bietet Unterstützungsgradfür jede Sprachalternative k
Auswahl einer der Alternativen
41Seminar 24. Mai 2004
Weitere Modelle
• Voraussetzungen• Jede Informationsquelle wird bewertet
• Bestimmung des Grades um Alternativen einzuschränken
• Informationsquellen werden unabhängig bewertet
• Modell der Mustererkennung • (Massaro 2001)
42Seminar 24. Mai 2004
Schlussbetrachtung
Schlussbetrachtung
43Seminar 24. Mai 2004
Schlussbetrachtung
• Neue Modell werden erforscht• Alte Modelle sind teilweise unzureichend
respektive zu unkonkret
• Disput zwischen Kategoriale und „fortlaufender“ Wahrnehmung hält an
44Seminar 24. Mai 2004
Quellen
Quellen
45Seminar 24. Mai 2004
Quellen
• Wahrnehmungspsychologie• Allgemeine Grundlagen• Goldstein (1997)
• Speech Processing• Aktuelle Forschung• Zeng, F.G. (1999)
• Grundfragen der allgemeinen Sprachwissenschaft
• Kommunikationsmodell• Saussure (1931)
46Seminar 24. Mai 2004
Fragen
top related