Download - Beszéd és érzelem
![Page 1: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/1.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Beszéd és érzelem
Beszédfelismerés és szintézis7. előadás 2014. március 13.
Bárdi Tamás előadása nyomán
![Page 2: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/2.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Czap László beszélőfej modelljeöröm szomorúság
![Page 3: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/3.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Czap László beszélőfej modelljemeglepetés harag
![Page 4: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/4.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Kommunikáció általában
Kommunikáció: üzenetváltások közös kód alapjánkódolás és dekódolás is történik
Verbális kommunikáció:a kód előzetes megállapodással lett közössépl. nyelvek, siket jelnyelv, protokollok
Nem verbális kommunikáció:van közös kód, de nem megegyezés eredményeilyen az érzelmi kommunikáció nagyobb részta közös alap általában biológialag örökölt
![Page 5: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/5.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
A kommunikáció csatornái
Közvetlen emberi kommunikáció elmélete (Buda Béla):- Verbális csatornák:
beszélt nyelv, egyezményes jelek- Nem verbális csatornák:
vokális expresszió, tekintet, mimika, gesztusok, távolság, emblémák
A hangzó beszéd egyaránt verbális és nem verbális A beszéd nem verbális tartalma nagyrészt a
prozódiában jelenik meg
![Page 6: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/6.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Kódosztás a csatornák között
Brunswick lencséje:Az érzelem felismerése lassabb és bizonytalanabb hacsökkentjük az elérhető nem-verbális csatornák számát
![Page 7: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/7.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Metakommunikáció
Kommunikáció a kommunikációról Az emberi közlésfolyamat mindig kétszintű:
egy akaratlagos és egy spontán, amely „minősíti” a direkt tartalmat, érzelmi viszonyulást fejez ki
Nem tudunk „nem kommunikálni” Az indirekt – akarattól független – kommunikáció mindig
őszinte Analóg – digitális párhuzam
![Page 8: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/8.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Antonio Damasio elmélete különbségtételt tesz érzelmek (angolul emotion) és
érzések (angolul feeling) között Az érzés e változások észlelése Az érzés lényege: "folytonos monitorozási folyamat", Damasio szerint az érzelmek fontos szerepet játszanak az
emberi szervezet biológiai szabályozó működéseinek rendszerében, a homeosztázisban.
az érzelem és érzés a biológiai szabályozás központi mozzanatai, ezek hidat alkotnak a racionális és nem-racionális folyamatok között, a kérgi és kéregalatti struktúrák között
![Page 9: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/9.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Emóciók
Homeosztázis: a biológiai szervezeteknek van egy egyensúlyi állapota, ha megbomlik igyekeznek helyreállítani
Az emóciók az egyensúlyi célállapotot változtatják meg, hogy a szervezetet a túlélés szempontjából „optimális” állapotba kerüljön
Az emócióknak erős hatása van a vegetatív idegrendszer működésére, ezen keresztül számos betegséget okozhat a nem megfelelő érzelmi élet
![Page 10: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/10.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Szomatikus markerek Az érzelmi állapotokhoz jellemző testi mintázatok tartoznak. Az elsődleges érzelmek a "korai életben átélt érzelmek„,
ezeknek alapja a személyes élettörténet perspektívája. A másodlagos érzelmek pedig a "felnőtt" érzelmek, amelyek a
tárgyak és helyzetek osztályainak, valamint az elsődleges érzelmek összekapcsolásán alapulnak.
Elsődleges érzelmek: kialakításukban döntően kéreg alatti területek vesznek részt, bizonyos szenzoros input mintázatok esetén automatikusan váltódnak ki.
Másodlagos érzelmek: kialakításukban a prefrontális kéreg is részt vesz, kiváltódásuk mentális képek közbeiktatásával történik
![Page 11: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/11.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Féltekei asszimetriák A beszédképzés és megértés nagyrészt bal féltekés A beszéddallam feldolgozása inkább jobb féltekés Pell: jobb és bal féltekés sérült betegeket vizsgált.
Eredményei alapján az érzelmi prozódia inkább jobb féltekés, a grammatikai inkább balféltekés
Damasio: a jobb féltekei prefrontális kéreg döntő a másodlagos érzelmek kialakításában.
![Page 12: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/12.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Emotional expressions Darwin (1872): az emlős állatok az emberhez
hasonlóan fejezik ki érzelmeiket (közös származás) Emóciók szerepe: belső biológiai szabályozás, és a
külső megfigyelő befolyásolása (kommunikatív) Ohala: leakage theory: Often, communication is
ambivalent: people communicate one thing verbally and the opposite non-verbally. Leakage refers to communicative incidents in which nonverbal signals betray the true content of contradictory verbal messages.
![Page 13: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/13.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Alapérzelmek
Diszkrét emóció elméletek (Ekman és mások):
Abból indul ki, hogy van néhány alapérzelem, amit jól felismernek az emberek és ezeket kéne gépileg is felismerni. Ezt a modellt az arckifejezések kutatóitól importálták a beszédkutatók.
Nincs teljes egyetértés az alapérzelmek listájában, de az alábbiakat mindenki felsorolja: meglepetés, félelem, harag, öröm, szomorúság, undor
Visszatérő kérdés: univerzálisak vagy kultúrális eredetűek?“A display rule specifies who can show what emotion to whom, when.” - Ekman
![Page 14: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/14.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Alapérzelmek az arcon Vannak akaratlagosan nem mozgatható arcizmok
![Page 15: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/15.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Folytonos érzelmi dimenziók Activation, Valence, Power, Intensity Feeltrace: „cimkéző” eszköz
![Page 16: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/16.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Neutral (declarative)
Marilyn won nine million dollars
![Page 17: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/17.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Excitement
Marilyn won nine million dollars
![Page 18: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/18.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Disappointment
Marilyn won nine million dollars
![Page 19: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/19.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Hot anger
Marilyn won nine million dollars
![Page 20: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/20.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Cold anger
Marilyn won nine million dollars
![Page 21: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/21.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Sarcastic
Marilyn won nine million dollars
![Page 22: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/22.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Afraid
Marilyn won nine million dollars
![Page 23: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/23.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Impatient
Marilyn won nine million dollars
![Page 24: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/24.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Sad
Marilyn won nine million dollars
![Page 25: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/25.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: acted emotions
Lifeless
Marilyn won nine million dollars
![Page 26: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/26.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions Gyerekekről – felnőtteknek (Kossuth Rádió):
- öröm: anyuka anyuka
- szomorúság: nővérke
![Page 27: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/27.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions
angry
![Page 28: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/28.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions
sad
![Page 29: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/29.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Resources: real emotions
joy
![Page 30: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/30.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Érzelmes Beszéd Adatforrások
Érzelem „portré” (acted emotion):színészek felmondják a kért szöveget a kért
érzelmi tartalommalelőny: előírható a szöveg
„Valódi” érzelmek (real emotion):önkénteseket beszéltetnek, közben igyekeznek hangulatilag befolyásolni
előny: hitelesebb, a beszélő átéli az érzelmeit így a megfelelő fiziológiás folyamatok lejátszódnak
Szintetizált beszéd:az elméletek igazolásához használják
![Page 31: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/31.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnologyAlapérzelmek
megkülönböztetése
Analysis of Variables (ANOVA):
Petri Laukka, PhD Thesis, 2004
![Page 32: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/32.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Akusztikai jellemzők
![Page 33: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/33.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Akusztikai jellemzők
![Page 34: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/34.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Categorical Perception
![Page 35: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/35.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Emofilt system
anger
fear
joy
sad
neutral
![Page 36: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/36.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Voice Conversion
USC SAIL:A prozódia mellett a spektrális jellemzőket is változtatták (LPC)
neutral angry happy sad
Cabral:Voice quality transformation
original angry happy sad fear
![Page 37: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/37.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Szabály alapú rendszerek
Loquendo:szótagok akusztikai jellemzőit veszi figyelembe
neutral angry happy sad
Kobayashi:Sentence HMM + speaking style
reading joy rough sad
![Page 38: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/38.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Alkalmazási lehetőségek Érzelmes beszéd szintézise és gépi felismerése ma
még gyerekcipőben A szórakoztató iparban lenne rá igény: játék szoftverek,
animációs filmek Oktató szoftverekben is, elsősorban gyerekeknek Ami már működik: annoyance detection – az automata
call center kapcsolja a kezelőt ha már kellően ideges az ügyfél
![Page 39: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/39.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Irodalom a beszéd és érzelem témához
Buda Béla: A közvetlen emberi kommunikáció szabályszerűségei
Buda Béla: Empátia Hámori József: Az agyféltekék asszimetriái Antonio Damasio: Descartaes tévedése Geoffry Miller: A párválasztó agy PhD értekezések (angolul): Marc Schröder, Petri
Laukka, Raul Fernandez, Sylvie Mozziconacci
![Page 40: Beszéd és érzelem](https://reader036.vdocuments.pub/reader036/viewer/2022062322/568151d2550346895dc00c5e/html5/thumbnails/40.jpg)
Péter Pázmány Catholic University, Department of Information Péter Pázmány Catholic University, Department of Information TechnologyTechnology
Köszönöm a figyelmet