eestikeelsete infodialoogide märgendamise usaldusväärsuse hindamine
DESCRIPTION
Eestikeelsete infodialoogide märgendamise usaldusväärsuse hindamine. Evely Vutt. 63 a22 infotelefon V:´Estmar=´info, ´Leenu=kuuleb tere H:ee tervist. ega ´teie ei oska kogemata öelda Tallinna ´busside aegu. (0.5) V:ja ´milliseid busse. (.) - PowerPoint PPT PresentationTRANSCRIPT
Eestikeelsete infodialoogide märgendamise usaldusväärsuse
hindamine
Evely Vutt
63a22infotelefon
V: ´Estmar=´info, ´Leenu=kuuleb tereH: ee tervist. ega ´teie ei oska kogemata öelda Tallinna ´busside aegu. (0.5)V: ja ´milliseid busse. (.)H: ee (.) noh millal lähevad ´viimased ´kiirbussid täna ´Tallinna. (.)V: kell=´öheksa on viimane ekspress.H: kell=´öheksa. ja ´enne sedaV: pool öheksa. (.)H: pool öheksa ja öheksa.V: jah.H: aitäh?V: palun
233 (3)telefonikõne reisibüroosse
V: ´Saar=Reisid, tere?H: ee $ vabandust, mul katkes enne kõne ´ära. $ (.)V: jaa?H: ee ma tahtsin ´küsida: ´lõunamaa ´reiside kohta=et=kas=teil ´neid praegu on=näiteks.V: õõ praegu läheb meil kakskend=üks jaanuar läheb E´giptus. (0.5)H: ahah, (.) aga: (.) , mida=see=näiteks ´sisaldab endas.V: ee see ´sisaldab nüüd niimo di et, > kas on järsku võimalik saata teile lähemalt seda < (.) reisiprog´rammi. ütleme: kas ´iimeiliga või, (0.5) või=sis ´faksiga?H: tändab=ei=´ole , ma=mõtsin=ma küsin ´üldiselt et=siis=ma: pärast ´mõtlen kuhu=ma üldse ´lähen [et] erinevate ´reiside kohta.=V: [{mh}]V: =tändab ´kolmteist päeva=et, kakskend=üks=jaanuar ta ´läheb=ja ´teine=jaan- ee ´veebruar ta=tuleb ´tagasi .
------
(kutsung)) | KUTSUNG |V: Toivo=reisid | KUTSUNGI VASTUVÕTMINE | | ESITLUS |=tere | TERVITUS |H: .hh tere? | VASTUTERVITUS | (.) .hh ee ma ´sooviksin natuke informatsiooni selle ´Lapimaa reisi kohta. | SOOV |V: jaa? | JÄTKAJA |(1.0)H: [.hh et=õ] | MUU |V: [millise]=mis ´kuupäeva kohta. | VASTUSE TINGIMUSTE TÄPSUSTAMINE | | AVATUD KÜSIMUS |(0.5)H: ee milliseid teil ´pakkuda on. | VASTUSE TINGIMUSTE TÄPSUSTAMINE | | AVATUD KÜSIMUS |V: $ e:i ´pakkuda ei ole meil ´ammu enam midagi. $ | PARANDUSE LÄBIVIIMINE | | AVATUD VASTUS: INFO PUUDUMINE |
Krippendorff väidab, et on kolm erinevat usaldusväärsuse testi
koos suureneva usaldusväärsusega:
stabiilsus (stability),
jäljendatavus e. reprodutseeritavus (reproducibility),
täpsus (accuracy).
(Reliability of Coding Schemes –
www.cogsci.ed.ac.uk/~jeanc/maptask-coding-html)
κ – väärtuse arvutamiseks kasutatakse järgnevat valemit:
,)(1
)()(
EP
EPAP
P(A) - tegelike nõustumiste osakaal
(observed agreement)
P(E) - juhuse läbi võimalike nõustumiste osakaal (chance agreement)
κ üldistus arvutatakse järgnevalt:
E
O
D
D1
DO on tegelike mittenõustumiste osakaal
(observed disagreement)
DE on juhuse läbi võimalike mittenõustumiste osakaal (expected disagreement)
Land ja Koch’i biomeetria
κ<0 "kehv nõusolek”
0-0,2 "väike”
0,21-0,4 "õiglane”
0,41-0,6 "mõõdukas”
0,61-0,8 "märkimisväärne"
0,8-1 ideaali lähedane.
Akti piiride usaldusväärsus
infotelefoni dialoogides
91,0 4 ,149 kN
paarikaupa nõusoleku protsent 91 % (N=149)
reisibüroodialoogides
88,0 5 ,771 kN
paarikaupa nõusoleku protsent 88 % (N=771)
Aktide klassifitseerimise usaldusväärsus
kogu skeemi
5 ,1043 63,0 kN
infotelefoni dialoogides
reisibüroodialoogides
4 ,166 78,0 kN
5 ,866 59,0 kN
Infotelefoni
dialoogid
Reisibüroodialoogid
Määratud akte 166 886
Ühiselt määratud akte 30 61
Keskmine dialoogipikkus aktides
16,15 83,15
Sagedamini esinevad aktid
ESITLUS 16 10TERVITUS 10 6TÄNAN 10 6PALUN 10 6KUTSUNGI VASTUVÕTMINE 9 5DIREKTIIVI TÄITMINE: INFO ANDMINE 9 5VASTUTERVITUS 8 5KUTSUNG 7 4PARANDUSE LÄBIVIIMINE 7 4ÜLEKÜSIMINE 6 4
Infotelefoni aktide sagedused %
JÄTKAJA 80 9VASTUVÕTUTEADE 45 5AVATUD VASTUS: INFO ANDMINE 44 5INFOLISA: TÄPSUSTAMINE 33 4AVATUD KÜSIMUS 30 3NÕUSTUV JAH 24 3
Reisibüroo aktide sagedused %
Sagedamini esinevate aktide usaldusväärsused infotelefoni dialoogides
ESITLUS
TERVITUS
TÄNAN
PALUN
DIREKTIIVI TÄITMINE: INFO ANDMINE
KUTSUNGI VASTUVÕTMINE
VASTUTERVITUS
4 ,16 1 kN
4 ,11 9,0 kN
4 ,10 1 kN
4 ,10 1 kN
4 ,14 7,0 kN
4 ,11 81,0 kN
4 ,9 88,0 kN
Sagedamini esinevate aktide usaldusväärsused reisibüroodialoogides
JÄTKAJA
VASTUVÕTUTEADE
AVATUD VASTUS: INFO ANDMINE
INFOLISA: TÄPSUSTAMINE
AVATUD KÜSIMUS
NÕUSTUV JAH
5 ,102 78,0 kN
5 ,87 49,0 kN
5 ,119 36,0 kN
5 ,78 42,0 kN5 ,42 70,0 kN
5 ,36 66,0 kN
Aktide määramise täpsus
infotelefoni dialoogides
5 ,330 88,0 kN
reisibüroodialoogides
6 ,1677 72,0 kN
MAPTASK (inglise) = 0,83
VERBMOBIL (saksa) = 0,84
SWBD-DAMSL (USA) 0,8<<0,84
Võrdlus tuntumate skeemide κ - väärtustega
Küsimuste definitsioonid
SULETUD KAS-KÜSIMUS
S soovib teada, kas pS arvab, et H teab, kas p(Tulemusena oodatakse jah/ei vastust)
JUTUSTAV KAS-KÜSIMUS
S soovib teada, kas pS arvab, et H teab, kas pS soovib teada, millised X elemendid rahuldavad pS arvab, et H teab, millised X elemendid rahuldavad pS arvab, et eksisteerib X element, mis rahuldab p(Tulemusena ei oodata jah/ei vastust, vaid mingit konkreetset infot)
ALTERNATIIVKÜSIMUS
S soovib teada, kas X1 või X2 või … või Xn rahuldab pS arvab, et H teab, milline X1 või X2 või … või Xn rahuldab pS arvab, et kas X1 või X2 või … või Xn rahuldab p(Tulemusena valitakse üks etteantud valikute seast)
AVATUD KÜSIMUS
S soovib teada, millised X elemendid rahuldavad pS arvab, et H teab, millised X elemendid rahuldavad pS arvab, et eksisteerib X element, mis rahuldab p(Tulemusena saadakse täpsemat info küsitu kohta)
VASTUST PAKKUV KÜSIMUS
(a)S soovib teada, kas pS arvab, et H teab, kas pS arvab, et p
(b)S soovib teada, kas pS arvab, et H teab, kas pS arvab, et pS arvab, et H teab, et p(positiivse kontrolliga)
(c)S soovib teada, kas pS arvab, et H teab, kas pS arvab, et pS arvab, et H teab, et mitte-p(negatiivse kontrolliga)
TÄPSUSTAV KÜSIMUS
S teab, et pS soovib teada, millised X elemendid rahuldavad veel pS esitab SULETUD KAS-KÜSIMUSE või JUTUSTAVA KAS-KÜSIMUSE või ALTERNATIIVKÜSIMUSE või AVATUD KÜSIMUSE või VASTUST PAKKUVA KÜSIMUSE
Kasutatud kirjandus
Jean Carletta. Reliability of Coding Schemes - http://www.cogsci.ed.as.uk/~jeanc/maptask-coding-html
Harri Bunt. Dynamic Interpretation and Dialogue Theory. //The Structure of Multimodal Dialogue II. Ed. By M. M. Taylor, F. Neel and D. G. Bouwhuis. John Benjamins Publishing Company, Phiadelphia/Amsterdam, 1999, pp. 139-166
Laila Dybkjœr. MATE Deliverable D6.2. Final Report. 2000. - http://mate.nis.sdu.dk/about/deliverables
1) Rituaalid
Tervitamine
TERVITUS
VASTUTERVITUS
Hüvastijätmine
HÜVASTIJÄTT
VASTUHÜVASTIJÄTT
Soovimine
SOOVIMINE
TÄNAMINE
Kuidas elad
KUIDAS ELAD
VASTUS
Tänamine
TÄNAN
PALUN
Palumine
PALUN
TÄNAN
Vabandamine
VABANDUS
VABANDUSE VASTUVÕTMINE
Tutvustamine
ESITLUS
VASTUESITLUS
ÄRATUNDMINE
TUTVUSTUS
JAH
Kontakti loomine
-Kontakti algatus
MUL ON PROBLEEM
TÄHELEPANU PÜÜDMINE
KUTSUMINE
KONTAKTEERUMINE
-Vastuskontakt
POSITIIVNE KONTAKT
NEGATIIVNE KONTAKT
KONTAKTI EDASILÜKKAMINE
Kutsesignaal
KUTSUNG
KUTSUNGI VASTUVÕTMINE
Lõpetamine
LÕPUSIGNAAL
-Vastussignaal
LÕPETAMISE VASTUVÕTMINE
LÕPETAMISE TAGASILÜKKAMINE
Lõpu pakkumine
LÕPU PAKKUMISE SIGNAAL
-Vastuvõtu signaal
LÕPU PAKKUMISE VASTUVÕTMINE
LÕPU PAKKUMISE TAGASILÜKKAMINE
RITUAAL: MUU
2) Teema ümberstruktureerimine
Teema vahetamine
TEEMA VAHETUSE PAKKUMINE
Reaktsioon pakkumisele
VAHETUSE PAKKUMISE VASTUVÕTMINE
VAHETUSE PAKKUMISE TAGASILÜKKAMINE
ÜMBERSTRUKTUREERIMINE: MUU
3) Vooruvahetus
JÄTKAJA
Kontakti kontrollimine
KONTAKTI KONTROLL
KONTAKTI KINNITAMINE
VOORUVAHETUS: MUU
4) Parandamine
Paranduse algatus
ÜMBERSÕNASTAMINE
ÜLEKÜSIMINE
VASTUSE TINGIMUSTE TÄPSUSTAMINE
MITTEMÕISTMINE
PARANDUSE ALGATUS: MUU
PARANDUSE LÄBIVIIMINE
PARANDUSE HINDAMINE
PARANDAMINE: MUU
5) Direktiivid
Esiliikmed
KÄSK
PALVE
PALVE OODATA
ETTEPANEK
SOOV
ÜLESKUTSE
PAKKUMINE
LUBAMINE
KONTAKT
TEODIREKTIIV
DIREKTIIVI ESILIIGE: MUU
Järelliikmed
SOOVI ESITAMINE
DIREKTIIVI TÄITMINE
DIREKTIIVI TÄITMINE: INFO ANDMINE
DIREKTIIVI TÄITMINE: INFO PUUDUMINE
DIREKTIIVIST KEELDUMINE
DIREKTIIVI VASTUSE EDASILÜKKAMINE
DIREKTIIVI PIIRATUD TÄITMINE
PIIRATUD NÕUSTUMINE DIREKTIIVIGA
DIREKTIIVI JÄRELLIIGE: MUU
6) Küsimused
Esiliikmed
SULETUD KAS-KÜSIMUS
JUTUSTAV KAS-KÜSIMUS
ALTERNATIIVKÜSIMUS
AVATUD KÜSIMUS
VASTUST PAKKUV KÜSIMUS
TÄPSUSTAV KÜSIMUS
KÜSIMUSED ESILIIGE: MUU
Järelliikmed
NÕUSTUV JAH
MITTENÕUSTUV EI
NÕUSTUV EI
MUU KAS-VASTUS
ALTERNATIIVVASTUS: ÜKS
ALTERNATIIVVASTUS: MÕLEMAD
ALTERNATIIVVASTUS: KOLMAS VALIK
ALTERNATIIVVASTUS: MUU
ALTERNATIIVVASTUS: EITAV
AVATUD VASTUS: INFO ANDMINE
AVATUD VASTUS: INFO PUUDUMINE
VASTUSE EDASILÜKKAMINE
VASTUSEST KEELDUMINE
VASTUS ALTERNATIIVINA
KAHTLEV VASTUS
KÜSIMUSED JÄRELLIIGE: MUU
7) Seisukohavõtud
Esiliikmed
VÄIDE
ARVAMUS
HINNANG
SEISUKOHAVÕTT
AVALDUS
SÜÜDISTUS
ENESESÜÜDISTUS
VÄLJAVABANDAMINE
OLETUS
SEISUKOHAVÕTU ESILIIGE: MUU
Järelliikmed
OMAKSVÕTMINE
SAMAMEELSUSE OSUTAMINE
MITTENÕUSTUMINE
EMOTSIONAALNE NÕUSTUMINE
RESERVATSIOONIGA NÕUSTUMINE
RESERVATSIOONIGA ÄRAÜTLEMINE
DISTANTSEERUMINE
SEISUKOHAVÕTUST KEELDUMINE
SEISUKOHAVÕTU JÄRELLIIGE: MUU
8) Muud aktid
EELTEADE
JUTUSTAMINE
VASTUVÕTUTEADE
INFO OSUTAMINE UUEKS
INFO SUHTES SEISUKOHA MITTEVÕTMINE
INFO ANDMINE KÜSIMATA
MITTEVERBAALNE AKT
LUBADUS
INFOLISA: SELETAMINE
INFOLISA: PÕHJENDAMINE
INFOLISA: TÄPSUSTAMINE
INFOLISA: KIRJELDAMINE
INFOLISA: JÄRELDAMINE
INFOLISA: KOKKUVÕTMINE
INFOLISA: ÕIGUSTAMINE
INFOLISA: ÜLERÕHUTAMINE
INFOLISA: PEHMENDAMINE
JUTU PIIRIDE OSUTAMINE
SUMMEERIMISKORDUSED
ENESEPARANDUS
RETOORILINE KÜSIMUS
RETOORILINE VASTUS
REFERAAT
MEMOREERIMISKORDUS
PERFORMATIIV
MUU
MUUD: MUU
PRAAK