korpusznyelvészet ea

8/4/2019 Korpusznyelvszet ea.

1/68

KORPUSZNYELVSZET

Sass [email protected]

A nyelvtechnolgia eszkzei s nyersanyagai

5. eloads2007. mrcius 21.
http://find/http://goback/


2/68

1

MI A KORPUSZNYELVSZET?

2 MI A KORPUSZ?

3

TPUSOK, PLDK

4 KORPUSZOK PTSE

5

STATISZTIKA

6 ALKALMAZS


3/68

7 MAGYAR NEMZETI SZVEGTR

8 E-SZKINCS

9 HUNGLISH

10 MAZSOLA

11 TJKOZDS


4/68

Mi a korpusznyelvszet? Mi a korpusz? Tpusok, pldk Korpuszok ptse Statisztika Alkalmazs

1

MI A KORPUSZNYELVSZET?

2 MI A KORPUSZ?

3

TPUSOK, PLDK

4 KORPUSZOK PTSE

5

STATISZTIKA

6 ALKALMAZS


5/68


SIMONYI ZSIGMOND

"Simonyi j grammatikai mdszert akar behozni, knyveinductive halad, azaz a pldkbl kiindulva tantja a szablyt,nem pedig dogmatice. A grammatict teht valami olvasmny

alapjn akarja eloadni, gy hogy a szablyokat a tanrtantvnyai kzremukdsvel vonhatja le sszerukvetkeztetsek tjn. Ilyenkpp teht ezen mdszer vget veta lelketlen magolsnak, s azt szfejleszto inductival ptolja.Eszerint a szablyok is mlyebben vsodnek be a gyermek

emlkezetbe, mert amit magunk tallunk, azt jobban tudjuk,mint amit ms mond vagy ms tanultat velnk."(Riedl Frigyes 1882)

? ? S


6/68


A KT HAGYOMNY

1957 . . .

Firth: "You shall know a word by the company it keeps"(implicit bennevan a valsznusg!) adatok valsznusg (nincs 100%) performancia,

nyelvhasznlatChomsky: "Nincs rtelme a valsznusgnek";"Gyakorisggal nem lehet jellemezni a grammatikalitst, ti.nyelvtanilag helyes s helytelen mondatoknak is lehet 0 avalsznusge." introspekci + konstrult pldamondatok I/N dntsek(grammatikalits) kompetencia, nyelvtuds

Chomsky cfolata:empirikus gyakorisg = valsznusg! (Kornai 2006)

Mi k l t? Mi k ? T k ldk K k t St ti tik Alk l


7/68


TRTNET

korpusznyelvszet elozmnyei:XIX. szzadi sztrksztok

szmtgpek kapacitsnak nvekedse a korpusznyelvszet 80-as vekben fellendl

a generatv felfogs alternatvjv vlikkeresheto szvegkorpuszok annotci web

a korpusznyelvszet atyja: John SinclairCOBUILD az elso korpuszalap sztr (1987)

kt magyar vlemny 2006-blKornai Andrs: "Manapsg mr a full-introspektvnyelvszre nznk furn."Komlsy Andrs: "A korpusznl jobban semmi nemvezetheti flre az embert."

Mi a korpusznyelvszet? Mi a korpusz? Tpusok pldk Korpuszok ptse Statisztika Alkalmazs


8/68


DEFINCI

A korpusznyelvszet a nyelv tanulmnyozsakorpuszalap kutatsban. A generatv hagyomnnyal

ellenttben ragaszkodik ahhoz a mdszerhez, hogy valdi,lo nyelvi adatokat szisztematikus vizsgl.

korpusznyelvszet =empirikus nyelvszet,a nyelv statisztikai megkzeltse



9/68


TEUBERT VLTOZATA

Wolfgang Teubert: My version of corpus linguisticsInternational Journal of Corpus Linguistics 10:1 (2005), 113.

Today, the corpus is considered the default resource . . .

The focus of corpus linguistics is on meaning. Meaning is in the discourse.

The (single) word is not privileged in terms of meaning. The corpus linguist positsendocentric entities, formally held together by some local grammar, and calls theseentities (complex) lexical items or, alternatively, units of meaning.

Frequency is irrelevant when our goal is to interpret text segments as uniqueoccurrences.

Meaning is paraphrase. The meaning of the unit lemon is everything that has been said

about lemons. We find paraphrases for whatever people take to be a unit of meaning.The linguist is specialist in investigating texts, not in analysing the real world. Are therereally tigers out there? Do angels really exist? For the corpus linguist, this is not thequestion. What is important to know is that tigers normally come with stripes andangels normally come with wings.



10/68


Corpus-based S corpus-driven

corpus-basedmdszerA korpusz segdeszkz, ami empirikus adataivaltmogatja az intucit, mrhetov teszi a nyelvijelensgeket, meglvo elmleteket bizonyt/cfol.

corpus-driven mdszerA korpusz maga szolgltatja az elmletet, a nyelvszminden feltevs s elvrs nlkl fordul az adatokhoz.Minden kvetkeztetst kizrlag korpuszmegfigyelsekbol

von le.serendipity principle

jelentos dolog vletlen felfedezse, tipikusan mikor valamiegsz msra figyelnk



11/68


JELENTOS KPVISEL OK

John Rupert Firth Noam Chomsky



12/68


JELENTOS KPVISEL OK

John McHardy Sinclair (19332007)

Language cannot be invented; it can only be captured.



13/68

p y p p , p p p

1

MI A KORPUSZNYELVSZET

?

2 MI A KORPUSZ?

3

TPUSOK

,PLDK

4 KORPUSZOK PTSE

5 STATISZTIKA

6 ALKALMAZS



14/68

p y p p p p p

DEFINCI

Nagy mennyisgu sszegyujttt nyelvi adat, szveg.(Szmtgpen trolt) rott vagy beszlt nyelvi anyag, aminnyelvszeti elemzst vgeznek. (Nagy Viktor)McEnery & Wilson:

reprezentatvvges mret, fix referencia nem vltozhatgppel olvashat logikai annotci, elektronikus forma

hozzteszem: annotlt(nyelvszeti szempontblhasznos)

alapeset: az rott nyelv text-korpusza

cl: a tnyleges nyelvhasznlat feltrkpezse,bemutatsa



15/68

MRET

nagy korpusz: 109 1012 token (Kornai 2006)nem nagyon van ilyen

a nagy korpusz clja a ritka (f=1040) szavak jellemzse,nem a gyakoriak valsznusgnek pontos becslse.

a mai korpuszok mr elg nagyok: nyelvelsajtts sornkevesebb mondattal tallkozunk!



16/68

KT NAGY TMAKR

A korpusznyelvszet korpuszok ptsvel foglalkozik, illetve anyelvet korpuszokon keresztl vizsglja.

A korpusznyelvszetbe ez a kt nagy tmakr tartozik:

korpusz ptse

korpusz alkalmazsa



17/68

1 MI A KORPUSZNYELVSZET?

2 MI A KORPUSZ?

3 TPUSOK, PLDK

4 KORPUSZOK PTSE

5 STATISZTIKA

6 ALKALMAZS



18/68

KORPUSZOK TPUSAI

3 csoportostsi szempont

a nyelvhasznlat mely terletrol mertltalnos specilisbeszlt rotttrtneti, gyermeknyelvi, tanulmufaj- vagy tmaspecikustbbnyelvu = prhuzamos illesztett

mret

annotci mlysge



19/68

IDEGENNYELV U KORPUSZOK

Brown corpus - a legelso (Francis & Kucera 1961)500 2000 = 1 milli sz, 15 tmakr, POS-taggeltPenn Treebank az elso szintaktikailag elemzett (3 millisz)British National Corpus (BNC) (1995), POS-taggelt (100

milli sz) 10%-a beszlt nyelvi!nmet: COSMAS, francia: PAROLEnemzeti reprezentatv, kortrs: szlovk, cseh, horvt,magyar . . .dinamikus norvg sajt: 450 milli sz napi +200000 szspecilis korpuszok: CHILDES - gyereknyelvi, ICLE -tanulitematikus szerepre taggelt: PropBankleghresebb prhuzamos: Hansard Corpus (francia-angol)

(1980-as vek)



20/68

MAGYAR KORPUSZOK

Orwell 1984 (1998) elso angol-magyar prhuzamos

Magyar trtneti korpusz (199?) 23 milli sz

Magyar Nemzeti Szvegtr (2002)

Magyar Webkorpusz (2003) 590 milli sz, taggeletlenSzeged Korpusz 2.0 (2004) kiegyenslyozott,morfolgiailag s szintaktikailag elemzett

Hunglish Korpusz (2005) angol-magyar prhuzamos



21/68

MAGYAR KORPUSZOK

Orwell 1984 (1998) elso angol-magyar prhuzamos

Magyar trtneti korpusz (199?) 23 milli sz

Magyar Nemzeti Szvegtr (2002)

Magyar Webkorpusz (2003) 590 milli sz, taggeletlenSzeged Korpusz 2.0 (2004) kiegyenslyozott,morfolgiailag s szintaktikailag elemzett

Hunglish Korpusz (2005) angol-magyar prhuzamos

Nagyon sok korpusz rheto el az interneten.Gyujtemnyek: pl.: http://www.bmanuel.org pl.: http://www.sfb441.uni-tuebingen.de/c1/corpora-engl.html



22/68


2 MI A KORPUSZ?

3 TPUSOK, PLDK

4 KORPUSZOK PTSE

5 STATISZTIKA

6 ALKALMAZS



23/68

REPREZENTATIVITS

kt vgletkiegyenslyozott: klnbzo tpusok arnyosanopportunista: vegynk bele mindent, ami elrheto

Lehetsges egyltaln a kiegyenslyozottsg? Mi pldulaz rott s a beszlt nyelv arnya?



24/68

A KORPUSZELEMZS SZINTJEI

egyszeru szveg

mondatrabonts, tokenizls

lemmatizls, szfaji taggels, egyrtelm usts(POS-tagging)

nvkifejezsek (NER)

szintaktikai elemzs treebank

szemantikai feldolgozs: jelents-egyrtelmusts,dialgus-elemzs, koreferencia-kezels



25/68

ANNOTCI

cmkzs cdulz nyelvszet3 tpus: bibliogrfiai, szvegszerkezeti, nyelvszeti

a deskriptvvagy logikaimarkup a j: azt mondja meg,hogy miegy elem, nem azt, hogy mit kell csinlni vele

"The single most important property of any database forpurposes of computer-assisted research is that similarinstances be encoded in predictably similar ways."(Sampson 2001)

XML megfelel ennek: a kvetelmny ellenorizheto!tartalom s megjelents elvlasztsaidotll, hatkony trols, megosztsknnyebb karbantarthatsg, fejleszthetosgautomatizlhatsg



26/68

ANNOTCI

standoffannotci

az annotci s a szveg sztvlasztsa

mindig j, ha megvan az eredeti szveg

tbbflekpp egymstl fggetlenl lehet annotlni a

szveget



27/68

KONKORDANCIA

korpusz-kezelo szoksos mukdse:keres visszaad szmol rendez konkordancia

a konkordancia szoksos formja:

KWIC (keyword in context) MNSZindexls korpusz-pozci alap visszakeresskorpusz-kezelo eszkzk

Webconc Google flttWordSmith, ParaConc . . .CWB CQPManatee/BonitoXaira (BNC)NooJ nyelvelemzo rendszer



28/68

WEB AS CORPUS (WAC)

j dolog 2001-es WAC workshop

a valaha volt legnagyobb korpusznak tekintheto

nincs nyelvi tuds keresonk, megolds lehet:

Google: begyujts on-the-fly korpusz kszts vizsglatWebBootCat instant korpuszhttp://corpora.fi.muni.cz/bootcat

teljeskru, nll, nyelvi tuds internetes keresoltrehozsanyelvi opertorokkal:frzisra, tagmondatra, sztore keresssel



29/68

WEB AS CORPUS (WAC)

egyszeru tletek - amik a web nagysga miatt mukdneksszetett sz fordtsa: egyenknt, aztngyakorisgvizsglat (Grefenstette 1999)

prhuzamos szvegek keresse: szoksos link, sHTML-struktra sszevets (Resnik 1999)

gond: heterogn, nem kiegyenslyozott, vltozik

jv okp: gpi fordt, ami automatikusan pt sztrat a

webrol, s gy tlti ki a sajt sztrnak hinyait, fordtselott.



30/68


2 MI A KORPUSZ?

3 TPUSOK, PLDK

4 KORPUSZOK PTSE

5 STATISZTIKA

6 ALKALMAZS



31/68

SDP SPARSE DATA PROBLEM

gpi tanuls: mindent lehet tanulni, ha elg nagy a korpuszSDP: nincs tallat, vagy nagyon kevs tallat van5-nl kevesebbet ltalban rtkelhetetlennek tartjuk

a statisztikai gpi fordts ltalban az SDP miatt nem

megyhapax legomena: ami 1 fordul eloSinclair: egy sz jelentsnek lershoz 150 plda kell

plda: rekurzivits center embedding maximum 2

(Karlsson 2006) vges korpusz esetn minden jelensgre lesz hatr . . .

korpusz-alap mdszerrel nem mondhatunk olyat, hogymindig, vagy soha



32/68

GYAKORISG

Hnyszor fordul elo egy adott sz, nyelvtani szerkezet?

mit szmolunk: token s typemekkora a korpusz vs. hnyklnbzo sz van benne klnbzo: szalak szerint /szto szerint stb.

relatv gyakorisg = abszolt gyakorisg / mintamret

Zipf trvnye: c = fr ra

n-gramgyakorisgoknagy nesetn az SDP problmba tkznk



33/68

KOLLOKCIKERESS: MI S SALIENCE

Mely szavakkal milyen gyakran fordul elo egy adott sz?

kollokcik keressre klasszikus mrtk:mutual information

MI(x, y) = log2Nf(x, y)

f(x) f(y)sok, ha a kt elem a vletlenszerunl gyakrabban vannakegytt kollokci

A MI a ritka elemeket rszesti elonyben, ezrt korrigljk

a vizsglt elem (y) gyakorisgnak a logaritmusval:salience(Kilgarriff 2001)

S(x, y) = log2f(y) MI(x, y)

Z-score, log likelihood, minimum sensitivity . . .



34/68

KOLLOKCIKERESS: MI S SALIENCE

Mire j?

tbbszavas kifejezsek a sztrrs szmra

sz tbb jelentst kitallni (igazat, tippet, hangot, otthontad)

hasonl szavak klnbsgt kitallni (emelkedik / no)



35/68


2 MI A KORPUSZ?

3 TPUSOK, PLDK

4 KORPUSZOK PTSE

5 STATISZTIKA

6 ALKALMAZS



36/68

ALKALMAZS

A kt alapveto megkzeltsnyelvszeti vizsglatok alapja

tanul- s teszteloanyag NLP rendszerekhez

Mely terleteken hasznljk

ler s kontrasztv nyelvszet

lexikogrfia (volt)

terminolgia (volt)

fordtstmogats ( kln ea.)

gpi fordts ( kln ea.)

nyelvoktats (lesz most)



37/68

PLDK KONKRT ALKALMAZSRA

ha a prhuzamos korpuszban a prhuzamos helyen nemtalljuk meg egy tbbszavaskifejezs-jellt egy szavnak asz szerinti fordtst se, akkor gyans, hogy

nem-kompozicionlis, s gy valban TSZK (Kis et al.2004)

ismeretlen sz paradigmja megllapthat a korpuszbanelofordul alakok eloszlsa s a paradigmk alapjn; avgzodseloszlsbl az is kiszurheto, ha egy ragozott

alaknak tuno sz valjban egy msik (ismeretlen) szalapalakja (Forsberg et al. 2006)



38/68

PLDAMONDATOK KORPUSZBL

lo, valdi nyelvhasznlat nyelvi pldk megfelelo forrsa

konstrult pldk korpuszpldk

korpuszalap pldk Longman, VALBU

a gyakori korpuszpldk a tipikusnyelvhasznlatot

mutatjk

Magyar Nemzeti Szvegtr E-szkincs Hunglish Mazsola Tjkozds


39/68


8 E-SZKINCS

9 HUNGLISH

10 MAZSOLA

11 TJKOZDS


M N S


40/68

MAGYAR NEMZETI SZVEGTR

MTA Nyelvtudomnyi Intzet KorpusznyelvszetiOsztlyn kszlt

187,6 milli sz

stlusrtegek: sajt, szpirodalom, tudomnyos, hivatalos,

szemlyesregionlis vltozatok: magyarorszgi, szlovkiai,krptlajai, erdlyi, vajdasgi

reprezentatv

szfajilag elemzett (HuMor)egyrtelmustett (statisztikai + szablyalap)

http://corpus.nytud.hu/mnsz


AZ MNSZ FELLETE


41/68

AZ MNSZ FELLETE


MNSZ b


42/68

MNSZ ember


MNSZ ember


43/68

MNSZ ember


MNSZ fut utn


44/68

MNSZ fut utn


MNSZ fut utn


45/68

MNSZ fut utn


MNSZ pasi STLUSRTEG SZERINT


46/68





47/68




48/68

7


8 E-SZKINCS

9 HUNGLISH

10 MAZSOLA

11 TJKOZDS


E-SZKINCS


49/68

E SZKINCS

Kortrs szpirodalmi nyelvi adatbzis s hozz kapcsoldelektronikus tananyag a Sulinet rszre. (Sass 2006)

kvantitatv nyelvi vizsglatok, modern nyelvtechnolgiai

eszkztr bemutatsa3 rsz: korpusz + alaktani tblzatok + gyakorisgi listkgyakorisgi listk:

szalak / szto / szfaj szerintadott ktet / szerzoi letmu / teljes korpusz tekintetben

http://corpus.nytud.hu/e-szokincs/gyakorisag


E-SZKINCS A GYAKORISGI LISTK FELLETE


50/68

E SZKINCS A GYAKORISGI LISTK FELLETE


E-SZKINCS KVANTITATV STILISZTIKAI VIZSGLAT


51/68

E SZKINCS KVANTITATV STILISZTIKAI VIZSGLAT

Tamsi ron s Klnoky Lszl szavaiTamsi ronnl: a ktoszavak (mint, ha, vagystb.) sokkalritkbbak

leggyakoribb igk: van, mond van, tudKlnoky Lszlnl: nagyobb szkincs

Nemes Nagy gnes kt muvnek leggyakoribb foneveiSz s sztlansg: vers, sz, klt o, kp, kltszet

Az aranyecset: kz, szem, ecset, ember, nap



52/68

7


8 E-SZKINCS

9 HUNGLISH

10 MAZSOLA

11 TJKOZDS


HUNGLISH


53/68

j, nagymret u, illesztett magyar-angol prhuzamos

korpusz. (BME MOKK, MTA NyTI)54,2 milli sz = 2 milli mondatforrsok szvegtpusok

szpirodalomEU joganyagok

szoftverdokumentcifilmfeliratok beszlt nyelvktnyelvu magazinokpnzgyi jelentsek

http://szotar.mokk.bme.hu/hunglish/search/corpus

alkalmazhat nyelvoktats tmogatsra (Sass 2006)

A Hunglish korpusz egy szkapcsolatokat, kollokcikattartalmaz sztr, valdi nyelvhasznlatbl vett pldkkal.


HUNGLISH KORPUSZALAP NYELVTANTS


54/68

szkincs + nyelvtanszkincsfejleszts sztrknt hasznlhatnyelvtani struktrk vizsglata, megrtse

nll felfedezs motivci

Adott nyelvi elemnek tbbfle megfeleloje lehet, szmtalan

mdon lehet jl fordtani.kollokcikatnyelvtani szablyokata nyelveket (mindkett ot!)

valdipldk valdi szvegkrnyezettel szkrnyezeti vizsglatok

kiprblt mdszerkezdoknek s haladknakrai s nll munkra


HUNGLISH "first of all"


55/68

fi f


HUNGLISH "mr"


56/68


HUNGLISH "nem most jttem le a . . . "


57/68



58/68

7

MAGYAR

NEMZETI

SZVEGTR

8 E-SZKINCS

9 HUNGLISH

10 MAZSOLA

11 TJKOZDS


MAZSOLA


59/68

igei bovtmnyszerkezet vizsglata corpus-driven mdon(Sass 2007)feldolgozsi lpsek:

MNSZtagmondatrabontsrszleges szintaktikai elemzsfunkcionlis szerkezeta mondat modellje: ige + NP(szto+eset)listaopcionalizlsstatisztika salience

Mit tudunk vizsglni?Adott ige illetve igei keret melletti adott pozciban melyszavak fordulnak elo legjellemzobben.


MAZSOLA


60/68

Mire j?

lexikogrfiai munkhoznagymretu korpuszok sszegezni kell az informcit

(Word Sketch)vals nyelvi adatok objektv, idiolektustl fggetlenmunkaj jelents, j hasznlat felfedezse teljesebb sztr

gpi fordt lexikonja

magyar WordNetterv: szemantikai igeosztlyozshoz


A MAZSOLA FELLET HASZNLATA


61/68

http://corpus.nytud.hu/mazsola

Kzztett korpuszok:

3-10 szavas mondatok (8mi sz)

Magyar Nemzet (12mi sz)Index frum (18mi sz)



62/68


MAZSOLA STLUSRTEGEK SSZEHASONLTSA


63/68

PLDAad -t kereta Magyar Nemzetben s az Index frumban

eltrsek


MAZSOLA IGK SZEMANTIKAI OSZTLYOZSA


64/68

no nvekedik

alany: szm arny r alany: szm arny rdeklods-bAn: mrtk v -bAn: mrtk v-rA:forint szzalk dupla -rA:v-vAl: szzalk forint -vAl: szzalk forint

emelkedik drgul

alany: szm r rfolyam alany: rszvny TVK kenyr-bAn: mrtk v -bAn: mrtk forgalom-rA:forint jogero szzalk -rA:forint

-vAl: szzalk forint -vAl: szzalk forint

nyjt, megad, knlreagl, vlaszol, felel



65/68


8 E-SZKINCS

9 HUNGLISH

10 MAZSOLA

11 TJKOZDS


TJKOZDS


66/68

intzmnyek:

Birmingham COBUILDLinguistic Data Consortium (LDC)European Language Resources Association (ELRA)

folyiratok:

International Journal of Corpus Linguistics (1996-)Corpus Linguistics and Linguistic Theory (2005-)Corpora (2006-)magyar: nincs

konferencik:

EMNLP 1996 ta venterendezi: SIGDAT (SIG on linguistic data and corpus-basedapproaches to NLP)LRECmagyar: MSZNY nem specilisan korpusz!


TJKOZDS


67/68

knyvek:McEnery & Wilson: Corpus Linguistics (1996)Kennedy: An Introduction to Corpus Linguistics (1998)Tognini-Bonelli: Corpus Linguistics at Work (2001)Oakes: Statistics for Corpus Linguistics (1998)

Brew & Moens: Data-Intensive Linguistics (2004?)magyarul: Szirmai: Bevezets a korpusznyelvszetbe(2005)

cikkek: minden NLP cikkben van korpusz :)


TJKOZDS


68/68

knyvek:McEnery & Wilson: Corpus Linguistics (1996)Kennedy: An Introduction to Corpus Linguistics (1998)Tognini-Bonelli: Corpus Linguistics at Work (2001)Oakes: Statistics for Corpus Linguistics (1998)

Brew & Moens: Data-Intensive Linguistics (2004?)magyarul: Szirmai: Bevezets a korpusznyelvszetbe(2005)

cikkek: minden NLP cikkben van korpusz :)

kedvencem . . .Wolfgang Teubert: My version of corpus linguisticsInternational Journal of Corpus Linguistics 10:1 (2005), 1-13.

korpusznyelvészet ea

Documents