07-09-07 | 1/16

›Alfa-informatica / Jori Mur

Question Answering

Off-line antwoorden extraheren voor het beantwoorden van vragen

07-09-07 | 2/16

Overzicht› Joost, ons QA-systeem

› Mijn onderzoek• Met patronen antwoorden extraheren• Problemen• Oplossingen

› Onderzoek van Lonneke

07-09-07 | 3/16

Joost

07-09-07 | 4/16

Resultaten van Joost in Clef› 2005• Beste van 2 Nederlandse deelnemers

• Factoids 54.4% correct• Definition 50.0% correct• Temporally restricted 26.9% correct

› 2006• Beste van 3 Nederlandse deelnemers

• Factoids 27.4% correct• Definition 45.0% correct

07-09-07 | 5/16

Qatar: Off-line antwoorden extraheren met Patronen› /[Zelfstnmw] [Naam]/

... premier Balkenende ...› /[Naam], [Zelfstnmw]/

... Balkenende, premier ...› /[Naam] [WW] als [Zelfstnmw]/

... Balkende heeft als premier ...› /[Naam] [zijn] [Lidwrd] [Zelfstnmw]/

... Balkenende is de premier ...› ...

07-09-07 | 6/16

Hoge precisie, lage recall

› Sang, Bouma en de Rijke, Developing Offline Strategies for Answering Medical Questions, 2005

› Bernardi, Jijkoun, Mishne en de Rijke.Selectively Using Linguistic Resources Throughout the Question Answering Pipeline,2003

07-09-07 | 7/16

4 Problemen

› Feit volgt niet een simpel patroon

› Niet altijd een binary relatie

› Antwoord staat niet in één zin

› Niet makkelijk uit te breiden

07-09-07 | 8/16

1. Feit volgt niet een simpel patroon› /[Naam] [WW] als [Zelfstnmw]/

› ... George Bush heeft als president van Amerika...

› ... George Bush heeft vandaag als 43e president van Amerika...

› ... George Bush heeft vandaag als president van Amerika...

› ... George Bush, gisteren 61 geworden, heeft vandaag als 43e president van Amerika...

07-09-07 | 9/16

Oplossing

... George Bush, gisteren 61 geworden, heeft vandaag als 43e president van Amerika...

... George Bush heeft als president van Amerika...

PredmOndw ObjObj Mod

Ondw Predm Obj ObjMod

› <George Bush, Ondw, heeft>

› <heeft, Predm, als>

› <als, Obj, president>

› <president, Mod, van>

› <van, Obj, Amerika>

07-09-07 | 10/16

2. Niet altijd binary relaties› Wanneer stierf Jimi Hendrix?

Jimi Hendrix – 1942

› Wie is de president van Amerika?Bush – president – Amerika

› Wie was de president van Amerika in 1944?Roosevelt – president – Amerika – 1944

› Wie volgde president Roosevelt op als president van Amerika in de tweede wereldoorlog?Truman – president – Amerika – WO II Truman – opvolger – Roosevelt

07-09-07 | 11/16

Oplossing d-score : hoeveel komen de dependency

structuren van de vraag en antwoordzin overeen?

Q: Wie volgde president Roosevelt op als president van Amerika in de tweede wereldoorlog?A: Aan het eind van de tweede wereldoorlog volgde Harry S. Truman president Roosevelt op als president van Amerika

07-09-07 | 12/16

3. Antwoord niet in één zin

› Wie is de premier van Nederland sinds 2002?

› Jan Peter Balkenende (Biezelinge, 7 mei 1956) is een Nederlands CDA-politicus. Op 22 juli 2002 werd hij voor het eerst premier van Nederland.

07-09-07 | 13/16

Oplossing

Coreference resolutieJan Peter Balkenende is premier van Nederland. Dat werd hij in 2002. De CDA-politicus werd in het begin vaak vergeleken met Harry Potter.

Jan Peter Balkenende – premier - 2002

07-09-07 | 14/16

4. Niet makkelijk uit te breidenOplossing: leren

1. Een paar seeds: Mozart 1756, George Bush 19462. Zoektermen in zoekmachine3. Neem zinnen waarin beide termen voorkomen4. Deel ze op in substrings en neem de langste en meest frequente waarin beide termen voorkomen5. Verander substrings in patterns

07-09-07 | 15/16

Samenvatting› Joost

› QatarHoge precisie, maar lage recall• Grammaticale patronen• Score voor grammaticale overlap• Referenties oplossen• Leren van patronen

07-09-07 | 16/16

Bedankt voor uw aandacht