Stemming und Lemmatisierung

Orthographische und morphologische Normalisierung von Index/Query

Termen

Motivation• Simultane Suche nach allen morphologischen oder

orthographischen Varianten

• Verbesserung des Recalls ohne Verschlechterung der Precision

• „einfache Lösung“: Benutzer muss durch Verwendung von Trunkierungsoperatoren (*) oder Disjunktion über alle Formen selbst dafür Sorge tragen

• Problem bei Trunkierung: es werden ungewollte Fortsetzungen erzeugt: auto* findet Auto und Autos, aber auch automatisch, Autor oder Automorphismus usw.

Beispiele (Zahlen von AltaVista)

• „neuer Markt“ : 102.117

• „neue Markt“ : 15.058

• „neuen Markt“ : 90.716

• „neuem Markt“: 404

• Disjunktion: 176.749

• „grosser Busen“ : 152

• „großer Busen“ : 180

• „große Busen“ : 175

• „grosse Busen“ : 126

• „grossen Busen“ : 277

• „großen Busen“ : 478

• „großem Busen“ : 77

• „grossem Busen“ : 110

• Disjunktion: : 2.869

Vorgehen• Führe alle morphologischen oder orthographischen

Varianten auf eine kanonische Form zurück

• Stemming: kanonische Form ist ein (künstlicher) Wortstamm, der durch regelbasiertes Abschneiden von Suffixen entsteht, ohne Konsultation eines Wörterbuchs. z.B. {Museum, Museen}-> muse

• Lemmatisierung: kanonische Form ist die Grundform, die in einem (elektronischen) Wörterbuch nachgeschlagen wird. Z.B {Museum, Museen} -> Museum

Stopwörter• Stopwörter sind Wörter, die in einer

Dokumentenkollektion so häufig vorkommen, dass es keinen Sinn macht nach ihnen zu suchen bzw. sie zu indexieren (z.B. der, die, das, ist, ...)

• Erstellung einer Stopwortliste entweder auf der Basis einer Frequenzliste, oder nach linguistischen Kriterien: Funktionswörter

• Vorteil der Eliminierung von Stopwörtern: Index wird wesentlich kleiner

• Nachteil: keine Phrasensuche möglich: „to be or not to be“

Stemming Algorithmen• Bekanntester und verbreitetster: Porter Stemmer

• Entwickelt fürs Englische

• Idee: in verschiedenen Durchgängen werden jeweils unterschiedliche Suffixe entfernt (soll Abfolge von Flexions- und Derivationssuffixen widerspiegeln)

• Entfernung von Suffixen kann durch Bedingungen an den verbleibenden Stamm eingeschränkt werden

Porter Stemmer

• Jedes Wort hat die Form C?(VC){m}V?, C ist beliebige Folge von Konsonanten, V beliebige Folge von Vokalen, 0<=m

• Jede Regel hat die Form: (condition) S1 -> S2

• Mögliche Conditions: m > n, *S (Stamm endet mit s), *v* (Stamm enthält Vokal), *d (Stamm endet mit Doppelkonsonant), *o (Stamm endet mit cvc)

• S1 ist ein Suffix des Worts, S2 kann entweder leer sein oder ein neues Suffix sein

Porter AlgorithmusStep 1a

SSES -> SS caresses -> caress

IES -> I ponies -> poni

ties -> ti

SS -> SS caress -> caress

S -> cats -> cat

Step 1b

(m>0) EED -> EE feed -> feed

agreed -> agree

(*v*) ED -> plastered -> plaster

bled -> bled

(*v*) ING -> motoring -> motor

sing -> sing

Porter AlgorithmusIf the second or third of the rules in Step 1b is successful, the following is done:

AT -> ATE conflat(ed) -> conflate

BL -> BLE troubl(ed) -> trouble

IZ -> IZE siz(ed) -> size

(*d and not (*L or *S or *Z))

-> single letter

hopp(ing) -> hop

fall(ing) -> fall

hiss(ing) -> hiss

fizz(ed) -> fizz

(m=1 and *o) -> E fail(ing) -> fail

fil(ing) -> file

Step 1c

(*v*) Y -> I happy -> happi

sky -> sky

Porter AlgorithmusStep 2 (m>0) ATIONAL -> ATE relational -> relate (m>0) TIONAL -> TION conditional -> condition rational -> rational (m>0) ENCI -> ENCE valenci -> valence (m>0) ANCI -> ANCE hesitanci -> hesitance (m>0) IZER -> IZE digitizer -> digitize (m>0) ABLI -> ABLE conformabli -> conformable (m>0) ALLI -> AL radicalli -> radical (m>0) ENTLI -> ENT differentli -> different (m>0) ELI -> E vileli - > vile (m>0) OUSLI -> OUS analogousli -> analogous (m>0) IZATION -> IZE vietnamization -> vietnamize (m>0) ATION -> ATE predication -> predicate (m>0) ATOR -> ATE operator -> operate (m>0) ALISM -> AL feudalism -> feudal (m>0) IVENESS -> IVE decisiveness -> decisive (m>0) FULNESS -> FUL hopefulness -> hopeful (m>0) OUSNESS -> OUS callousness -> callous (m>0) ALITI -> AL formaliti -> formal (m>0) IVITI -> IVE sensitiviti -> sensitive (m>0) BILITI -> BLE sensibiliti -> sensible

Porter AlgorithmusStep 3 (m>0) ICATE -> IC triplicate -> triplic (m>0) ATIVE -> formative -> form (m>0) ALIZE -> AL formalize -> formal (m>0) ICITI -> IC electriciti -> electric (m>0) ICAL -> IC electrical -> electric (m>0) FUL -> hopeful -> hope (m>0) NESS -> goodness -> goodStep 4 (m>1) AL -> revival -> reviv (m>1) ANCE -> allowance -> allow (m>1) ENCE -> inference -> infer (m>1) ER -> airliner -> airlin (m>1) IC -> gyroscopic -> gyroscop (m>1) ABLE -> adjustable -> adjust (m>1) IBLE -> defensible -> defens (m>1) ANT -> irritant -> irrit (m>1) EMENT -> replacement -> replac (m>1) MENT -> adjustment -> adjust (m>1) ENT -> dependent -> depend (m>1 and (*S or *T)) ION -> adoption -> adopt (m>1) OU -> homologou -> homolog (m>1) ISM -> communism -> commun (m>1) ATE -> activate -> activ (m>1) ITI -> angulariti -> angular (m>1) OUS -> homologous -> homolog (m>1) IVE -> effective -> effect (m>1) IZE -> bowdlerize -> bowdler

Porter Algorithmus

Step 5a

(m>1) E -> probate -> probat rate -> rate (m=1 and not *o) E -> cease -> ceas

Step 5b

(m > 1 and *d and *L) -> single letter controll -> control roll -> roll

Probleme beim Porter Stemmer

• Erzeugung nicht existenter Stämme: iteration -> iter, general -> gener. An sich kein Problem, da bei der Query derselbe Stamm erzeugt wird.

• Künstliche Ambiguitäten: {organization, organ} -> organ, {policy, police} -> polic, {execute, executive} -> execut, {arm, army} -> arm, usw.

• Verwandte Formen werden nicht identifiziert: european/europe, create/creation, matrices/matrix, usw.

Stemming im Deutschen nicht anwendbar

• Wortinterne Prozesse, Präfigierung: lesen – las – gelesen, Baum – Bäume

• Komposita verhindern sinnvolle Formulierung von Constraints: Ferienende – lesende – Ende

• Zerlegung von Komposita notwendig für wirkliche Verbesserung der Suche

Beispiel (mit Stopwortelimination)

• This document will describe marketing strategies carried out by U.S. companies for their agricultural chemicals, report predictions for market share of such chemicals, or report market statistics for agrochemicals, pesticide, herbicide, fungicide, insecticide, fertilizer, predicted sales, market share, stimulate demand and price cut, volume of sales

• market strateg carr compan agricultur chemic report predict market share chemic report market statist agrochem pesticid harbicid fungicid insecticid fertil sale stimul demand price cut volum sale

Lemmatisierung

• Reduktion der Wortformen auf ihre Grundform (und weitere Information) durch Nachschlagen in einem elektronischen Wörterbuch

• Vollformenlexikon: jede Wortform kann direkt im Lexikon nachgeschlagen werden

• Grundformenlexikon: Wortform wird durch morphologische Regeln auf eine potentielle Grundform reduziert, die dann im Lexikon nachgeschlagen wird

• Vollformenlexikon ist aufwendiger hinsichtlich Speicherplatz aber effizienter bei der Verarbeitung

Nachteile von Lemmatisierung

• Erfordert umfangreiches elektronisches Wörterbuch, aufwendig in der Erstellung und Wartung

• Relativ hohe Anforderungen an Verarbeitungszeit oder Speicherplatz

• Was passiert mit Wortformen, die nicht im Lexikon gefunden werden

• Eigennamen

• Komposita im Deutschen

• In der Regel keine Derivationsanalyse

Probleme bei der Lemmatisierung im Deutschen

• Ambiguitäten: „laden“ kann lemmatisiert werden zu (laden, N, mask), (lade, N, fem), (laden, V), „geäst“ kann lemmatisiert werden zu (äsen, V), (geäst, N, neut)

• Was wird als Lemma bei systematischen Konversionen angenommen: Verbinfinitiv – Nomen (lachen – das Lachen), Partizip – Adjektiv (gestrichen), Adjektiv – Nomen (süchtig – der Süchtige)

• Erfassung aller Komposita im Lexikon unmöglich, deshalb Kompositazerlegung notwendig

Probleme bei der Kompositazerlegung im Deutschen

• Verschiedene korrekte Zerlegungen: Wachstube in wachs + tube oder wach + stube

• Simplizia können irrtümlich zerlegt werden: Pomade -> po + made, Proletarier -> prolet + arier, Tangente -> tang + ente

• große Anzahl von Zerlegungsambiguitäten, die nicht korrekt sind: Aluminiumherstellung kann auf 12 versch. Arten zerlegt werden, z.B. alu+mini+umher+stellung, Alleinerziehende -> all+ein+erzieh+ende

Lemmatisierung und Suchmaschinen

• Grundformreduktion bei Query- und Index- Termen

• Query-Expansion um alle anderen Flexionsformen

• Expansion der Indexterme um alle Flexionsformen

Query-Expansion

Vorteile:• Leicht in bestehende Systeme

zu integrieren, da Index nicht verändert werden muss

• Keine Vergrößerung des Indexes

• Expandierte Query kann vom Benutzer nacheditiert werden

Nachteile:• Sprache der Query muss

bekannt sein

• Disjunktion kann bei stark flektierenden Sprachen zu grossem Performanzverlust führen

• Problematisch im Zusammenhang mit Phrasensuche

• Nicht vorhersehbare Interaktion mit dem Ranking

Expansion der Indexterme

Vorteile:• Sprache der Query muss nicht

bekannt sein, Dokumentensprache i.d.R. leicht zu ermitteln

• Keine Manipulation der Query notwendig

• Kein Performanzverlust durch aufgeblasene Query

• Zur Disambiguierung steht der Kontext zur Verfügung

Nachteile:• Immense Vergrößerung des

Index

• Wörtliche Suche muss weiterhin möglich sein (Eigennamen)

• Keine Phrasensuche wenn kein Positionsindex vorhanden

• Einbeziehung der expandierten Formen ins Ranking unklar

Normalisierung von Query- und Index-Termen

Vorteile:• Index wird im schlimmsten Fall

doppelt so groß

• Kein Performanzverlust bei der Suche durch große Disjunktionen

• Fehlertolerant: bei Index- und Query-Termen wird derselbe Fehler gemacht

Nachteile:• Sprache der Query muss

bekannt sein

• Wörtliche Suche muss weiterhin möglich sein (Eigennamen)

• Keine Phrasensuche wenn kein Positionsindex vorhanden

• Behandlung ambiger Grundformen unklar