browsing
DESCRIPTION
Browsing. Τεχνικές που χρησιμοποιούνται για τη διευκόλυνση του χρήστη στην αναζήτηση κειμένων. Μοντέλα για Browsing. Flat Structure Guided Hypertext. Flat. Δεν υπάρχει συγκεκριμένη οργάνωση στα κείμενα - PowerPoint PPT PresentationTRANSCRIPT
BrowsingBrowsing
Τεχνικές που χρησιμοποιούνται για τη διευκόλυνση του χρήστη στην αναζήτηση κειμένων.
Ανάκτηση Πληροφορίας 2
Μοντέλα για BrowsingΜοντέλα για Browsing
FlatStructure GuidedHypertext
Ανάκτηση Πληροφορίας 3
FlatFlat
Δεν υπάρχει συγκεκριμένη οργάνωση στα κείμενα
Ο χρήστης επιλέγει τα κείμενα από μία λίστα ή από μία άλλη αναπαράσταση (π.χ. σημεία από ένα 2-D ή 3-D γράφημα)
Πολλές μηχανές αναζήτησης παρέχουν κάποιον κατάλογο για browsing
Ανάκτηση Πληροφορίας 4
Structure GuidedStructure Guided
Χρησιμοποιείται κάποιος τρόπος οργάνωσης των κειμένων για να διευκολυνθεί η αναζήτηση (π.χ. ιεραρχική δομή).
Τα κείμενα ομαδοποιούνται ανάλογα με το θέμα που διαπραγματεύονται.
Συνήθως υπάρχει και ένας χάρτης ιστορικού (history map) ώστε να γνωρίζουμε ποια κείμενα έχουμε εξετάσει πρόσφατα.
Ανάκτηση Πληροφορίας 5
HypertextHypertext
Κατευθυνόμενος γράφος, ο οποίος μπορεί να περιέχει κύκλους.
Η ύπαρξη σύνδεσης μεταξύ δύο κόμβων δηλώνει οτι οι κόμβοι σχετίζονται.
Σε μεγάλα κείμενα ο χρήστης μπορεί να «χάσει το δρόμο του».
Χρήση hypertext map ο οποίος δείχνει κάθε φορά σε ποιο σημείο του γράφου βρίσκεται ο χρήστης.
Ανάκτηση Πληροφορίας 6
Σύνοψη ΜοντέλωνΣύνοψη Μοντέλων
Υπάρχουν 3 τύποι συστημάτων τα οποία κερδίζουν άμεσα από την ύπαρξη πιο ευέλικτων μοντέλων IR
συστήματα βιβλιοθήκηςεξειδικευμένα συστήματα IRWEB
Ανάκτηση Πληροφορίας 7
Συστήματα ΒιβλιοθήκηςΣυστήματα Βιβλιοθήκης
Ερευνάται η χρήση μοντέλων τα οποία να αποδίδουν με καλύτερο τρόπο το πως ο χρήστης αντιλαμβάνεται τη χρησιμότητα ενός κειμένου.
Συστηματοποίηση του τρόπου με τον οποίο ο χρήστης αναζητά κείμενα.
Ανάκτηση Πληροφορίας 8
Εξειδικευμένα Εξειδικευμένα ΣΣυστήματα IRυστήματα IR
Παράδειγμα: σύστημα LEXIS-NEXIS το οποίο διαχειρίζεται πολλά κείμενα που σχετίζονται με νομικές έννοιες σχετικά με επιχειρήσεις.
Οι ανάγκες σε ένα τέτοιο σύστημα μπορεί να διαφέρουν σημαντικά από ένα γενικής χρήσης IR σύστημα.
Για παράδειγμα, αναζητώντας το νόμο 433/89 είναι χρήσιμο να έχουμε και όλες τις τροπολογίες και τα προεδρικά διατάγματα που έχουν αλλάξει το νόμο κατά καιρούς.
Ανάκτηση Πληροφορίας 9
WEBWEB
altavista
infoseek
Μόνο 2% των συνολικών κειμένωνπου δεικτοδοτούνταιείναι κοινά σε όλατα search engines
Μέτρα ΑπόδοσηςΜέτρα Απόδοσης
Τρόποι με τους οποίους μετρούμε την ποιότητα ενός IR συστήματος
Ανάκτηση Πληροφορίας 11
Μέτρα ΑπόδοσηςΜέτρα Απόδοσης
Precision = # σχετικών κειμένων που επιστρέφονται # κειμένων που επιστρέφονται
Recall = # σχετικών κειμένων που επιστρέφονται # συνολικών σχετικών κειμένων
Ο στόχος είναι να μεγιστοποιηθούν και τα δύο. Συνήθως, η σχετικότητα (Relevance) ενός κειμένου ως
προς κάποιο ερώτημα είναι κάτι το υποκειμενικό
Ανάκτηση Πληροφορίας 12
Μέτρηση Απόδοσης– Πόσο καλό είναι ένα σύστημα– Συγκρίσεις μεταξύ συστημάτων
Τι πρέπει να μετρήσουμε– Πόσο είναι ικανοποιημένος ο χρήστης από το αποτέλεσμα– Κάλυψη πληροφορίας– Τρόπος παρουσίασης– Δυσκολία που υπάρχει– Αποδοτικό ως προς χρόνο και χώρο– Recall
τμήμα των σχετικών κειμένων που ανακτώνται– Precision
τμήμα των ανακτώμενων κειμένων που είναι σχετικά
ΕισαγωγήΕισαγωγή
αποδοτικότητα
Ανάκτηση Πληροφορίας 13
ΕισαγωγήΕισαγωγή
Πως μετράμε την απόδοση?– Test reference collections:
TIPSTER/TREC CACM CISI Cystic Fibrosis
Ανάκτηση Πληροφορίας 14
IR EvaluationIR Evaluation
Recall = |Ra| / |R| Precision = |Ra| / |A|
Collection
Answer set (A)
Relevantdocuments (R)
relevant &retrieved (Ra)
Ανάκτηση Πληροφορίας 15
RelevanceRelevance Το σύνολο R δεν είναι γνωστό Relevance:
– Υποκειμενική– Μπορεί να μετρηθεί μέχρι κάποιο βαθμό
Πως ένα κείμενο χαρακτηρίζεται ως σχετικό προς το ερώτημα;– Σαφής απάντηση σε σαφές ερώτημα– Partial Matching– Προτείνεται πηγή για περισσότερες πληροφορίες– Πληροφορίες για το background
Ανάκτηση Πληροφορίας 16
Precision/ Recall ΚαμπύληPrecision/ Recall Καμπύλη Precision - Recall trade-off Μετρούμε το Precision σε διαφορετικά επίπεδα Recall
precision
recall
x
x
x
x
Ανάκτηση Πληροφορίας 17
Precision/ Recall ΚαμπύληPrecision/ Recall Καμπύλη
Είναι δύσκολο να διακρίνουμε ποια από τις παρακάτω καμπύλες είναι η καλύτερη:
precision
recall
x
x
x
x
Ανάκτηση Πληροφορίας 18
ΠαράδειγμαΠαράδειγμαRank Doc Rel Recall Precision
0 0 % 0 %1 d 123 10 % 100 %2 d 84 10 % 50 %3 d 56 20 % 67 %4 d 6 20 % 50 %5 d 84 20 % 40 %6 d 9 30 % 50 %7 d 511 30 % 43 %8 d 129 30 % 38 %9 d 187 30 % 33 %10 d 25 40 % 40 %11 d 38 40 % 36 %12 d 48 40 % 33 %13 d 250 40 % 31 %14 d 113 40 % 29 %15 d 3 50 % 33 %
0
20
40
60
80
100
120
10 20 30 40 50
Recall
Pre
cisi
on
Ανάκτηση Πληροφορίας 19
Average PrecisionAverage Precision
Average precision at each recall level:
- average precision at recall level r;
Nq - the number of queries used;
Pi(r) – the precision at recall level r for the i-th query.
Ανάκτηση Πληροφορίας 20
Standard Recall Levels & Standard Recall Levels & Interpolation ProcedureInterpolation Procedure
Η καμπύλη δημιουργείται με 11 επίπεδα recall:
0%, 10%, 20%, …, 100%
Έστω το j-ιοστό επίπεδο recall. Τότε,
Ανάκτηση Πληροφορίας 21
Interpolated PrecisionInterpolated Precision
Interpolated precision at 11 standard recall levels
0%
20%
40%
60%
80%
100%
120%
0% 20%
40%
60%
80%
100%
Recall
Pre
cis
ion
Level
I terpolated
Precision
0% 100%10% 100%20% 67%30% 50%40% 40%50% 33%60% 0%70% 0%80% 0%90% 0%100% 0%
Ανάκτηση Πληροφορίας 22
Document Cutoff LevelsDocument Cutoff Levels
Άλλος τρόπος υπολογισμού:– Σταθεροποιούμε τον αριθμό των κειμένων ανά επίπεδο:
top 5, top 10, top 20, top 50, top 100, top 500– Μέτρηση του precision για αυτά τα επίπεδα– Μέση τιμή
Τρόπος να εστιάσουμε σε high precision
Ανάκτηση Πληροφορίας 23
Single Value SummariesSingle Value Summaries
Average Precision vs Recall είναι χρήσιμες τιμές για την περιγραφή της απόδοσης ενός συστήματος σε ένα σύνολο ερωτημάτων.
Πως θα μετρήσουμε την απόδοση για κάθε ερώτημα χωριστά;
Single value measures:– Average Precision at Seen Relevant Documents;– R-Precision;– Precision Histograms;– Summary Table Statistics.
Ανάκτηση Πληροφορίας 24
Single Value SummariesSingle Value Summaries Average Precision at Seen Relevant Documents – a single value summary
generated by averaging the precision values obtained after each relevant document is observed.
Average precision at seen 5 relevant docs =(1+0.67+0.5+0.4+0.3)/5 = 0.574
R-Precision - a single value summary generated by computing the precision at the R-th position in the ranking;– R is the total number of relevant docs for the current query (e.g. number
of docs in the set Rq)
R-precision = 0.4
Ανάκτηση Πληροφορίας 25
Single Value SummariesSingle Value Summaries Precision Histograms – are used to compare the retrieval history of two algorithms.
– RPA(i) and RPB(i) – R-Precision values of the retrieval algorithms A & B for the i-th query;
– If RPA/B(i) = 0 – the both algorithms have equivalent performance (in terms of R-Precision);
– If RPA/B(i) > 0 – better retrieval performance of algorithm A.
-1.2
-0.7
-0.2
0.3
0.8
1 2 3 4 5 6 7 8 9 10
Query #
R-P
reci
sio
n A
/B
Ανάκτηση Πληροφορίας 26
Single Value SummariesSingle Value Summaries
Summary Table Statistics – used to store single value measures in a table and to provide a statistical summary regarding the set of all queries in a retrieval task;– Usually includes:
The number of queries used in the task; The total number of docs retrieved by all queries; The total number of relevant docs, which were effectively retrieved; The total number of relevant docs, which could have been retrieved; And etc...
Ανάκτηση Πληροφορίας 27
Precision & RecallPrecision & Recall
Problems using these 2 measures:– The proper estimation of max recall for the query requires detailed
knowledge of all the documents in the collection;– Recall & Precision are related measures which capture different
aspects of the set of retrieved docs;– Recall & Precision measure the effectiveness over a set queries
processed in batch mode;– Recall & Precision are easy to define when a linear ordering of the
retrieved docs is enforced. Alternative Measures:
– To combine Recall & Precision into single measure;– Measure the informativeness of the retrieval process;– Etc…
Ανάκτηση Πληροφορίας 28
The Harmonic MeanThe Harmonic Mean
The harmonic mean combines Recall & Precision into a single number ranging from 0 to 1:
P(j) - precision of j-th document in ranking;r(j) – recall of j-th document in ranking;
If F(j) = 0 – no relevant docs have been retrieved; If F(j) = 1 – all ranked docs are relevant; The harmonic mean assumes high value only when both recall & precision are
high.
Ανάκτηση Πληροφορίας 29
E-MeasureE-Measure
Combine Precision and Recall into one number and allow user to specify whether s/he is more interested in recall or precision:
P(j) – precision of j-th document in ranking;r(j) – recall of j-th document in ranking;b - measure of relative importance of precision or recall:b > 1 emphasizes precision, b < 1 emphasizes recall
Ανάκτηση Πληροφορίας 30
User-Oriented MeasuresUser-Oriented Measures
Different users might have a different interpretation of which document is relevant or not
User-oriented measures:– Coverage ratio:
– Novelty ratio:
– Relative ratio – the ratio between the # of relevant docs found and the # of relevant docs the user expected to find
– Recall effort – the ratio between the # of relevant docs the user expected to find and the # of docs examined in an attempt to find the expected relevant docs.
Ανάκτηση Πληροφορίας 31
User-Oriented MeasuresUser-Oriented Measures
Answer set (A)Relevantdocuments (R)
Relevant Docsknown to user (U)
Relevant Docsknown to user which were retrieved (Rk)
Relevant Docspreviously unknown to user which were retrieved (Ru)
Ανάκτηση Πληροφορίας 32
Other measuresOther measures
Expected search length – useful for dealing with sets of docs weakly ordered
Satisfaction – takes into account only the relevant docs
Frustration – only the non-relevant docs.
Ανάκτηση Πληροφορίας 33
Reference CollectionsReference Collections
TREC collection (Text REtrieval Conference) – 5.8 GB, >1.5 Million Docs;
CACM - computer science – 3024 articles; ISI (CISI) – library science – 1460 docs; Cystic Fibrosis (CF) - medicine – 1239 docs; CRAN – aeronautics – 1400 docs; Time – general articles – 423 docs; NPL – electrical engineering – 11429 docs; Etc…
Ανάκτηση Πληροφορίας 34
TRECTREC
Benefits:– made research systems scale to large collections;– allows for somewhat controlled comparisons;
Drawbacks:– emphasis on high recall, which may be unrealistic for what
most users want;– very long queries, also unrealistic;– comparisons still difficult to make, because systems are
quite; different on many dimensions;– focus on batch ranking rather than interaction;– no focus on the WWW.
Ανάκτηση Πληροφορίας 35
TREC is changingTREC is changing
Emphasis on specialized “tracks”:– Interactive task– Natural Language Processing (NLP) task– Multilingual tracks (Chinese, Spanish)– Filtering track– High-Precision– High-Performance
http://trec.nist.gov/
Ανάκτηση Πληροφορίας 36
Web Search Engine Web Search Engine EvaluationEvaluation
Evaluation principles:– Representative query set (e.g. from user logs)– Documents rated from –1 to 2
-1: spam, broken link 0: unrelated 1: related 2: good and relevant
– Document weight according to position in result set
Ανάκτηση Πληροφορίας 37
ΣύνοψηΣύνοψη
Basic measures for evaluating the effectiveness of a retrieval system:– Recall & Precision;– Single value summaries;– Alternative measures;– User-oriented measures;
Test collections.