Teoria e tecniche della catalogazione e classificazione
Processo di ricerca, tattiche e strategie, valutazione, rilevanza ricerca7ricerca
Prof.ssa Elisa GrignaniUniversità degli studi di Parma
aa. 2005/2006
2
Abbiamo visto:
• Informazione• Gerarchia dell’informazione• Teoria dell’informazione (C. Shannon)
• Ciclo di trasferimento dell’informazione• Sistemi IR• Alcuni concetti base IR• Cataloghi
3
Concetti di base IR
• Utenti, bisogni informativi, domande
• Documenti, raccolte di documenti
• Linguaggi di indicizzazione, vocabolari controllati
• Processo di ricerca
• Valutazione - Rilevanza
4
OGGIConcetti di base IR
• Utenti, bisogni informativi, domande
• Documenti, raccolte di documenti
• Linguaggi di indicizzazione, vocabolari controllati
• Processo di ricerca
• Valutazione - Rilevanza
5
OGGI:Concetti di base IR
• Utenti, bisogni informativi, domande
• Documenti, raccolte di documenti
• Linguaggi di indicizzazione, vocabolari controllati
• Processo di ricerca
• Valutazione - Rilevanza
6
Processo di ricerca e recupero dell’informazione: modello standard
7
Modello standard: problemi
• Gli utenti apprendono nel corso del processo di ricerca– attraverso le voci di soggetto assegnate– leggendo i documenti trovati– navigando attraverso gli hyperlink– ...
8
IR è un processo iterativo
Repositories
Workspace
Goals
9
IR è un dialogo
– Lo scambio non termina alla prima risposta
– L’utente può riconoscere elementi utili di una risposta
– Le domande si modificano nel corso del processo
10
“Raccolta delle bacche” come strategia IR (Bates ‘90)
• Modello standard– Assume che il bisogno informativo rimanga statico nel corso del processo
di ricerca
• “Raccolta delle bacche”– Interessanti informazioni sono sparpagliate in giro, come le bacche tra i
cespugli– La richiesta si modifica gradualmente– Nuove informazioni possono portare a nuove idee e a nuove direzioni di
ricerca– Il bisogno informativo
• non viene soddisfatto da un unico insieme finale di risposte recuperate
• viene soddisfatto attraverso una serie di scelte e pezzi di informazione raccolti nel corso della ricerca, “lungo la strada”
11
Schizzo di un ricercatore … “moving through many actions towards a general goal of satisfactory
completion of research related to an information need.” (Bates ‘89)
Q0
Q1
Q2
Q3
Q4
Q5
12
Tattiche vs. Strategie
• Tattica: azione a breve termine per raggiungere un determinato obiettivo (goal)– operazioni, azioni
• Strategia: pianificazione complessiva per raggiungere uno determinato scopo (objective)– una serie di operazioni e di azioni collegati tra loro
13
Tattiche di ricerca dell’info.
• Formulare la ricerca– Individuare una formulazione della ricerca– Selezionare e riformulare gli specifici termini
• Monitoraggio– Tenere una traccia dei passi della ricerca
• Fonti di informazione– Navigare verso e all’interno delle fonti
(cfr. L’opuscolo di Jenny RYAN, Steph CAPRA. Research Projects:An Information Literacy Planner For Students. American Library Association, 2001)
14
Formulare la ricerca
• Specificità / Ambito– Usare i termini più specifici; ma anche:– Tenere conto dell’ambito generale in cui ci colloca la ricerca
• Esaustività– Considerare tutti gli elementi implicati
• Filtro– Sottrarre progressivamente alcuni elementi
• Formulazione parallela– Usare sinonimi e termini paralleli
• Controllo terminologico– Verificare la coerenza dei termini usati con quelli adottati dal sistema IR
(p.e., voci da un thesauro, soggettario, authority file)
15
Monitoraggio (anche a livello di strategia)
• Confrontare– Comparere lo stato attuale della ricerca con il suo scopo
originario• Pesare
– Fare una analisi costi/benefici delle azioni in atto o programmate
• Corregere gli errori• Registrare
– Tenere traccia - un “diario” – dei passi della ricerca
16
Fonti di informazione
• La “Bibbia”:– Un autorevole punto di partenza
• p.e., un “classico” sull’argomento, una pagina web fatta bene
• Ricercare/indagare:– Ricercare e verificare tra opzioni diverse
• p.e., a partire da una lista di documenti ottenuta da una ricerca in OPAC, o da una citazione in un documento
• Tagliare/filtrare:– Non considerare ciò che non ci serve e delimitare il
settore di ricerca
17
Paradosso
• Paradosso di base della ricerca/recupero dell’informazione (Roland Hjerrpe)– The need to describe that which you do not
know in order to find it– Il bisogno di descrivere ciò che non conoscete
in modo da trovarlo
18
Concetti di base IR
• Utenti, bisogni informativi, domande
• Documenti, raccolte di documenti
• Linguaggi di indicizzazione, vocabolari controllati
• Processo di ricerca
• Valutazione - Rilevanza
19
Valutazione
• Perché valutare?
• Che cosa?
• Come?
20
Perché valutare?
• Verificare se il sistema è accettabile
• Formulare giudizi comparativi
• Altro?
21
Che cosa valutare?
• In che misura il bisogno informativo è stato soddisfatto.
• Quanta informazione nuova e corretta si è acquisita sull’argomento.
• Apprendimento occasionale:– Quanto si è appreso sulla collezione.– Quanto si è appreso su altri argomenti.
• Quanto il sistema è invitante e amichevole.
22
Come valutare?
Misure di riferimento per valutare l’efficacia e l’efficienza di un sistema IR:
• richiamo• precisione• rilevanza
– Richiamo• Proporzione del materiale rilevante di fatto recuperato
– Precisione• Proporzione del materiale recuperato di fatto rilevanteef
fect
iven
ess
23
Doc. Rilevanti vs. Recuperati
Rilevanti
Recuperati
Tutti i doc.
24
Precisione vs. Richiamo|Collectionin Rel|
|edRelRetriev| Recall
|Retrieved|
|edRelRetriev| Precision
Rilevanti
Recuperati
Tutti i doc.
25
Precisione: doc. rilev. recuperati/totale doc. recuperati
Precisione vs. RichiamoRichiamo:
doc. rilev. recuperati/totale doc. rilevanti
Rilevanti
Recuperati
Tutti i doc.
26
Perchè precisione e richiamo?
“Get as much good stuff as possible while at the same time getting as little junk as possible” (Larson, 2004)
27
Documenti Ritrovati vs. Rilevanti
Precisione molto alta, richiamo molto basso
Rilevanti
28
Documenti Ritrovati vs. Rilevanti
Precisione e richiamo molto bassi (di fatto, recupero 0)
Rilevanti
29
Documenti Ritrovati vs. Rilevanti
Richiamo alto, ma bassa precisione
Rilevanti
30
Documenti Ritrovati vs. Rilevanti
Precisione e richiamo alti (finalmente!)
Rilevanti
31
Curva Precisione/Richiamoin riferimento al n.o dei documenti
• Curva di tipo Zipf
precision
recall
x
x
x
x
32
Curva Precisione/Richiamo
• Difficile stabilire quale di questi due ipotetici risultati sia il migliore:
precision
recall
x
x
x
x
33
Livelli di “Cutoff”
Fissare il numero dei documenti RILEVANTI che si intende recuperare, p.e.:
• Top 5 (solo i primi 5)
• Top 10
• Top 20
• ...
34
Problemi con Precisione/Richiamo• Non siamo in grado di valutare il vero valore
del richiamo (solo se i documenti della raccolta sono molto pochi)
• Precisione/Richiamo sono correlati in modo inverso
• Si dà per scontata l’importanza di un ordinamento dei risultati secondo il livello di rilevanza
35
Concetti di base IR
• Utenti, bisogni informativi, domande
• Documenti, raccolte di documenti
• Linguaggi di indicizzazione, vocabolari controllati
• Processo di ricerca
• Valutazione
• Rilevanza
36
Information Retrieval (IR)
• Obiettivo dell’IR è di recuperare, all’interno di una collezione, tutti e solo i documenti “rilevanti” per un particolare utente con una particolare richiesta informativa
• The goal is to search large document collections (millions of documents) to retrieve small subsets relevant to the user’s information need
• Rilevanza è un concetto chiave dell’IR, che ora cercheremo di chiarire
37
Rilevanza
• “Intuitively, we understand quite well what relevance means. It is a primitive ‘y’ know’ concept, as is information for which we hardly need a definition. … if and when any productive contact [in communication] is desired, consciously or not, we involve and use this intuitive notion of relevance.”
(Saracevic, 1975)
38
Rilevanza
• In che misura un documento è rilevante– per questo utente, per questo bisogno informativo
• Quello di rilevanza è un giudizio soggettivo, ma:
• in qualche misura calcolabile– Quanto spesso la gente concorda sul fatto che un certo
documento è rilevante per una certa domanda ? (criterio della popolarità)
39
Rilevanza• In quali modi un documento può essere rilevante
al fine di soddisfare un bisogno informativo?– Fornisce in modo preciso risposte dettagliate
Quando è morto Dante Alighieri? Nel 1321
– Risponde in modo preciso ma parzialeDove si trova Stradella? Vicino a Pavia
– Suggerisce una diversa fonte di informazioneDove si trova Stradella? Guarda su un atlante geografico
– Altro …
40
Alcuni studi sul tema della rilevanza
• Rassegna bibliografica: Saracevic, 1975
• Riconsiderazione dell’idea di rilevanza come centrata sull’utente: Schamber, Eisenberg, Nilan, 1990
• Numero speciale sulla di rilevanza in “JASIS”, Aprile 1994
41
Prossimamente:
• …