dileo presentation (in greek)
DESCRIPTION
Evaluation is a very vital research interest in the digital library domain. This has been exhibited by the growth of the literature in the main conferences and journal papers. However it is very difficult for one to navigate in this extended corpus. For these reasons the DiLEO ontology has been developed in order to assist the exploration of important concepts and the discovery of trends in the evaluation of digital libraries. DiLEO is a domain ontology, which aims to conceptualize the DL evaluation domain by correlating its key entities and provide reasoning paths that support the design of evaluation experiments.TRANSCRIPT
DiLEO μια οντολογία πεδίου για την αξιολόγηση των ψηφιακών βιβλιοθηκώνdbis/dlib/ionio
2
δομή
- Εισαγωγή- Περί αξιολόγησης ψηφιακών βιβλιοθηκών
- Μοντελοποίηση της αξιολόγησης ψηφιακών βιβλιοθηκών- Μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών
βιβλιοθηκών- Οντολογίες- Παρουσίαση του DiLEO
εν συντομία
- Μια οντολογία
- Για τη σύγκριση στιγμιοτύπων
- Για την υποστήριξη του σχεδιασμού των αξιολογήσεων
3
κίνητρο
- Η δημιουργία ενός σχήματος καταγραφής και σύγκρισης στιγμιοτύπων αξιολογήσεων.
- Απώτερος στόχος είναι η κάλυψη της ασυμφωνίας μοντέλων αξιολόγησης μέσα από ένα δομημένο και τυπικό μετά-μοντέλο.
“the lack of globally accepted abstract evaluation models and methodologies can be counterbalanced by collecting, publishing and analyzing current research activities” [Führ et al., 2007]
- Ταυτόχρονα ένα εργαλείο σχεδιασμού αξιολογήσεων.“Every evaluation should begin with a well-crafted plan. Writing an evaluation plan is not just common sense. It is an essential roadmap to successful evaluation!” [Reeves et a., 2003].
4
περί αξιολόγησης ψηφιακών βιβλιοθηκών
μέρος ά
μοντελοποίηση αξιολόγησης
- Δεν αναφερόμαστε σε μοντέλα αξιολόγησης ψηφιακών βιβλιοθηκών, αλλά στην προτυποποίηση της ίδιας της διαδικασίας.
- Αναφορά σε πέντε κύριες προσπάθειες:
- Στην ταξινόμηση του Saracevic [2004]
- Στο Evaluation Computer [Kovacs & Micsik, 2004]
- Στο πλαίσιο PRET A Rapporter [Blandford et al., 2007]
- Στο μοντέλο 5SQual [Goncalves et al., 2007]
- Στο πλαίσιο Zachman
6
η ταξινόμηση του Saracevic
- Μια ταξινόμηση μελετών αξιολόγησης σύμφωνα με:- το ποιά στοιχεία αξιολογήθηκαν (Constructs)- το πλαίσιο της αξιολόγησης (Context)- τα κριτήρια που χρησιμοποιήθηκαν (Criteria)- τη μεθοδολογία που ακολουθήθηκε (Methodology)
7
η ταξινόμηση του Saracevic
- Διαχώρισε τις μελέτες αξιολόγησης σε αυτές που προτείνουν μοντέλα αξιολόγησης και σε αυτές που αναφέρουν αποτελέσματα μελετών αξιολόγησης.
- Ο Saracevic διαμόρφωσε μια έννοια (Context) για να συμπυκνώσει όλες τις υψηλόβαθμες ερωτήσεις, όπως γιατί αξιολογεί κάποιος, ποιός είναι στόχος του κλπ.
- Ταυτόχρονα αφιέρωσε μια κατηγορία για να κατατάξει τις μελέτες σύμφωνα με το τί αξιολόγηθηκε (Constructs) και δύο κατηγορίες (Criteria, Methodology) για να κατάταξει τις μελέτες σύμφωνα με το πως αυτές διεξάγονται.
8
the evaluation computer
- Μια φασετική ταξινόμηση διαφορετικών οπτικών, οι οποίες συνθέτουν μια πραγμάτωση μιας αξιολόγησης ή ένα ‘evaluation atom’.
- Μέτρηση της απόστασης μεταξύ δύο ατόμων μέσα σε έναν χώρο.
9
the evaluation computer
- Πέντε φασέτες:- Σύστημα- Περιεχόμενο- Οργανισμός- Χρήστης- Αξιολόγηση
10
PRET A Rapporter
- Ένα πλαίσιο αξιολόγησης το οποίο δίνει έμφαση στo περιβάλλον εργασίας στο οποίο συντελείται.
- Σύμφωνα με τους συγγραφείς έχει χαρακτηριστικά που βοηθούν την σχεδίαση μιας αξιολόγησης.
- Δομεί τις αξιολογήσεις σύμφωνα με:- τον σκοπό της αξιολόγησης- τις πηγές και τους περιορισμοί- τα ηθικά ζητήματα- τη συλλογή δεδομένων- την ανάλυση δεδομένων- την αναφορά δεδομένων
11
PRET A Rapporter
- To PRET A Rapporter κινείται περιπτωσιολογικά. Πρακτικά αυτό σημαίνει ότι εστιάζει σε συγκεκριμένες διαστάσεις σε κάθε μια από τις τρεις μελέτες που - ενδεικτικά - παρουσιάζει.- μια σχηματική αξιολόγηση ενός συστήματος- μια συγκριτική αξιολόγηση δύο διεπαφών της ίδιας βάσης- μια ποιοτική μελέτη ενός συστήματος σε χρήση
12
5SQual
- Στηρίζεται στο πολυ γνωστό πλαίσιο περιγραφής των ψηφιακών βιβλιοθηκών 5S (Streams, Structures, Spaces, Scenarios, & Societies).
- Το μοντέλο ορίζει κάποιες διαστάσεις (κριτήρια) που αντιστοιχούνται σε συστατικά στοιχεία των ψηφιακών βιβλιοθηκών.
- Οι συγγραφείς παραθέτουν μια σειρά από μελέτες, παραδείγματα χρήσης όπως λένε χαρακτηριστικά, όπου γίνεται εφαρμογή αυτών των κριτηρίων σε ψηφιακές βιβλιοθήκες, όπως ACM DL, CITIDEL και NDLTD.
13
14
Έννοια ΨΒ Διάσταση ποιότητας Έννοιες του 5S
Digital object Accessibility Societies (actor), Structures (metadata specification), Streams + Structures (structured streams)Pertinence Societies (actor), Scenarios (task)
Preservability Streams, Structures (structural metadata), Scenarios (process (e.g., migration)Relevance Streams + Structures (structured streams), Structures (query), Spaces (Metric,Similarity Same as in relevance, Structures (citation/link patterns)
Significance Structures (citation/link patterns)
Timeliness Streams (time), Structures (citation/link patterns)
Metadata specification Accuracy Structure (properties, values)
Completeness Structure (properties, schema)
Conformance Structure (properties, schema)
Collection Completeness Structure (collection)
Catalog Completeness Structure (collection)
Consistency Structure (collection)
Repository Completeness Structure (collection)
Consistency Structure (catalog, collection)
Services Composability See Extensibility, reusability
Efficiency Streams (time), Spaces (operations, contraints)
Effectiveness See Pertinence, Relevance
Extensibility Societies + Scenarios (extends, inherits_from, redefines)
Reusability Societies + Scenarios (includes, reuses)
Reliability Societies + Scenarios (uses, executes, invokes)
το πλαίσιο του Zachman
- Το Zachman Framework είναι ένα πλαίσιο εταιρικής αρχιτεκτονικής - John Zachman, IBM, αρχές του 1980.
- Αποτυπώνει μια τυπική και σε υψηλό επίπεδο δομημένη οπτική ενός οργανισμού. Μια ταξονομία για την οργάνωση δομικών στοιχείων του οργανισμού υπό το πρίσμα συγκεκριμένων οπτικών.
- Κατηγοριοποιεί και οργανώνει σε μια δυσδιάστατη περιοχή όλες τις έννοιες που χρειάζονται να είναι ομογενοποιημένες και εκφράζουν τις διάφορες προοπτικές του σχεδιασμού.- Σύμφωνα με τους συμμετέχοντες (εναλλακτικές προοπτικές).- Σύμφωνα με τις λειτουργίες (ερωτήσεις).
15
16
WhatData
HowProcess
WhereLocation
Who Worker
WhenTiming
WhyMotivation
Scope [Planner]
CoreBusiness Concepts
MajorBusiness
Transformations
BusinessLocations
PrincipalActors
Business Events
Mission& Goals
Business Model
[Owner]Fact Model Tasks
BusinessConnectivity
Map
WorkflowModels
BusinessMilestones
PolicyCharter
System Model[Evaluator]
DataModel
BehaviorAllocation
Platform &Communications
MapBRScripts
StateTransitionDiagrams
RuleBook
Technology Model
[Evaluator]
RelationalDatabaseDesign
ProgramSpecifications
Technical Plat-form & Commu- nications Design
Procedure &Interface
Specifications
Work Queue & Scheduling
Designs
RuleSpecifications
Detail representation
[Evaluator]DatabaseSchema
Source Code Network
Procedures &Interfaces
Work Queues & Schedules
RuleBase
Functioning Bus
[Evaluator]OperationalDatabase
OperationalObject Cod
OperationalNetwork
OperationalProcedures &
Interfaces
OperationalWork Queues& Schedules
OperationalRules
ο πίνακας του Zachman
μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών βιβλιοθηκών
μέρος β’
γιατί μια οντολογία;
- Τυπικα μοντέλα που μας βοηθούν:- να καταλάβουμε ένα πεδίο γνώσης. Στη συγκεκριμένη
περίπτωση το πεδίο αξιολόγησης ψηφιακών βιβλιοθηκών.- να οικοδομηθεί μια βάση γνώσης για την αντιπαράθεση
διαφορετικών στιγμιοτύπων. Στη συγκεκριμένη περίπτωση στιγμιότυπα αξιολόγησης των ψηφιακών βιβλιοθηκών.
- να συμπεράνουμε κάποια λογική εξέλιξη. Στη συγκεκριμένη περίπτωση να υποστηρίξουν τον σχεδιασμό αξιολογήσεων.
18
γιατί μια οντολογία;
- Τα προηγούμενα σχήματα τοποθετούνται “κάθετα” σε συγκεκριμένους χώρους, π.χ. το PRET A Rapporter έχει μια HCI οπτική ή το 5SQual εξετάζει τη διάσταση της ποιότητας.
- Δηλώνουν έννοιες (συστατικά), είτε των ψηφιακών βιβλιοθηκών, είτε της αξιολόγησης, αλλά όχι τις μεταξύ τους συσχετίσεις.- Στόχος είναι μέσω των συσχετίσεων να αναδειχθούν οι
σύνδεσμοι μεταξύ των εννοιών και να ενισχυθούν αυτές σημασιολογικά.
- Επίσης είναι δυνατό να εκφραστούν μονοπάτια, τα οποία αναδεικνύουν εναλλακτικές ή συμπληρωματικές έννοιες και διαδρομές.
19
οντολογίες
- Χρησιμοποιούμε “συστατικά” όπως:
- Κλάσεις (αντιπροσωπεύουν έννοιες, οντότητες, κλπ.)
- Συσχετίσεις (σύνδεσμοι μεταξύ των εννοιών)
- Συναρτήσεις (περιορισμοί συσχετίσεων)
- Αξιώματα (αναπαράσταση αληθινών προτάσεων)
- Στιγμιότυπα (πραγματικά στοιχεία - αντιπρόσωποι κλάσεων)
20
διαδικασία σύνταξης
- Η DiLEO είναι αποτέλεσμα κάποιων διαδικασιών:- Βιβλιογραφική μελέτη και επισκόπηση
- με επιλογή των κατάλληλων εννοιών- με συνεχή εξερεύνηση των κατάλληλων συσχετίσεων
- Καταγραφή της σε γλώσσα OWL- Πιστοποίηση
- μέσα από τη συζήτηση και την άσκηση στα πλαίσια του tutorial στο ECDL 2010
- μέσα από μια συζήτηση εστίασης (focus group) με ερευνητές του πεδίου μας
21
μια τυπική απεικόνιση της αξιολόγησης
- Ανάπτυξη σε OWL με το Protégé Ontology Editor- http://protege.stanford.edu/
22
το ανώτερο επίπεδο
Dimensionseffectiveness, performance measurement, service quality, technical excellence, outcomes assessment
Subjects
Objects
Characteristics
Levelscontent level, processing level, engineering level, interface level, individual level, institutional level, social level
Goalsdescribe, document, design
Research uestions
Dimensions Typeformative, summative, iterative
hasDiminsionsType
isAffecting / isAffectedBy
isCharacterizing/isCharacterizedBy
isFocusingOnisAimingAt
isOperatedByisOperating
isDecomposedTo
23
isCharacterizing/isCharacterizedBy
το κατώτερο επίπεδο
Activityrecord, measure, analyze, compare, interpret, report, recommend
MeansComparison studies, expert studies, laboratory studies, field studies, logging studies, surveys
Factorscost, inastructure, personnel, time
Means Typesqualitative, quantitative
Instrumentsdevices, scales, soware, statistics, narrative items, research artifacts
Findings
Criteriaspecific aims, standards, toolkits
Metricscontent initiated, system initiated, user initiated
Criteria Categories
isSupporting/isSupportedBy
hasPerformed/isPerformedIn
hasSelected/isSelectedIn
hasMeansType
isMeasuredBy/isMeasuring
isUsedIn/isUsing
isGrouped/isGrouping
isSubjectTo
isDependingOn
isReportedIn/isReporting
24
σύνδεση μεταξύ των επιπέδων
Dimensionseffectiveness, performance measurement, service quality, technical excellence, outcomes assessment
SubjectsLevelscontent level, processing level, engineering level, interface level, individual level, institutional level, social level
Research uestions Activityrecord, measure, analyze, compare, interpret, report, recommend
MeansComparison studies, expert studies, laboratory studies, field studies, logging studies, surveys
Findings
Objects
Metricscontent initiated, system initiated, user initiated
isAddressing
isAppliedTohasConstituent/isConstituting
hasInitiatedFrom
25
Συσχέτιση Πεδίο ορισμού Πεδίο τιμών
isCitedIn / inverse: isCiting Appellations/study identifier (AP/stid) Appellations/study reference (AP/strf)
Constraints: max cardinality=1Constraints: max cardinality=1Constraints: max cardinality=1
hasDimensionsType Dimensions (D) Dimensions Type (DT)
Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)
isAffecting inverse: isAffectedBy Dimensions (D) Level (L)
min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level)min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level)min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level)hasConstituent / inverse: isConstituting Dimensions (D) Activities (A)
Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)
isSupporting / inverse: isSupportedBy Instruments (I) Activities (A)
Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)
συσχετίσεις
- Μερικές από τις σαράντα (40) συσχετίσεις
26
χρήση της οντολογίας
- χρησιμοποιούμε “μονοπάτια” της οντολογία για να εκφράσουμε ρητώς μια ροή ή μια απαίτηση. Για παράδειγμα:
- Activities/analyze - isPerformedIn - Means/logging studies- hasMeansType - Means Type/quantitative
27
Activityrecord, measure, analyze, compare, interpret, report, recommend
MeansComparison studies, expert studies, laboratory studies, !eld studies, logging studies, surveys
Means Typesqualitative, quantitative
isPerformedIn hasMeansType
χρήση της οντολογίας
- Level/individual level - isAffectedBy - Dimensions/performance measurement - isFocusingOn - Objects/usage of content/usage of data - isOperatedBy - Subjects/human agents - isCharacterizedby - Characteristics/experience
- ... isCharacterizedby - Characteristics/discipline
- ... isCharacterizedby - Characteristics/age
28
Dimensionseffectiveness, performance measurement, service quality, technical excellence, outcomes assessment
Subjectssystem agents, human agents
Objectsusage of content: usage of data, usage of metadata
Characteristicsage, count, discipline, experience, profession,
Levelscontent level, processing level, engineering level, interface level, individual level, institutional level, social level
isAffectedBy
isFocusingOnisOperatedBy
isCharacterizedby
στιγμιότυπα
- Εισαγωγή στιγμιοτύπων στο Protégé.
29
παραδείγματα ερωτήσεων
- Ρωτάμε τη βάση γνώσης με SPARQL ερωτήματα- Ας υποθέσουμε ότι θέλουμε να σχεδιάσουμε μια αξιολόγηση με
μελέτη αρχείων καταγραφής (logs).- Κατά τον σχεδιασμό της αξιολόγησης μας ενδιαφερόμαστε να
μάθουμε τα ερευνητικά ερωτήματα των αντίστοιχών μελετών.- Για να αντλήσουμε αυτή την πληροφορία από τη βάση γνώσης
θα χρειαστεί να συντάξουμε ένα SPARQL ερώτημα.
30
SPARQL ερώτημαSELECT DISTINCT ?Research_QuestionsInst ?MeansWHERE { ?Research_QuestionsInst a<Research_Questions>. ?Dimensions a<Technical_Excellence>. ?Activity a <Record>. ?Means a <Logs>. ?Research_QuestionsInst<isBelongingTo> ?Dimensions. ?Dimensions<hasConstituent> ?Activity. ?Activity<isPerformedIn> ?Means }
παραδείγματα ερωτήσεων
- Το ερώτημα και οι απαντήσεις θα έχουν αυτή τη μορφή:
31
απαντήσειςτα ερευνητικά ερωτήματα (στην πρώτη στήλη) από δύο μελέτες (wm2008c και
nzdl2000) που έκαναν χρήση αρχείων καταγραφής (στη δεύτερη στήλη),
πηγές
- Η βιβλιογραφία βρίσκεται διαθέσιμη στο:http://www.mendeley.com/groups/731821/dileo/
32