«Ανάκτηση εικόνας με βάση το «Ανάκτηση εικόνας με βάση το περιεχόμενο»περιεχόμενο»

((Content-Based Image Retrieval)Content-Based Image Retrieval)

Πέτσας ΔημήτριοςΠέτσας Δημήτριος

Παρουσίαση στο μάθημα: Ψηφιακές ΒιβλιοθήκεςΠαρουσίαση στο μάθημα: Ψηφιακές ΒιβλιοθήκεςΚαθηγητής: κ. Καπιδάκης Σ.Καθηγητής: κ. Καπιδάκης Σ.

Αθήνα - Δεκέμβριος 2005Αθήνα - Δεκέμβριος 2005

22

33

Επισκόπηση θεμάτων Επισκόπηση θεμάτων Ορισμοί Ορισμοί Σημασία εικόνας Σημασία εικόνας Ανάκτηση εικόνας με βάση το κείμενοΑνάκτηση εικόνας με βάση το κείμενο Συστήματα ευρετηρίασης & ταξινόμησης εικόνωνΣυστήματα ευρετηρίασης & ταξινόμησης εικόνων Πλεονεκτήματα - μειονεκτήματαΠλεονεκτήματα - μειονεκτήματα Ανάκτηση εικόνας με βάση το περιεχόμενοΑνάκτηση εικόνας με βάση το περιεχόμενο Τεχνικές για ανάκτηση εικόνας βασισμένη στο περιεχόμενοΤεχνικές για ανάκτηση εικόνας βασισμένη στο περιεχόμενο Αυτόματος σχολιασμός εικόνωνΑυτόματος σχολιασμός εικόνων ΧρήστηςΧρήστης Συστήματα ανάκτησης εικόνων με βάση το περιεχόμενοΣυστήματα ανάκτησης εικόνων με βάση το περιεχόμενο ΣυμπεράσματαΣυμπεράσματα

44

Ορισμοί: Ορισμοί: Εικόνα - Ψηφιακή ΕικόναΕικόνα - Ψηφιακή Εικόνα

55

Ορισμοί: Εικόνα – Ψηφιακή ΕικόναΟρισμοί: Εικόνα – Ψηφιακή Εικόνα

66

Σημασία εικόναςΣημασία εικόνας Μέσο διακίνησης πληροφορίας &Μέσο διακίνησης πληροφορίας & επικοινωνίας επικοινωνίας Μεγάλη εκφραστικότητα Μεγάλη εκφραστικότητα Χρήση από πολλές επαγγελματικές ομάδεςΧρήση από πολλές επαγγελματικές ομάδες Αλματώδης αύξηση: Αλματώδης αύξηση: - Τεράστιος όγκος εικόνων- Τεράστιος όγκος εικόνων - Μεγάλη διαθεσιμότητα - Μεγάλη διαθεσιμότητα - Τεχνολογική πρόοδος- Τεχνολογική πρόοδος - Πληροφορική - Πληροφορική - Παγκόσμιος Ιστός - Παγκόσμιος Ιστός

77

Ανάκτηση εικόνας με βάση Ανάκτηση εικόνας με βάση το κείμενο το κείμενο

((Text-Based Image Retrieval)Text-Based Image Retrieval)

ΜεταδεδομέναΜεταδεδομένα Θεματικοί όροιΘεματικοί όροι Λέξεις κλειδιάΛέξεις κλειδιά Ταξινομικά σύμβολαΤαξινομικά σύμβολα

88

Συστήματα ευρετηρίασης & Συστήματα ευρετηρίασης & ταξινόμησης εικόνωνταξινόμησης εικόνων

Θησαυρός Τεχνών & ΑρχιτεκτονικήςΘησαυρός Τεχνών & Αρχιτεκτονικής Σύστημα για εικόνες Σύστημα για εικόνες Getty Getty Θησαυρός για Γραφικά Θησαυρός για Γραφικά (Library of Congress)(Library of Congress) Εικονογραφικός ΘησαυρόςΕικονογραφικός Θησαυρός ICONCLASSICONCLASS TELCLASSTELCLASS Ταξινόμηση Βιέννης για εμπορικά σήματαΤαξινόμηση Βιέννης για εμπορικά σήματα Σύστημα κωδικοποίησης για μηχανικά μέρη Σύστημα κωδικοποίησης για μηχανικά μέρη OpitzOpitz Γενικά ταξινομικά συστήματαΓενικά ταξινομικά συστήματα

99

Πλεονεκτήματα – ΜειονεκτήματαΠλεονεκτήματα – Μειονεκτήματαανάκτησης βασισμένης στο κείμενοανάκτησης βασισμένης στο κείμενο

ΠλεονεκτήματαΠλεονεκτήματα Μεγάλη εκφραστική Μεγάλη εκφραστική

δύναμηδύναμη ΕπεκτασιμότηταΕπεκτασιμότητα ΕυελιξίαΕυελιξία Ύπαρξη εφαρμογών Ύπαρξη εφαρμογών

λογισμικούλογισμικού

ΜειονεκτήματαΜειονεκτήματα Μεγάλη κατανάλωση Μεγάλη κατανάλωση

πόρωνπόρων Κοπιαστική εργασίαΚοπιαστική εργασία Υποκειμενικότητα Υποκειμενικότητα

ανθρώπινης αντίληψηςανθρώπινης αντίληψης Πλούσιο περιεχόμενο Πλούσιο περιεχόμενο

εικόνωνεικόνων

1010

Ανάκτηση εικόνας με βάση το περιεχόμενο Ανάκτηση εικόνας με βάση το περιεχόμενο ((Content-Based Image Retrieval)Content-Based Image Retrieval) 1/2 1/2

Ορισμός: Ορισμός:

Οι τεχνικές που χρησιμοποιούνται για την Οι τεχνικές που χρησιμοποιούνται για την ανάκτηση εικόνων σε μια ψηφιακή ανάκτηση εικόνων σε μια ψηφιακή βιβλιοθήκη ή στο διαδίκτυο με βάση βιβλιοθήκη ή στο διαδίκτυο με βάση χαρακτηριστικά που εξάγονται αυτόματα χαρακτηριστικά που εξάγονται αυτόματα από το ίδιο το οπτικό τους περιεχόμενο από το ίδιο το οπτικό τους περιεχόμενο

1111

Αναζήτηση εικόνας με βάση το περιεχόμενο Αναζήτηση εικόνας με βάση το περιεχόμενο 2/22/2

Ανάγκη για τεχνικές αναζήτησης εικόνας με Ανάγκη για τεχνικές αναζήτησης εικόνας με βάση το περιεχόμενο:βάση το περιεχόμενο:

Μειονεκτήματα παραδοσιακών τεχνικών Μειονεκτήματα παραδοσιακών τεχνικών Όγκος ψηφιακών εικόνωνΌγκος ψηφιακών εικόνων Ειδικές ανάγκες κοινοτήτων Ειδικές ανάγκες κοινοτήτων Παγκόσμιος Ιστός Παγκόσμιος Ιστός

1212

Τεχνικές ανάκτησης εικόνας Τεχνικές ανάκτησης εικόνας με βάση το περιεχόμενο 1/2με βάση το περιεχόμενο 1/2

Βασική ιδέα:Βασική ιδέα:

Εξαγωγή χαρακτηριστικών από την Εξαγωγή χαρακτηριστικών από την εικόνα με χρήση αλγόριθμων και εικόνα με χρήση αλγόριθμων και μετατροπή τους σε μαθηματικά μετατροπή τους σε μαθηματικά δεδομένα για να είναι μετρήσιμα από δεδομένα για να είναι μετρήσιμα από το σύστημα και να γίνεται ανίχνευση το σύστημα και να γίνεται ανίχνευση ομοιότητας μεταξύ εικόνων με τη ομοιότητας μεταξύ εικόνων με τη σύγκριση των χαρακτηριστικών αυτώνσύγκριση των χαρακτηριστικών αυτών

1313

Τεχνικές ανάκτησης εικόνας Τεχνικές ανάκτησης εικόνας με βάση το περιεχόμενομε βάση το περιεχόμενο 2/2 2/2

Χαρακτηριστικά που χρησιμοποιούνται:Χαρακτηριστικά που χρησιμοποιούνται: Χρώμα (Χρώμα (Colour)Colour) Σχήμα (Σχήμα (Shape)Shape) Υφή ή δομή (Υφή ή δομή (Texture)Texture) Θέση (Θέση (Spatial Location - Relationship)Spatial Location - Relationship) Συνδυασμός των παραπάνω Συνδυασμός των παραπάνω Κατάτμηση (Κατάτμηση (Segmentation)Segmentation)

1414

Παραδείγματα κατάτμησης εικόνωνΠαραδείγματα κατάτμησης εικόνων

1515

Αυτόματος σχολιασμός εικόνωνΑυτόματος σχολιασμός εικόνων

Αυτόματη δημιουργία εξαγωγή λέξεων Αυτόματη δημιουργία εξαγωγή λέξεων κλειδιών μέσα από το περιεχόμενο των κλειδιών μέσα από το περιεχόμενο των εικόνωνεικόνων για την ανάκτησηγια την ανάκτηση

Σύστημα Σύστημα ALIPALIP

1616

1717

Διεπαφή του χρήστη Διεπαφή του χρήστη με το σύστημα:με το σύστημα:

Είδη αναζητήσεων:Είδη αναζητήσεων: ΦυλλομέτρησηΦυλλομέτρηση Ερώτηση με εικόνα ως παράδειγμα Ερώτηση με εικόνα ως παράδειγμα Ερώτηση με σχέδιοΕρώτηση με σχέδιο Δήλωση γνωρισμάτων Δήλωση γνωρισμάτων

Ανατροφοδότηση σχετικότητας για βελτίωση της Ανατροφοδότηση σχετικότητας για βελτίωση της

ανάκτησης ανάκτησης

1818

εικόνεςεξαγωγή

γνωρισμάτων

αποτελέσμαερωτήματος

γνωρίσματα ερωτήματος

αριθμόςεικόνας

γνωρίσματα

ανάκληση εικόνας

δημιουργίαευρετηρίου

σύγκριση/ταίριασμα

εξαγωγή γνωρισμάτωνπαρουσίαση

εικόνας

διαμόρφωσηερωτήματος

ερώτημαεικόνα/σχέδιο

δόμηση ευρετηρίου

άμεσο ερώτημα

ερώτημα με παράδειγμα

φυλλομέτρηση

Σχεδιάγραμμα λειτουργίας συστήματος ανάκτησηςΣχεδιάγραμμα λειτουργίας συστήματος ανάκτησης

1919

Συστήματα ανάκτησης εικόνων με βάση Συστήματα ανάκτησης εικόνων με βάση το περιεχόμενο:το περιεχόμενο:

ALISA ALISA BLOBWORLDBLOBWORLD Photobook Photobook SIMPLIcitySIMPLIcity QBICQBIC FIREFIRE ISTORAMAISTORAMA SCHEMASCHEMA

2020

ALISA ALISA (Adaptive Learning Image (Adaptive Learning Image

and Signal Analysis)and Signal Analysis) Εξάγει χαρακτηριστικά για: Εξάγει χαρακτηριστικά για:

- χρώμα- χρώμα

- σχήμα - σχήμα

- δομή- δομή Ο αλγόριθμος του εκπαιδεύεται να αναγνωρίζει νέα Ο αλγόριθμος του εκπαιδεύεται να αναγνωρίζει νέα

σχήματα ή δομές με λίγες μόνο εικόνεςσχήματα ή δομές με λίγες μόνο εικόνες Διαφορετικές επιτυχημένες εφαρμογές Διαφορετικές επιτυχημένες εφαρμογές Χρησιμοποιείται σε βιομηχανικές εφαρμογές Χρησιμοποιείται σε βιομηχανικές εφαρμογές

2121

BlobworldBlobworld

Εξάγει χαρακτηριστικά για:Εξάγει χαρακτηριστικά για: - χρώμα- χρώμα - σχήμα- σχήμα - δομή - δομή - θέση - θέση Ο χρήστης έχει τη δυνατότητα Ο χρήστης έχει τη δυνατότητα καθορισμού της βαρύτητας κάθε καθορισμού της βαρύτητας κάθε χαρακτηριστικού για την εικόνα που χαρακτηριστικού για την εικόνα που αποτελεί παράδειγμα κατά την αναζήτηση αποτελεί παράδειγμα κατά την αναζήτηση

2222

2323

2424

2525

PhotobookPhotobook Εξαγωγή χαρακτηριστικών με βάση:Εξαγωγή χαρακτηριστικών με βάση: - το σχήμα- το σχήμα - την υφή- την υφή Η τεχνολογία του για την ανίχνευση προσώπων Η τεχνολογία του για την ανίχνευση προσώπων

χρησιμοποιείται σε αστυνομικά τμήματαχρησιμοποιείται σε αστυνομικά τμήματα

2626

QBIC (Query By Image Content)QBIC (Query By Image Content)

Δυνατότητα ανάκτησης με τη χρήση Δυνατότητα ανάκτησης με τη χρήση

χαρακτηριστικών για:χαρακτηριστικών για:

- χρώμα- χρώμα

- υφή- υφή

- σχήμα- σχήμα

και με λέξεις κλειδιά και με λέξεις κλειδιά Εμπορική εφαρμογή Εμπορική εφαρμογή

2727

SIMPLIcity SIMPLIcity (Semantics-sensitive Integrated (Semantics-sensitive Integrated

Matching for Digital Picture)Matching for Digital Picture)

κκατάτμηση των εικόνων και ανίχνευση ατάτμηση των εικόνων και ανίχνευση χαρακτηριστικών από τις περιοχές που χαρακτηριστικών από τις περιοχές που προκύπτουν αναφορικά με:προκύπτουν αναφορικά με:

- το χρώμα- το χρώμα

- τη δομή- τη δομή

- το σχήμα - το σχήμα

- τη θέση- τη θέση σημασιολογική ταξινόμηση σημασιολογική ταξινόμηση

2828

2929

3030

3131

FIREFIRE(Flexible Image Retrieval Engine)(Flexible Image Retrieval Engine)

εξάγει γνωρίσματα σχετικά:εξάγει γνωρίσματα σχετικά:

- το σχήμα- το σχήμα

- το χρώμα- το χρώμα

- τη δομή - τη δομή ελεύθερο λογισμικόελεύθερο λογισμικό

3232

3333

Ελληνικά ερευνητικά προγράμματαΕλληνικά ερευνητικά προγράμματα

ΙΣΤΟΡΑΜΑΙΣΤΟΡΑΜΑ ανάκτηση εικόνων με βάση το ανάκτηση εικόνων με βάση το περιεχόμενο από τον Παγκόσμιο Ιστόπεριεχόμενο από τον Παγκόσμιο Ιστό

SCHEMASCHEMA ανάπτυξη αρχιτεκτονικής για ανάλυση, ανάπτυξη αρχιτεκτονικής για ανάλυση, ευρετηρίαση και ανάκτηση εικόνων ευρετηρίαση και ανάκτηση εικόνων με βάση το περιεχόμενομε βάση το περιεχόμενο

3434

ΣυμπεράσματαΣυμπεράσματα

πρακτικές εφαρμογέςπρακτικές εφαρμογές η ανάκτηση εικόνας με βάση το περιεχόμενο η ανάκτηση εικόνας με βάση το περιεχόμενο

βρίσκεται ακόμη σε ανώριμο στάδιο και έχει βρίσκεται ακόμη σε ανώριμο στάδιο και έχει περιορισμούς περιορισμούς

αποτελεί αντικείμενο μεγάλης ερευνητικής αποτελεί αντικείμενο μεγάλης ερευνητικής δραστηριότηταςδραστηριότητας

ο συνδυασμός της με την αναζήτηση με βάση ο συνδυασμός της με την αναζήτηση με βάση το κείμενο μπορεί να αποδώσει καλύτερα το κείμενο μπορεί να αποδώσει καλύτερα αποτελέσματααποτελέσματα

3535

ΕΥΧΑΡΙΣΤΩ ΓΙΑ ΤΗΝ ΠΡΟΣΟΧΗ ΣΑΣΕΥΧΑΡΙΣΤΩ ΓΙΑ ΤΗΝ ΠΡΟΣΟΧΗ ΣΑΣ!!