Slik får du orden på feriebildene Og vet hva du ser på

Randi Karlsen, Institutt for informatikk, UiT Norges arktiske universitet

CAIM* prosjektet

• Bakgrunn

– Enorme mengder informasjon og bilder

er tilgjengelig

– Problemer med å vite hva vi ser og finne

det vi ønsker

• Tilnærming

– Kobler bilder mot annen informasjon

– Analyserer og utvider metadata til bilder

– Forbedre muligheter for søk,

organisering og forståelse av bilder.

• Utvikler nye metoder, algoritmer og

prototyper

* CAIM – Context-aware image management

InfoAlbum

• Mål: tilby brukeren informasjon om

– Innholdet i bildet

– Stedet der bildet er tatt

• Basert på metadata til bildet

• Samler informasjon relatert til

bildet fra mange kilder på

Internett.

• Testet bilder av attraksjoner og

hendelser

• Dato/tid • GPS koordinater • Nøkkelord

Input til InfoAlbum:

InfoAlbum

• Stedsnavn • Tagger • Værinformasjon • Posisjon på kart • Relaterte bilder • Artikler • Web sider

Presentert for brukeren:

Wikipedia artikler • Max 5 artikler til ett bilde • For ca. 85% av bildene

presenteres en artikkel som beskriver innholdet i bildet.

Web sider • Via Google søk • Ca. 40% relevant til

innholdet i bildet.

InfoAlbum

LoTagr – Automatisk tagging av bilder

• Annotering hentes fra

relevante bilder på Flickr.

• Basert på lokasjon

• I gjennomsnitt er over

80% av taggene relevant

til innhold i bildet.

• 65% av bildene får tag

som navngir det man ser.

Collected tags

chicago, illinois, skyscraper,

skyline, hancock, city,

johnhancockcenter,

johnhancock, building,

urban, night, il, downtown,

architecture

Sosialt bildesøk

• Store mengder informasjon

er et problem også på

sosiale media

• Søk etter bilder av personlig

interesse for bruker.

• Sosial rangering av bilder.

• Analyse av sosialt nettverk

identifiserer nære venner og

sentrale aktører for bildesøk.

• Bruker Facebook i

eksperimenter.

Social Ranking Without Ranking

47.94

42.81

38.71

CAIM prosjektet

Flere prototyper, f.eks:

• Identifisere hendelser basert på metadata til bilder.

• Bildesøk med tegning som spørring.

• Automatisk beskrivelse av bildesamlinger.

Bidrag:

• Støtter mer effektive bildesøk

og personalisering.

• Kobler informasjon fra mange

kilder basert på metadata.

• Merverdi via kombinering av

informasjon.

• Bruker metadata for å øke

kunnskapen om både

informasjon og info kilder

• hvor god er info/kilder

• bruksområde

Partnere: • UiT Norges arktiske universitet • Universitetet i Bergen • NTNU • Telenor