Kiss Attila és Németh TamásBudapest, BMF-NIK

IARKonzulensek: Vámossy Zoltán és Sergyán Szabolcs

2004.11.11. BMF-NIK, IAR (2/13)

A bemutató felépítése

Projekt ismertetés Rendszerünk felépítése Használt technikák Elért eredmények Összefoglalás, kitekintés

2004.11.11. BMF-NIK, IAR (3/13)

Projekt ismertetése

Célunk egy olyan kétkamerás megfigyelőrendszer készítése, amely képes: mozgó objektumokat követni

(Object Tracking) térben modellezni

(Stereo Vision) saját adatbázisában ahhoz hasonlókat keresni

(Content Based Image Retrival - CBIR)

2004.11.11. BMF-NIK, IAR (4/13)

Rendszerfelépítés

Kamerakezelő rendszer Mozgásdetektálás Modell előkészítés

Modellező rendszer Modellkészítés Megjelenítés

Tartalom-alapú képkinyerő rendszer Tulajdonságkinyerés Hasonlóságmérés Visszacsatolás

2004.11.11. BMF-NIK, IAR (5/13)

Kamerakezelő rendszer

Objektum követés Változások észlelése a háttérképhez képest A megváltozott terület jelölése

Kapcsolat a CBIR-el A differenciakép konvex burka által

meghatározott képrészlet elküldése Modell előkészítő alrendszer (Jel alapú sztereo módszer)

Jellemző pontok keresése a Harris-féle sarokdetektáló módszerrel

2004.11.11. BMF-NIK, IAR (6/13)

Modellező rendszer

Modellkészítő Jellemző pontok megfeleltetése a bal és jobb oldali

kameraképen intenzitás kereszt korreláció segítségével

Mélységinformáció kinyerése a megfeleltetett pontok diszparitásának számításával

Megjelenítés Az elkészült modell megjelenítése OpenGL

használatával Fejlesztés alatt: Korreláció alapú sztereo módszer

2004.11.11. BMF-NIK, IAR (7/13)

Tartalom alapú képkinyerés - 1

A separate feature and image database model: Jose A. Lay, Ling Guan – „Image Retrieval Based On Energy Histograms Of The Low Frequency DCT Coefficients”

2004.11.11. BMF-NIK, IAR (8/13)

Tartalom alapú képkinyerés - 2 Előfeldolgozás, zajszűrés

Medián szűrő Gauss szűrő

Színnormalizáció (Finlayson módszere alapján) Alacsonyszintű tulajdonságok

DCT együtthatók Színhisztogramok 6 színtérben

(RGB, HSV, YIQ, XYZ, L*u*v*, L*a*b*) Textúrázottság (sarkosság), horizontális és vertikális maszk

Hasonlóságmérés Minkowski-féle távolságok Histogram Intersection

Hierarchikus keresés (könyvtárszerkezet mintájára) Több dimenziós hasonlóság vizsgálat Visszacsatolás, Yong Rui technikája

2004.11.11. BMF-NIK, IAR (9/13)

Tesztelés, elért eredmények – 1

Mozgásérzékelés

Jellemző pontok keresése

Konvex burok

2004.11.11. BMF-NIK, IAR (10/13)

Tesztelés, elért eredmények – 2

Tesztelés: csoportvizsgálat Pontosság, UW kollekció alapján

RendszerVissza-csatolásnélkül

Négyvissza-

csatolással

Saját rendszer 30,83% 41,25%

GIFT rendszerhasználatával 53,92% 91,07%

Histogram Intersection HSV színtérben, saját adathalmazon 98%-os pontosságot ért el

2004.11.11. BMF-NIK, IAR (11/13)

Összefoglalás, kitekintés

Kitekintés A színalapú technikákat ki kell egészíteni más

típusú technikák használatával A lekérdezések gyorsításához a B-fák

valamely változatának implementálása, valamint OODB használata

Jelenlegi modellező algoritmusok gyorsítása, ill. más módszerek kipróbálása

Kamera kalibráció

2004.11.11. BMF-NIK, IAR (12/13)

Hivatkozások M.J. Swain and B.H. Ballard - “Color Indexing”

Int’l J. Computer Vision, vol. 7, no. 1, pp. 11-32, 1991. B. V. Funt, G. D. Finlayson – “Color Constant Color Indexing” IEEE Transactions on Pattern

Analysis and Machine Intelligence (PAMIÖ, Bd. 17, Nr. 5, 1995, S. 522-529. Yong Rui, Thomas S. Huang, Michael Ortega and Sharad Mehrotra: Relevance Feedback -

„A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Special Issue on Segmentation, Description, and Retrieval of Video Content, pp644-655, Vol 8, No. 5, Sept, 1998

A GIFT tesztjei elérhetők: http://woodworm.cs.uml.edu/~rprice/ep/mueller/ Jonathan Owens, Andrew Hunter & Eric Fletcher - „A Fast Model-Free Morphology-Based

Object Tracking Algorithm”http://www.bmva.ac.uk/bmvc/2002/papers/99/full_99.pdf

Marc Pollefeys - „3D Modelling from Images” http://www.esat.kuleuven.ac.be/~pollefey/tutorial/ Thomas H. Cormen, Charles E. Leierson, Ronald L. Rivest, Clifford Stein – „Új

algoritmusok”, Scolar Informatika kiadó, 2003. C. Harris and M. Stephens – „A combined corner and edge detector” Fourth Alvey

Vision Conference, pp.147-151, 1988. Mubarak Shah - „Fundamentals Of Computer Vision”

Computer Science Department University of Central Florida, Orlando, 1997.

2004.11.11. BMF-NIK, IAR (13/13)

Köszönöm a figyelmet!

Elérhetőségek:

Kiss Attila (wampy@freemail.hu)

Németh Tamás (pheenix@freemail.hu)

Honlap:

http://roberta.obuda.kando.hu/iar/2004_2005/FTT