MOTION TRACKINGOlaf ChristAIS-Sommersemester 2000

Betreuer: Prof. C. Klauck

Motion Tracking

• Ziele des Vortrags• Einsatzgebiete• Bewegungsanalyse• Methoden• Weitere Probleme des Motion Tracking• Abschließendes / Ausblick

Ziele des Vortrags

Vermittlung:• von Einsatzgebieten• elementarer Probleme des Motion Trackings.• einiger Lösungsansätze und Bewertung• weitere Probleme des Motion Trackings• was ist nun Motion Tracking ?

Einsatzgebiete

• Robotvision• Fahrzeugtechnik (Crashtests)• Leitsysteme (Autopilot)• Medizintechnik (Operationshilfe)• Sportmedizin (Bewegungsanalyse)• Unterhaltungsindustrie (Motion Capturing)• Microsoft Explorer Maus (Optischer Sensor)• Militär (Lenksysteme)

Bewegungsanalyse

• Was ist Bewegung ?• Bildsequenzanalyse• Blendenproblem• Korrespondenzproblem• Bildsequenzanalyse• Optischer Fluss• Methoden / Lösungsansätze

Was ist Bewegung

Behauptungen:• Bewegung stellt sich durch eine Veränderung zwischen

Einzelbildern dar.

• Bewegung stellt sich durch Grauwertänderungen dar.

Bewegungsanalyse

Bewegungsanalyse

Bewegungsanalyse

• Bewegung kann in Grauwertänderungen resultieren• Der Umkehrschluss trifft leider nicht zu• Bewegungsanalyse hängt eng mit räumlichen und

zeitlichen Grauwertänderungen zusammen,die sich mit Hilfe von lokalen Operatoren ermitteln lassen

• Operatoren zur Bestimmung des Verschiebungsvektorssehen aber immer nur einen kleinen Ausschnitt

Das Blendenproblem? Der Verschiebungsvektor (VV)

kann nicht eindeutig bestimmt werden. Punkte können nicht eindeutig wiedergefunden werden.

? ?

Lokale Operatoren liefern wenig Information über Bewegung !

Das Korrespondenzproblem

vorhernachher

mittlerer Teilchenabstand ist größer als der VV mittlerer Teilchenabstand ist kleiner als der VV

Das Korrespondenzproblem

• Wir können keine korrelierenden Punkte in zwei aufeinanderfolgenden Bildern finden

• Das Blendenproblem ist ein Spezialfall des allg. Korrespondenzproblems

• Aufnahmefrequenz muss so groß sein, daß der mittlere VV signifikant kleiner als der mittlere Partikelabstand ist.

• Physikalische stimmt nicht immer mit der sichtbaren K. überein oder es lässt sich nur eine Größe bestimmen.

Bildsequenzanalyse

tan φxtan φyu = -u = - tan φ

Geschwindigkeit ist direkt mit der Orientierung verknüpft !

Bildsequenzanalyse

y

t

x

BildsequenzanalyseVorteile:• Lösung des Schnappschußproblems• Geschwindigkeit kann direkt als Orientierung gemessen

werden• Größere Robustheit gegenüber zeitweiliger Verdeckung

von Objekten• Möglichkeit der Bewegungsabschätzung und analytischen

Betrachtung der Algorithmen im kontinuierlichen xt-Raum

Das Blendenproblem bleibt uns aber leider erhalten.

Bewegung im Fourierraum

• Betrachtet die Bewegung im xt-Raum im korrespondierenden kώ-Raum

• Geschwindigkeit und Orientierung lassen sich relativ leicht bestimmen

• Möglichkeit eines zeitlichen Tiefpassfilters• Das Blendenproblem wird mittransformiert• Objektidentität geht verloren

Optischer Fluß• Bewegung und Grauwertänderung sind nicht äquivalentBegriffserklärung:Bewegungsfeld: Projektion der Bewegungen in der 3D-Szeneauf die Bildebene.Optischer Fluß:• Grauwertfluß in der Ebene bzw. die sichtbare Bewegung in der Ebene• Nur gleich bei konstanter Beleuchtung in der BildebeneIm kontinuierlichen Raum gilt:• Wird der Optische Fluß aus zwei aufeinanderfolgenden Bildern

bestimmt, dann erscheint er als Verschiebungsvektor von den Merkmalen des ersten zu denen des zweiten Bildes.

Im diskreten Raum entsprechend:• Liegt an jedem Bildpunkt solch einen Vektor vor, dann hat man ein

Verschiebungsvektorfeld.

Optischer Fluß

• Näherung des optischen Flusses: Wir teilen das VVF durch das Zeitintervall zwischen den beiden Bildern

• Die Bestimmung des optischen Flusses aus nur zwei aufeinanderfolgenden Bildern ist nicht sehr robust

• Orts/Zeit -Bilder erlauben eine wesentlich robustere Aussage

Optischer Fluß

Bewegungsbestimmung im Orts / Zeit-Raum ist robust gegenüber Verdeckung

Methoden• Differentielle Methoden

MehrkanalbilderOrts/Zeit-Energie ModelleMethoden der kleinsten QuadrateDifferentialgeometrische Methoden

• Alternativen zur Differentiellen Methode: TensormethodeKorrelationsmethodePhasenmethode

• Robustheit

Differentielle Methoden

• Klassischer Ansatz der Bewegungsanalyse zwischen zwei aufeinanderfolgenden Bildern

• Es ist nicht möglich den kompletten VV an jedem einzelnen Punkt im Orts/Zeit-Bild zu bestimmen

Mehrkanalbilder

• Nutzt weitere Kanäle, um beide Komponenten des optischen Flusses zu bestimmen

• Stellt eine Erweiterung der Differentialgeometrischen Modellierung dar und erlaubt die beliebige Vorverarbeitung von Bildern.

• Ist nur sinnvoll, wenn ein zusätzliches Merkmal auch wirklich neue Information bringt

Tensormethode

• Erlaubt die Berechnung der lokalen Orientierung jedes Objektes unter Zuhilfenahme der Tensor-Rechnung und Eigenwertanalyse.

• Objektidentität wird beibehalten

Korrelationsmethode• Analyse der Verschiebung zweier aufeinanderfolgender

Bilder• Sucht in einem bestimmten Bereich nach der Position der

optimalen Ähnlichkeit• Zwei Merkmale sind gleich, wenn sie sich nur um einen

Faktor α unterscheiden, der die Beleuchtungsunterschiede angibt

• relativ unempfindlich gegenüber Beleuchtungsänderungen und die Standardmethode bei Stereobildern

• Hohe (Subpixel)-Genauigkeit• sehr rechenintensiv und im allgemeinen auf zwei Bilder

beschränkt

Phasenmethode

• die wesentliche Bildinformation ist in der Phase des Bildsignals enthalten

• Die Methode ist unempfindlich gegenüber Beleuchtungsänderungen

• Eigentlich ein 1D -Konzept• Bei Erweiterung auf 2D erlaubt sie aber sogar die

Verarbeitung komplexer Fälle wie sich überlagernder transparenter Objekte

Allgemeine Probleme

• Ungleichmäßige Bewegung führt zu einem Fehler in der Schätzung des Optischen Flusses, der mit dem Quadrat der Beschleunigung wächst.

• Ein zunehmender Rauschpegel vermindert die Kohärenz zwischen Nachbarschaften

Robustheit

• Differentielle Methoden sind nicht robust gegenüber Beleuchtungsänderungen

• Die Korrelationsmethode ist robust gegenüber geringen Beleuchtungsänderungen,die Phasenmethode praktisch gar nicht.

• Phasen- und Tensormethode sind relativ unempfindlich gegenüber Bewegungsdiskontinuitäten

Überdeckung

• Ein weiteres Problem des Motion Trackings• Wichtige Teile eines Objekte sind in irgendeiner Art

verdeckt• Shape-Segmentation• Lösungsansatz mittels neuronaler Netze

Template / Pattern Matchingzur Findung der Region of Interest (ROI)

• Am besten lösbar mit Kenntnis des zu verfolgenden Objekts

Abschließendes /Ausblick• Es konnte nur ein winziger Einblick gegeben werden• Motion Tracking ist immer noch ein schwieriges

komplexes Thema• Das Korrespondenzproblem und das Problem der

Überdeckung bleiben schwierig und sind noch nicht vollständig gelöst

• Beleuchtungsänderungen sind ein großes Problem• Es gibt allerdings mittlerweile sehr stabile Algorithmen• Flexiblere Verfahren wie zB. Template /Pattern Matching

die Methode lösen die Methode mit Markern allmählich ab• Durch die Veröffentlichung einer Open Source Bibliothek

von Intel und die rasante Performancesteigerung der Prozessoren ist M. T. für jedermann anwendbar.

LiteraturhinweiseJähne 1997 Jähne, Bernd: Digitale Bildverarbeitung: Springer – ISBN 3-540-61379-XFoley 1997 Foley, James D. :Computer Graphics: Principles and Practice: Addison-Wesley – ISBN 0-201-84840-6 INTEL 2000 Computer Vision Library: http://developer.intel.com/software/opensource/index.htmErreichbar am 25.6.2000MIT Media Laboratory Computers Watching Football:http://www-white.media.mit.edu/vismod/demos/football/tracking.htmErreichbar am 25.6.2000Horst Haussecker 1997 Bildfolgenanalyse: http://klimt.iwr.uni-Heidelberg.de/Projects/BAW/diplhhaus/node1.htmlErreichbar am 25.6.2000Die Fensterfunktion: http://129.206.107.84/PublicFG/ProjectB/CFT/dipluschimpf/node16.htmlErreichbar am 25.6.2000Torsten Rupp Axiales Motion Stereo: http://www.fzi.de/mmr/german/projects/ams/Ams2.htmlErreichbar am 25.6.2000Frank Hering Optimierung der Teilchenzuordnung: Fuzzy Logic: http://klimt.iwr.uni-heidelberg.de/Projects/paper/doktor/node65.htmlErreichbar am 25.6.2000Dmitry Chetverikov Tracking in computer vision: http://visual.ipan.sztaki.hu/pivweb/node2.htmlErreichbar am 25.6.20001997 Image and Video Computing Group - Boston University Active Blobs:Approach: http://irc.bu.edu/faculty/sclaroff/ivc/ActiveBlobs/approach.htmlErreichbar am 25.6.2000Philip McLauchlan Visual Tracking: http://http.cs.berkeley.edu/~pm/Papers/bmvc97/node2.htmlErreichbar am 25.6.2000Sang-Hwa Lee, Seoul National University (Korea) Jong-Il Park, MIC3, ATR (Japan) Choong-Woong Lee, Seoul National University (Korea)Motion Analysis II, A New Stereo Matching Algorithm Based on Bayesian Model: http://www.causalproductions.com/TEMP/INDEX/IC98S507.HTMErreichbar am 25.6.2000Bewegungsschätzung im Spektralraum: http://est340.e-technik.tu-ilmenau.de/pvk/bericht/4-08.htm#BewegungsschätzunErreichbar am 25.6.2000Hydra: Multiple People Detection and Tracking Using Silhouettes: http://www.umiacs.umd.edu/~hismail/Hydra_Outline.htmNeil Johnson University of Leeds / Vision Group: http://www.scs.leeds.ac.uk/neilj/research.htmlErreichbar am 25.6.2000