analiza gibanja,
DESCRIPTION
Analiza gibanja,. Detekcija, sledenje, analiza, .... Področja uporabe, .... Pristopi, .... Sledenje s Kalmanovim filtrom (Matej Perše) Analiza športnih dogodkov (Janez Perš). Detekcija,sledenje,analiza,. Detekcija (zaznavanje) (Angl. Motion detection) - PowerPoint PPT PresentationTRANSCRIPT
http://vision.fe.uni-lj.si/
Strojni vid
Stanislav Kovačič
Univerza v Ljubljani
Fakulteta za elektrotehniko
Analiza gibanja
Laboratorij za slikovne tehnologije
Analiza gibanja, ....Analiza gibanja, ....
• Detekcija, sledenje, analiza, ....• Področja uporabe, ....• Pristopi, ....• Sledenje s Kalmanovim filtrom (Matej Perše)• Analiza športnih dogodkov (Janez Perš)
Detekcija,sledenje,analiza,...Detekcija,sledenje,analiza,...
• Detekcija (zaznavanje) (Angl. Motion detection)
kje se objekt zanimanja nahaja v sliki
• Sledenje (Angl. (Motion) Tracking)
kje se objekt zanimanja nahaja v zaporedju slik
• Analiza (kvalitativna, kvantitativna) (Angl. Motion Analysis)
kaj se z objektom zanimanja dogaja
• Razpoznavanje (Angl. Recognition) kaj objekt zanimanja je
• Razumevanje (Angl. Understanding)
kakšen je pomen
Področja uporabePodročja uporabe
• Prometni sistemi
• Nadzorni (varnostni) sistemi
• Uporabniški vmesniki
• Šport
• ....
Prometni sistemi
• Samostojno vozilo (navigacija, ....)
• Podpora vozniku (zaznavanje pešcev, ...)
• Nadzor prometa (gostota, zastoji, ...)
Samostojno vozilo
Ernst Dickmanns, Universität der Bundeswehr München, 1999.
Podpora vozniku
D. M. Gavrila, DaimlerChrysler Research, Ulm, Germany, 1999-
Primerjnaje s predlogo in ‘distančni transform’, od grobega k finejšemu.
Nadzor prometa
J. Malik et al., Computer Vision Group, University of California, Berkeley, ~ 1996
Nadzorni (varnostni) sistemi
D. Hogg, School of Computing, University of Leeds, UK, ~ 1998.
Uporabniški vmesniki
D. Gorodnichy, Computational Video Group National Research Council of Canada, 2002.
Analiza športnih dogodkov
• Raziskave na področju športa
• Pomoč trenerjem
• Obogatitev športnih prenosov,
priprava novic, arhiviranje
Športni dogodki
I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.
Športni dogodki
I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.
Športni dogodki
J. Perš, G. Vučkovič, FE, FŠ, UNI-LJ, 2001
Analiza gibanja
• V računalniškem vidu skušamo na podlagi zaporedja
slik iz ene (ali več) kamer sklepati na gibanje
objektov v prostoru. • Slika se kot posledica gibanja objektov v
prostoru s časom spreminja in • z analizo teh sprememb skušamo sklepati na
gibanje objektov.• Op.:
• Stacionarna kamera, gibljiv prizor• Gibljiva kamera, stacionaren prizor• Gibljiva kamera, gibljiv prizor
Analiza gibanja – streo vid
• Problematika analize gibanja (zaporedja slik) ima
precej skupnega s stereo vidom. • V obeh primerih gre za iskanje korespondence med
dvema podobnima slikama.• V primeru časovnega zaporedja slik je ta razlika
običajno majhna – primerjanje je manj zahtevno.• So pa disparitete slik bolj svobodne.
Pristopi
• Diferenčne metode• Odštevanje ozadja • Odštevanje (zaporednih) slik• Optični tok (in polje gibanja)
• Primerjalne metode (podobno kot stereo)• Primerjanje – sledenje področij• Primerjanje - sledenje značilnosti• Prilagodljivi modeli (‘kače’)• Kalmanov filter• ....
Čas do “dotika”
• Gibljivi vizualni vzorci vsebujejo veliko količino informacije.• Že samo na podlagi slike se da ugotoviti čas do dotika (trčenja)
(Angl. Time to Impact, Time to Collison).
Slikovna
ravnina
XX
Z0
Z = Z0 - v . tf
x0
x
V
Zτ0τVZZ 0
0
(t)x
x(t)τ,
τ
1
Z
V x(t)(t)Z
(t)Z
Xf(t)x,
Z(t)
Xfx(t)
2
v
PP
p
Polje gibanja
• Polje gibanja (angl. Motion Field) je 2D upodobitev polja
(vektorjev) hitrosti gibanja (Angl. Velocity Field) v prizoru.
Slikovna
ravnina
Zf
2Z
Z
PV - VZ f v p ,
Z
Pf p P,ωTV
P
p
V
Translatorna
hitrost
Kotna
hitrost
v
Vektor
hitrosti
Vektor
gibanja
Optični tok (angl. Optical Flow)
• Časovne spremembe svetlosti slike imenujemo
‘optični tok’ (Angl. Optical Flow).• Na podlagi optičnega toka skušamo sklepati na
gibanje objekov.• Optični tok pove veliko o polju gibanja in
polju hitrosti,• Vendar so svetlostne spremembe v sliki
posledica tudi drugih učinkov, ne le gibanja.
Enačba optičnega toka
t
tyx
E - vE
E- yE xE
0 δt
δE
t
y
δy
δE
t
x
δx
δE
0 t δt
δE y
δy
δE x
δx
δE
t)y, E(x, t δt
δE y
δy
δE x
δx
δE t)y, E(x,
t)y, E(x, t) t y, y x, E(x
T
x+x
y
x
y+y
E(x+x,y+y,t+t)
E(x,y,t)
Časovna
sprememba
svetlosti
Svetlostni
gradient
Optični tok – problem reže
• Koliko nam enačba optičnega toka pove o polju gibanja?
• Določiti se da samo komponento hitrosti v smeri svetlostnega
gradienta• Pojav je znan kot ‘problem reže’
(angl. Aperture problem).
tE - vE T
Optični tok
• Računanje optičnega toka je zelo občutljivo na šum.• Priporočljivo je (predhodno) filtriranje z nizkopasovnim (na
primer Gaussovim) filtrom. • Lahko pa operacijo filtriranja in odvajanja kar združimo, t.j.
filtriramo z odvodom Gaussa.
E G )E(G E
• Smiselna je tudi naslednja predpostavka:
polje gibanja se počasi spreminja
(je konstantno v majhni okolici izbrane točke).• Torej lahko za vse točke (slikovne elemente) v majhni okolici
določimo skupen (povprečen) vektor polja gibanja.
Optični tok
• Za vsako točko pi v majhni okolici, t.j. ‘oknu’ velikosti N x N
lahko zapišemo:
0E vE t(i)(i)
T
• Iščemo v, ki minimizira srednjo kvadratno odstopanje:
2p
t(i)(i)
i
E vE e(v) T
• Za vsako točko v oknu izračunamo svetlostni gradient in
časovni odvod ter izračunamo optimalni v.• To naredimo za vse točke v sliki ?
Optični tok
• Minimizacija
• pomeni rešiti enačbo
2p
tii
i
)E(p v)E(p e(v) T
bA A vA TT
)E(p
)E(p
)E(p
A
NxN
2
1
)(pE
)(pE
)(pE
b
NxNt
2t
1t
Še o optičnem toku
2yyx
yx2xT
EEE
EEE A A
T
2
1TT Mλ0
0λMMMAA
• ‘Dobre’ sledilne točke so tiste z velikima
lastnima vrednostima.
‘Detektor oglišč’
Optični tok – primer rezultata
J. Perš, LST, FE, UNI-LJ, 2003.
(A. Jepson, M. Black, University of Toronto, 1993)
Optični tok – polje gibanja
• Optični tok je dobra aproksimacija polja gibanja:• v primeru Lambertovih površin,• majhnih fotometričnih distorzij,• oddaljenega točkovnega svetila,• na mestih z velikim svetlostnim gradientom.
Toge predloge
Janez Perš, FE, UNI-LJ, 1999.
Deformabilni modeliDeformabilni modeli
• Krivulji v(s)=(x(s),y(s)), s [0,1] pripada energijski funkcional:
1
0
)( dssEsEE extint vvv
2
2
22)()(
2
1
s
ss
s
sssEint
vvv
0)(
)()(
)(4
4
2
2
sPs
ss
s
ss v
vv
•Minimum energijskega funkcionala poiščemo
z rešitvijo Eulerjeve diferencialne enačbe:
• Aktivni modeli krivulj (kače) (Kass, Witkin):
Krivuljo položimo na slikovno ravnino, kot da je elastična
in jo prilagodimo na vsebino slike.
Elastični model krivulje
Diskretna oblika kačeDiskretna oblika kače
.0
222
21
1
2121
1121221
2
11
1
i
iiii
iiii
iiii
iii
iii
P
hhhh
hhh
v
vvvvvvvvv
vvvv
0)( vAv P
Z diskretizacijo po metodi končnih deiferenc (za i-to točko krivulje):
Vektor diskretnih točk krivulje
Matrika prožnosti (model krivulje)
‘Privlačno’ polje, ki ga generira slika
Deformabilni modeli
J. Denzler, H. Niemann, Institut für Informatik, UNI-Erlangen-Nürenberg, ~1997.
Aktivni modeli krivulj (Angl. Active contours models) “Snakes”.
Kalmanov filter (R.E.Kalman 1960)
• Kalmanov filter je danes osnovno orodje, ki se na
področju računalniškega vida uporablja za sledenje
objektov v povezavi z najrazličnejšimi drugimi pristopi.
• Kalmanov filter s stališča sledenja pomaga oceniti nov položaj
gibajočega se objekta (značilne točke) in negotovost položaja, • to je napove kje iskati objekt v naslednji sliki in• kolikšno naj bo področje iskanja (pregledovanja).
• Rešuje probleme v zvezi z • mankajočo informacijo,• nepopolno informacijo,• moteno informacijo.
Analiza športnih dogodkov
• Začetki 1998 • ..... • Komercialni projekt , 2004 –
Sledenje - rezultat