primjena vali au robotskom vidubrod.pfst.hr/~ivujovic/stare_stranice/pdf_zip_word/dki...uvod vali ć...

Primjena valića u

robotskom vidu

Igor Vujović

Sadržaj

•

Uvod•

Temelji

valića

•

Primjene

valića-

u otkrivanju rubova

-

u otkrivanju sjena-

u otkrivanju kretnji

•

Zaključak

UVOD

Administrator

Sticky Note

U automatskim sustavima s povratnom vezom koriste se senzori koji daju podatke kontroleru o mjernoj veličini. Temeljem tih podataka sustav automatske regulacije šalje korekcije izvršnim članovima koji djeluju na proces. S pomoću kamere (senzor), ako je riječ o npr. robotu, može se otkriti prepreka. Temeljem te informacije, kontroler računa novu stazu kojom će robot izbjeći sudar i šalje izračunate signale aktuatorima. Gibanjem po novoj stazi, robot izbjegava sudar s preprekom. Slično kao u prethodnom primjeru, zadatak može biti otkrivanje događaja ili kretnji u nadzornim sustavima. Tada izlaz može biti npr. znak za uzbunu. Jedno od najzahtjevnijih područja u ovom kratkom opisu je obradba slike kojom bi se dobile značajke više razine iz značajki niže razine. Značajke niže razine obuhvaćaju npr. otkrivanje rubova ili kontura, a značajke više razine uključuju npr. prepoznavanje i praćenje objekata i događaja. Izlučivanje značajki niže razine temelji se na obradbi slike, dok se izlučivanje značajki više razine temelji na tehnikama strojnog učenja. Zahtjevi koji se danas postavljaju na sustave strojnog vida sve su veći. Stoga se sve više koriste valićne funkcije.

UVODValići

se mogu u robotskom vidu koristiti kao:

pomoćne operacije i kao glavni postupak.

Češće korištene pomoćne operacije su:-

otklanjanje šuma,

-

sažimanje,

-

promjena razlučivosti (na manju ili veću),

-

rastavljanje signala, itd.

Administrator

Sticky Note

Ipak, vidni senzori u strojnom vidu nisu isto što i kod ljudi. Naime, senzori mogu djelovati na različitim frekvencijama pa stoga mogu biti i infracrveni i ultraljubičasti, dok je ljudski vid ograničen samo na jedan uski dio elektromagnetskog spektra. Valićna aproksimacija omogućuje da se strojni vid po karakteristikama približi ljudskom. Na taj način se realizira i kodiranje MPEG, DIVIX i sl formata. Naime, pozadina se kodira s manjom razlučivošću, jer i čovjek zanemaruje detalje u neznačajnom dijelu slike. S druge, pak, strane, kretnje se kodiraju s više podataka (većom razlučivošću), jer sadrži informaciju od interesa. Za to je pogodna valićna transformacija.

UVODKao glavni postupak češće se primjenjuje za:

-

otkirvanje rubova,

-

kompenzacija kretnji kamere,

-

estimacija kretnji,

-

predikcija kretnji,

-

prepoznavanje (objekata, otisaka prstiju ili mrežnice, itd),

- praćenje objekata,

-

identifikacija parametara, nelinearno upravljanje, itd.

UVOD

Područje kretnje(potrebni detalji)

Model ljudskog vidnog osjeta

Statički dio slike Pozadina Područjeinteresa

Manje podatakaViše podataka

Temelji valića

–

što su valićiValić

(engl. wavelet)

dolazi od francuske riječi ondelette

što

znači mali val.Općenito, valić

je

funkcija valnog oblika ograničenog trajanja srednje

vrijednosti

0.

Tipični

valići:•

Tzv. “meksički

šešir”

valić•

Haarov

valić

•

Morletov

valić

Administrator

Sticky Note

Valić je doslovni prijevod iz Francuskog (Wavelet is literally translated from the French word) ondelette, što znači mali val (meaning small wave). Ne mogu se upotrijebiti za DC komponente, a svatko može izmislit svoj valić.

Valićna

transformacija•

Prevladava ugrađene rezolucijske probleme STFT-a upotrebom promjenjivog prozora

•

Prozori za analizu različitih duljina koriste se za različite frekvencije:–

Analiza visokih frekvencija Koriste se uži prozori zbog bolje vremenske razlučivosti

–

Analiza niskih frekvencija Koriste se širi prozori zbog bolje frekvencijske razlučivosti

•

Heisenbergovo načelo je očuvano.•

Kernelska funkcija

naziva

se valićem.

Administrator

Sticky Note

Postoje dva ekstremna slučaja koji služe kao primjeri vremensko-frekvencijske analize: kada je analizirana Diracova delta funkcija y(t) = δ(t), tada je vremenska rezolucija najbolja, tj. točno je određeno bez pogreške vrijeme kad se ostvaruje amplituda, ali nema frekvencijske rezolucije i kada je analizirana funkcija y(t) = 1, gdje je izvrsna frekvencijska rezolucija, ali nema podataka o vremenu.

Valićna

transformacija i načelo neodređenosti

Shema podjele f-t ravnine (engl. tiling): a)

STFT –

isti prozori za sva vremena i frekvencije,

b)

MRA –

prozori istih površina, ali različitih duljina stranica

a) b)

Administrator

Sticky Note

Valići su od značajnog interesa u primjenjenoj matematici. Mogu se koristiti za rastavljanje (dekompoziciju) podataka, funkcija i operatora u različite frekvencijske komponente, koje se mogu proučavati s razinom razlučivosti koja odgovara skali određene komponente. Ova “multirezolucijska” tehnika nadvladava radom Fourierovu analizu na takav način da su i vremenska i frekvenciska informacija očuvane. Može se reći da WT izvodi optimizirano uzorkovanje. Nasuprot WT, prozorskoa FT preuzorkuje objekt od interesa s obzirom na Nyquistov kriterij uzorkovanja. Napomena: F=1/skala, ali bi slika b) izgledala obrnuto, trebalo bi biti skala-pomak, ali se to ona ne može usporediti s a) tillingom.

Valićna

transformacija

( )∫ ⎟⎠⎞

⎜⎝⎛ −

=Ψ= ∗

txx dt

sttx

sssCWT τψττ ψψ 1),(),(

Kontinuirana WT

signala

x(t) upotrebom analizirajućeg valića

ψ

Translacijski parametar, mjera vremena

Parametar skale, mjera frekvencije

“Mother wavelet” (osnovni valić). Svi kerneli se dobijaju translatiranjem (pomakom, shift) i/ili skaliranjem (scaling) ovog valića

Normalizacijska konstanta Signal za

analizu

Skala = 1/frekvencija

Administrator

Sticky Note

CWT-om se definira vremenski i frekvencijski parametar.

Osnovna valićna

funkcija (engl. mother wavelet)

•

Kernelske

funkcije

koje se koriste u WT se dobivaju iz prototipne funkcije s pomoću skaliranja

i translatiranja

te funkcije.

)(1)(, st

sts

τψψτ−

=

Parametar skale

Translacijskiparametar

Normalizacijski faktor kakobi se osiguralo da svi valići

imaju istu energiju

WT kao korelacija

Među-korelacija:

tada je:

W(s, τ) je među-korelacija signala

x(t) i osnovnog valića

na skali

s, i pomaku

τ. Ako je

x(t) slična

osnovnom valiću,

tada je W(s, τ) velik.

∫ ∗>=< dttgtftgtf )()()(),( >=< )(),(),( , ttxsW s τψτ

>−=<

−⋅= ∫ ∗

)(),(

)()()(

τ

ττ

tytx

dttytxRxy

)()(),(),(

,,

0,

bRttxsW

osx

s

ψ

τψτ=

>−=<

Administrator

Sticky Note

Napomena: Inner product – 2D i višedimenzionalni skalarni produkt vektora. Naime, integral u Hilbertovom području je površina ispod 2 krivulje, integral je broja. Za okomite=0, a za paralelne=1. U Decartesovom je to L2 norma (udaljenost). Supremum u običnom prostoru, tj. max vektora. DWT se dobiva najjednostavnije dobiti uzorkovanjem koeficijenata CWT. Ovo sve vrijedi i za DWT samo su zbrojevi umjesto integrala i broj uzorka umjesto vremena!!!!

DWT –

filtarska izvedba

G

H

2

2 G

H

2

2

2

2

G

H

+

2

2

G

H

+

x[n]x[n]

Rastav (dekopomozicija) Obnavljanje (rekonstrukcija)

~

~ ~

~

∑ +−=n

vp kngnxky ]2[][][~

∑ +−=n

np knhnxky ]2[][][~

∑ +−⋅k

vp kngky ]2[][

∑ +−⋅k

np kngky ]2[][

G

H

VP za pola pojasa

NP za pola pojasa

2

2

Poduzorkovanje

Naduzorkovanje

Administrator

Sticky Note

Naglasit razliku: CWT – analogni signal. DWT – digitalni signal. Diskretizirana CWT je jedini način primjene CWT na digitalnom računalua. A to je u biti kvazi-kontinuirana WT. Može se rastavljati i detalje dalje, ali nema potrebe. Based on multiresolution approximation (MRA) Approximate a function at various resolutions using a scaling function, f(t) Keep track of details lost using wavelet functions, y(t) Reconstruct the original signal by adding approximation and detail coeff. Implemented by using a series of lowpass and highpass filters Lowpass filters are associated with the scaling function and provide approximation Highpass filters are associated with the wavelet function and provide detail lost in approximating the signal

2-D DWT

•

2D funkcije slike f(x,y) I[m,n] funkcija intenziteta

•

Što znači napraviti

2D-DWT slike? Kako se interpretira?–

Opis

slike

funkcijom

–

“Prolazak”

slike kroz NF i VF•

Što

se postiže

2D-DWT slike?

–

Sažimanje–

Uklanjanje šuma

–

Izlučivanje karakteristika

Administrator

Sticky Note

Pozicija piksela – valićna funkcija (mother wavelet), intenzitet piksela – funkcija skaliranja (father wavelet). + valićna fja.U bti 3D, jer ima i skaliranje. Kako odrađuje “D signale onda se naziva 2-D DWT.

2D-DWT

SLIKE

•

Jedna razina

2D DWT rekonstrukcije:

(

))()(),()()(),()()(),(

)()(),(),(1

nxnxpndnxnxpncnxnxpnb

nxnxpnayxf

o

o

o

n po

−⋅−⋅+−⋅−⋅+−⋅−⋅+

−⋅−⋅= ∑ ∑∞

−∞=

∞

−∞=−

ψψφψψφ

φφAproksimacijski koeficijenti

Detaljni koeficijenti u vodoravnom smjeru

Detaljni koeficijenti uokomitom smjeruDetaljni koeficijenti uSmjeru dijagonala

Valićna funkcija Funkcija skaliranja

Implementacija

2D-DWT

ULAZNASLIKA…

…

……

RE

DO

VI

STUPCIH~ 2 1

G~ 2 1

H~ 1 2

G~ 1 2

H~ 1 2

G~ 1 2

REDOVI

REDOVI

STUPCI

STUPCI

STUPCI

LL

LH

HL

HH

)(1

hkD +

)(1

vkD +

)(1

dkD +

1+kA

ULAZNASLIKA

LL LH

HL HH

LLLH

HL HH

LHH

LLH

LHL

LLLLH

HL HH

LHH

LLH

LHL

Implementacija

2D-DWTValićni rastav slike

REDOVI i

STU

PCIj

Administrator

Sticky Note

Sa downsamlingom se zaprvo vrši filtriranje, jer je to NF – usrednjavanje funkcije.

50 100 150 200 250 300 350

50

100

150

200

250

50 100 150 200 250 300 350

50

100

150

200

250

50 100 150 200 250 300 350

50

100

150

200

250

50 100 150 200 250 300 350

50

100

150

200

250

LLAproksimacija

LHVodoravni detalji

HLOkomiti detalji

HHDijagonalni detalji

288x360*4slike=414720

(3x manje od gornje razine)

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

Izvor: 576x720x3=1244160

podataka

NF VF

200 400 600 800 1000 1200 1400

100

200

300

400

500

600

700

800

900

1000

1100

Superrezolucija:Izvor = aproksimacijaDetalji =0 ili šum (model)Ili apriorno znanje (model)

1150x1438x3

podataka

VALIĆNA ANALIZA NA PRIMJERU SLIKA (DWT2)

Preko 90% energije signala

Administrator

Sticky Note

Ako se rastavi aproksimacija još jednom, opet se dobijaju 4 nove matrice (slike), ali ta nova aproksimacija sadrži 0.9x0.9=0,81 energije izvornog signala (81%), a broj podataka se smanjio 3x u odnosu na prošlu razinu. Stoga se treba analizirati 9x manje podataka negu u izvornoj slici uz gubitke manje od 20%. Ako se ,pak, detalji potpuno zanemare, onda za obradbu ostaje na 1.razini 12x manje podataka, a na drugoj, ako opet uzmemo samo aproksimaciju, čak 144x manje podataka. Pitanje je, naravno, da li se pri tome izgube neki značajni podaci, ali to ovisi o primjeni. Slika na nižim razinama, ako se uzima samo aproksimacija, može gubiti na oštrnini rubova, ali ako se uzmu detalji, dobija se savršena rekonstrukcija. load 19122007.mat; clear film1;clear film2; film3(1)=film3(2);film=film3; clear film3;i=2; c=frame2im(film(i-1)); [CA,CH,CV,CD] = dwt2(c,'db2'); colormap(gray(256));image(CA);colormap(gray(256));image(CH);colormap(gray(256));image(CV);colormap(gray(256));image(CD) asup1 = idwt2(c(:,:,1),zeros(size(c(:,:,1))),zeros(size(c(:,:,1))),zeros(size(c(:,:,1))),'db2'); asup2 = idwt2(c(:,:,2),zeros(size(c(:,:,2))),zeros(size(c(:,:,2))),zeros(size(c(:,:,2))),'db2'); asup3 = idwt2(c(:,:,3),zeros(size(c(:,:,3))),zeros(size(c(:,:,3))),zeros(size(c(:,:,3))),'db2'); as(:,:,1)=asup1;as(:,:,2)=asup2;as(:,:,3)=asup3; image(abs(as)/256)

Primjeri upotrebe WT

Primjena WT bit će ilustrirana na primjerima:

-

otkrivanja rubova u slici,

-

uklanjanja sjena iz slika i

-

otkrivanja kretnji.

PRIMJENA VALIĆA U OTKRIVANJU RUBOVA: Što

su rubovi?

•

Rub u slici je kontura uzduž

koje se osvjetljenje naglo mijenja.

•

Otkrivanje

rubova uobičajeni je postupak niske razine obradbe slike, koji se rijetko može preskočiti.

•

Dobro otkrivanje rubova je uvjet za visokokvalitetnu segmentaciju i praćenje.

•

Kod sive slike, rub se može definirati kao relativno malo područje unutar kojeg dolazi do velike promjene intenziteta. Većina algoritama za otkrivanje rubova je izvedena prozorski i

uobičajeno se poboljšavaju rubovi, a tada se primjeni tzv. postupak

praga. Razne su grane istraživanja rubova –

odabir praga, odabir veličine prozora, šum, povezivanje rubova te otkrivanje rubova kod pokretnih objekata.

Administrator

Sticky Note

Ja isto preskačem edge detection u nekim algoritmima, Da se unaprijedi međudjelovanje potrebno je usavršiti ne samo analizu i obradbu slike već i robotsko razumijevanje podataka dobivenih analizom slike, kao što je npr. prepoznavanje gestikulacija [47, 54]. Da bi se putanja čovjeka/objekta mogla izračunati i procijeniti buduće položaje objekata u blizini robota, potrebno je, kroz niz slika, pratiti kretnje objekta od interesa. Poseban problem u praćenju objekata su sjene, ali i nepreciznost otkrivanja rubova. Nakon svakog postupka otkrivanja rubova, potrebno je spojiti točke, koje su mapirane kao rubovi, u smislene cjeline, kako bi se informacija o rubovima mogla upotrijebiti za npr. sparivanje uzoraka, prepoznavanje objekata, lica i sl. Stoga su jako važne tehnike automatskog određivanja praga. Prvi primjer uporabe valića koji će se razmotriti je primjer otkrivanja rubova. Detektor ruba je visokopropusni filter, koji se primjenjuje na sliku za izlučivanje rubova pa se stoga realizira kao konvolucija slike i maske. U slučajevima kad su rubovi jako usmjereni, neki detektori rubova daju bolje rezultate, ali, u načelu, svi klasični detektori otkazuju kod većeg šuma.

Klasični detektori rubova•

Detektori prvog reda

•

Roberts, •

Prewitt, •

Sobel,•

Canny.

•

Detektori drugog reda•

Laplacian, •

Postupak prelaska nule, •

Marr-Hildreth,•

Laplacian

Gaussiana.

•

Ostali detektori•

Različiti modeli rubova,•

Različiti modeli šumova i•

Koji ne mogu raditi odvojeno od nekog drugog postupka (npr. segmentacije).

Detektori ruba prvog reda

Canny Sobel

PrewittRoberts

Razlika detektora prvog i drugog reda

Prag

Prolazak kroz 0

Administrator

Sticky Note

Detektori 2. reda ekvivalentni su diferenciranja drugog reda. Sastoje se od primjene diferenciranja 2.reda i pronalaženja mjesta prelaska nule u drugoj diferenciji. Otkrivanje rubova – kod 1. reda je to thresholding maksimuma, a kod 2. reda nalaženje točke infleksije 2.derivacije.

Valićni

postupci otkrivanja rubova•

Iskorištavanje valićne

maksime.

•

Višeskalni

valićni

model temeljen na MRA.

•

Više-valićni

pristup.

•

Kad se s WT kroz više razina rastavlja slika, dolazi do degradacije u smislu da ne ostaje ništa osim rubova.

•

Valićni

postupci mogu biti prvog, drugog ili viših redova.

•

Valićni

postupci omogućuju uvođenje različitih vrsta modela i mreža (npr. valićni

opis karakteristika ili valićne

neuronske mreže, modeli ljudske percepcije,...)

u detektore ruba.

Administrator

Sticky Note

Momentni - redovi Što je i kako se prevodi i definira wavelet maxima? To je lokalni maksimum. Kad se veliki gradijent propusti kroz VF on prolazi, a kad je mali gradijent, ne prolazi kroz VF. Stoga VF daje rubove. Zavisi koji se red vanishing momentsa koristi, mogu biti 1,2. i ostalih redova.

OTKRIVANJE RUBOVA VALIĆIMAIzvorna slikaZbroj detalja 1.stupnja Zbroj detalja 2.stupnja

LL1

LL2 LH2 HL2 HH2

LH1

HL1

HH1

Administrator

Sticky Note

Kako je detalj VF, a s VF se dobija edge, onda je to ujedno i detekcija rubova. Gore je ilustrirano korištenje valićnih detalja za otkrivanje rubova.Nije korišteno još odšumljivanje i pragiranje, što bi poboljšalo dodatno sliku. Ili iz aprkoksimacije ili iz detalja. Iz aproksimacije se može zbog ublažavanja oštrine izgubiti preciznos položaja ruba.???? Prikazati od neke slike rubove u detaljima da se ilustrira taj dio teksta!!!!!!!!!!!!!!!!!!!111 Gradijent u aproksimaciji – raad (ako je pravilo odabran prag za 0 i 1, jer inače imamo bilo koje vriejdnosti gradijenta, mogu se ukloniti i rubovi sjena) load 19122007.mat a=frame2im(film3(97)); [CA,CH,CV,CD] = dwt2(a,'haar'); image(a);title('Izvorna slika'); figure,colormap(gray(256));image(CD*4) figure,colormap(gray(256));image(CH*2) figure,colormap(gray(256));image(CV*2) figure(4);title('Okomiti detalji') figure(3);title('Vodoravni detalji') figure(2);title('Dijagonalni detalji') figure,colormap(gray(256));image(abs(CV+CH+CD)); title('Zbroj detalja 1. razine') a=double(imread('robot_fer.tif'));% neku bolju sliku??? [CA,CH,CV,CD] = dwt2(a,'haar'); [CA2,CH2,CV2,CD2] = dwt2(CA,'haar'); ILI iz Matalb help: load tartan; level = 1; [c,s] = wavedec2(X,level,'coif2'); [chd1,cvd1,cdd1] = detcoef2('all',c,s,level); figure('Color','white'), image(X), colormap(map) title('Original Image') figure('Color','white'), image(chd1),colormap(map) title('Horizontal Edges')

Prostorno polje kretnji za detekciju ruba iz valićne

aproksimacije

Prostorna

aktivnost računa se drugom usmjerenom derivacijom, što u diskretnom području odgovara:

Ako se te jednadžbe primjene (zbroje)

na valićnu aproksimaciju, rezultat je isticanje rubova, jer se rub može

otkriti s pomoću gradijenta.

[ ] [ ] [ ][ ] [ ] [ ]

[ ] [ ] [ ][ ] [ ] [ ]1,15,0,1,15,0

1,15,0,1,15,0

1,,21,

,1,2,1

21)(

21)(

21)()(

2

21)(

21)(

21)()(

1

21)(

21)(

21)()(

21)(

21)(

21)()(

+++−−−=∂

+−+−−+=∂

++−−=∂

++−−=∂

nnfnnfnnff

nnfnnfnnff

nnfnnfnnff

nnfnnfnnff

kkkkD

kkkkD

kkkkH

kkkkV

Usporedba nekih detektora rubova

Izvorna slika Sobel Prewit

Više-valićni pristup Gradijent aproksimacije

Canny

Usporedba nekih detektora rubova

Şendur and Guleryuzrubovi kretnje

Gradijent aproksimacije

Izvorna slika

Utjcaj praga na otkrivanje rubova

50 100 150 200 250 300 350

50

100

150

200

250

Prag=200

50 100 150 200 250 300 350

50

100

150

200

250

Gradijent aproksimacije Prag=50

Canny Laplacian

Gaussiana Valićni detalji bez praga

Uzroci sjena:-

Produkt neke operacije ili operacija na slici (autokorelacijom

se rješava, jer se dobiva ako se dvije i/ili više slika dobro ne filtriraju –

razmazivanje. Autokorelacijom se odredi pomak

između 2 slike,tj.koliko slika “sudjeluje”

u sjeni)

-

Slika je mutna (ovdje se isto radi o 2 ili više slika,

koje

su blizu jedna drugoj pa se isto treba raditi autokorelacija. Osim ako je uzrok blur

filter, jer se tada primjenjuje prag).

-

Ako je slika snimljena sa sjenom zbog nezgodno postavljenog izvora svjetla, sjena je fizički dio slike i teorijski je nije moguće odvojiti od stvarnog objekta. Međutim, može se tražiti u kojem dijelu spektra se sjena nalazi i tada se primjenom tzv. metode

praga odstrani taj dio spektra. Naravno, tu postoji opasnost od gubitka korisnih informacija.

TIPOVI SJENAPosebice problematična sjena je ona snimljena sa slikom

(npr. izvor svjetlosti je u takvom položaju da se stvara sjena).

Tipovi

takvih sjena su:

-

Statička (od nepokretnih predmeta), koje se mogu ukloniti s primjenom tzv. metode

oduzimanjem pozadine.

-

Dinamička (od pokretnog objekta) → Problematične!!

Pomiče

se s objektom pa se ne može ukloniti s oduzimanjem pozadine.

Parametri

koji je potrebno odrediti mogu biti

osvijetljenost, kontrast i sl. pravih objekata i sjena te se može

pokušati

matematički formulirati zakonitosti, ili prijeći

u NTSC (YIQ) područje boja i koristiti samo prvu komponentu, što uz prag

često uklanja sjene.

Administrator

Sticky Note

Čitav je niz referenci koje se bave s traffic surveilance koje otklanjaju sjene od zgrada, ali ne od automobila koji se kreću. Znači li to da se disparitetom kod stereo vida može ukloniti sjena, je imamo različite kutove gledanja i različitu sjenu.

TIPOVI SJENA

•

Meke •

Tvrde

Tvrda Meka

PRIMJER UKLANJANJA RUBOVA KOJI PRIPADAJU SJENAMA

Canny

Otkrivanjeruba primjenom valićas prostornom aktivnošću u aproksimaciji

Izvorna slika

Administrator

Sticky Note

Vidi se da valićnom transformacijom dolazi do otkrivanja ruba kombija, ali ne i sjene. Korišten je prag za niske frekvencije (sive tonove). S druge strane, Canny “vidi” i sjene i kombi. Moguća primjena valića u okviru robotskog vida je uklanjanje sjena, jer se preciznost praćenja čovjeka/objekta smanjuje zbog sjena. Dvije su značajke sjena: 1) visokofrekvencijska informacija (detalji ako se gleda u valićnoj domeni) područja koje zauzimaju sjene je manja od one koja se javlja u područjima poput kose, crnog odjela, i dr. zbog manje varijacije u sjajnosti boje; 2) vrijednost koeficijenata u niskofrekvencijskom području (valićna aproksimacija) je manja, jer su sjajnost boja i osvjetljenost sjena u tim područjima manje. Pri uklanjanju sjena počinje se od prvog svojstva tako da se koeficijenti, koji imaju nisku kromatičnost i luminiscenciju, izluče. Ostatak, poput odjeće ili lica, izuzeti su. Nakon valićnog rastava prvog stupnja, X i Y informacije iz različitih podpodručja projiciraju se u komponente niže i više frekvencije. Visokofrekvencijska informacija područja sa sjenama je manja od iste za kosu ili za crnu odjeću, jer ima manju varijaciju u sjajnosti boje. Vrijednost koeficijenata u niskofrekvencijskom području je manja, jer je sjajnost boje i jačina osvjetljenja sjena niža. Stoga se problem uklanjanja sjena može svesti na određivanje praga sjena u valićnim koeficijentima. Uspoređujući s pozadinom, pokretni objekt će dovesti do velike varijacije jačine osvjetljenja. Pokretni objekti se odvajaju od pozadine prema histogramu. Nakon postupka uklanjanja sjena, predviđa se približni položaj u sljedećoj slici. Primijenjen je dijamantni postupak pretrage (engl. Diamond Search Algorithm, DSA). Eksperimenti su rađeni na slikama rezolucije 320x240 piksela, a ona se još umanjuje na pola valićnim rastavom [13]. Gornji se algoritam najlakše može ostvariti u NTSC prostoru boja (YIQ). U tom prostoru boja, jačina osvjetljenja je sivi signal koji se koristi u crno-bijeloj televiziji. Druge dvije komponente daju informaciju o tonu i zasićenju. Opisan je postupak u radu modificiran na način da se koristi samo Y komponenta boje (sjajnost). Na valićnoj aproksimaciji je primijenjen prag i detekcija ruba iz polja kretnji [RAAAD].

PRIMJER OTKRIVANJA SJENAIzvorna slika

Dinamičke sjene zamjenjene crnom bojom

Dinamičke sjene zamjenjene bijelom bojom

Vodoravni detalji Aproksimacija

Vodoravni detalji

Dinamičke sjene zamjenjene bijelom bojom sjajnost valićne aproksimacije

Čovjek

Dinamičkasjena = bijelo

Čovjek

Primjer gubitaka kod prevelikog pragaPrimjer prevelikog praga

50 100 150 200 250 300 350 400

50

100

150

200

250

300

Otkrivanje kretnjiNačini otkrivanja kretnji:

•

vremensko

razlikovanje,•

tehnike

optičkog toka i

•

oduzimanja

pozadine

Vrlo važnu ulogu o otkrivanju kretnji igraju modeli pozadine, a neki od načina modeliranja pozadine su:

•

oduzimanje

slika,•

usrednjeno

filtriranje,

•

kalmanovo filtriranje.

Administrator

Sticky Note

Načini otkrivanja kretnji: Vremensko razlikovanje (time differencing comparisons), Tehnike optičkog toka i Oduzimanja pozadine (engl. background subtraction) A varijacije su i: Razlikovanje slika (engl. Frame Differerncing), Usrednjeno filtriranje (engl. Median Filtering, Approximated Median), Kalmanovo filtriranje. Memory-Based Motion Detection (MBMD) technique is proposed under assumption that the illumination conditions are constant to detect very small/slowly moving objects in very low contrast scenes.

OTKRIVANJE KRETNJE RAZLIKOM SLIKA:

a) Oduzimanje trenutne i referentne slike

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

b-aa-b

OTKRIVANJE KRETNJE RAZLIKOM SLIKA:

b) Oduzimanje susjednih slika

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

OTKRIVANJE KRETNJI

Administrator

Sticky Note

U radu je, kao ilustracija detekcije kretnji, napravljen algoritam u m-kodu, koji radi s on-line kamerom Samsung SDC-410 s veličinom slike 576x720 piksela, uz on-line rad s brzinom od 15 do 26 fps, ovisno i o tome u koliko je slika kretnja. Algoritam se sastoji od 9 koraka:

OTKRIVANJE KRETNJIRad algoritma za otkrivanje kretnji i odvajanje prvog plana.

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

100 200 300 400 500 600 700

50

100

150

200

250

300

350

400

450

500

550

Administrator

Sticky Note

dki_on1.m i dki_off1.m Ovdje se koristi korelacija i prag za kretnje. Prikazati on-line ili off-line s nekim filmom u tijeku prezentacije!

OTKRIVANJE KRETNJI

Slika očišćena morfološki

Primjer potpuno valićnog postupka otkrivanja kretnji

Canny razlika trenutne i referentne slike

Razlika kvadrata valićne aproksimacijetrenutne i referentne slike

Administrator

Sticky Note

Ovdje nema korelacije niti praga kretnje, nego se algoritma izvršava za svaku sliku pa je sporiji od prethodnog koji se ne odvija ako nema kretnje. Dobra segmentacija kretnje, ali se pragom može riješiti ostatak scene.

Primjer potpuno valićnog postupka otkrivanja kretnji

50 100 150 200 250 300 350

50

100

150

200

250

50 100 150 200 250 300 350

50

100

150

200

250

Otkrivanje kretnji s uklanjanjem sjena, primjer

Izvorna slika Prvi plan, vidi se kretnja, šum i dinamička sjena

Segmentirana kretnja,očišćen šum i uklonjenasjena.

Administrator

Sticky Note

Foregr_bez_sjena.m – Ovo je s pomoću praga za spektar gdje je sjena. Problem je što su hlače sive slično spektru sjene, relativno blizu worst case scenario.

ZAKLJUČAK•

U radu su ilustrirane neke moguće primjene valića u

robotskom vidu na tri primjera: otkrivanju rubova, uklanjanju sjena i otkrivanju kretnji.

•

Postoje i druge mogućnosti primjene, koje su mogući predmet budućeg istraživanja.

•

Valići

se mogu koristiti za praćenje i predviđanje kretnji, a istraživanja u tom smislu se u svijetu već

provode. To

je od iznimne važnosti u međudjelovanju čovjeka i stroja.

Stvarni izgled valićnih koeficijenata (naredba image daje nama razumljiv

prikaz, a ovo je plot)

0 50 100 150 200 250 3000

100

200

300

400

500

600

700�Prikaz vali nih aproksimacijakih koeficijenata

Otkrivanje rubaLazy wavelet-aproksimacija

50 100 150 200 250 300 350

50

100

150

200

250

Stol prekidavidokrug kamere

Multirezolucijski algoritam za otkrivanje kretnji

Goli algoritam

20 40 60 80

10

20

30

40

50

60

70

Kretnja superponirana na izvornu sliku

100 200 300 400 500 600 700

100

200

300

400

500

Istaknuti rubovi kretnje

100 200 300 400 500 600 700

100

200

300

400

500

100 200 300 400 500 600 700

100

200

300

400

500

3.razina MRA

Osnovna valićna

funkcija (engl. mother wavelet)

•

Kernelske

funkcije

koje se koriste u WT se dobivaju iz prototipne funkcije s pomoću skaliranja

i translatiranja

te funkcije.

)(1)(, abt

atba

−= ψψ

Parametar skale

Translacijskiparametar

)()(0,1 tt ψψ =

Normalizacijski faktor kako bi se osiguraloda svi valići imaju istu energiju

∫∫∫∞

∞−

∞

∞−

∞

∞−

== dttdttdttba22

)0,1(

2

),( )()()( ψψψ

Filtarska

interpretacija DWTUzorkuju se CWT koeficijenti u diadičkoj mreži, a vrijednosti

skale, odnosno pomaka, dobijaju se po formulama: (1) (2)

gdje su k i j iz skupa cijelih brojeva.

Valićna funkcija u diskretnom vremenu, s obzirom na (1) i (2), može se pisati:

js 2= jkt 2*=

( ) ( )ktktssskat

st jjjj

j

j

jkj −=−=⎟⎟⎠

⎞⎜⎜⎝

⎛ −= −−−− 221)( 2/

002/

00

00

0

, ψτψτψψ

kjkj ddtttxsW ,, )()(),( =⋅≅ ∫ ∗ψτ (4)-DWT

∑ ∑∞

−∞=

∞

−∞=

⋅=j k

kjkj tdc

tx )(1)( ,, ψ (5)-IDWT

∑∑==

−⋅=−⋅===N

k

N

kknxkhknhkxnxnhnhnxny

11][][][][][*][][*][][

(3)

(6)

2D valićna

i funkcija skaliranja•

Definicija 2D funkcije skaliranja i valićne

funkcije:

•

Ako

je φ(t) ortogonalna

onda je i Sφφ

ortogonalna. Ako je

fo (x,y) projekcija f(x,y) na

prostor

Vo dobivena sa

sφφ

(x,y) :

)()(),( yxyxs φφφφ ⋅=

{ }Zlklykxs ∈−− ,:),(φφ

>−−=<

−−⋅= ∑ ∑∞

−∞=

∞

−∞=

),(),,(),(

),(),(),(

jyixsyxfjia

jyixsjiayxf

o

i joo

φφ

φφ

)()(),( yxyxs ψψψψ ⋅=

SPATIAL MF DETECTOR PRINCIPLE

Original

Wavelet approximation

Movement in x-direction

Movement in y-direction



x+y-direction movement

Main diagonal movement

Minor diagonal movement



2-diagnals movement

x,y, and 2 diag. movement

x+y movement

primjena vali au robotskom vidubrod.pfst.hr/~ivujovic/stare_stranice/pdf_zip_word/dki...uvod vali ć...

Documents