stereovizijski sustavi

Kruno Kruno KantociKantoci

2Stereovizijski sustavi

Uvod Osnove fotogramentrije Strojni stereo vid Primjeri

3Stereovizijski sustavi

Za percepciju udaljenosti objekata od nas, potrebna su nam 2 oka

Testirajte se:Testirajte se:

4Stereovizijski sustavi

Slike koje vidimo lijevim i desnim okom nisu potpuno jednake mali razmak između ljudskih očiju

5

Uvod – ljudski vidUvod – ljudski vid

Na toj se činjenici temelji strojni stereo vid

Stereovizijski sustavi

6Stereovizijski sustavi

2 ili više kamera omogućuju percepciju 3D svijeta

Osnovni pojmovi:• Kalibracija• Koordinatni sustavi• Projekcijska geometrija • Epipolarna geometrija• Paralelne i konvergirane kamere• Korespondencija

• Segmentacija slike• Korelacija

• Strukturirano svijetlo

7Stereovizijski sustavi

Ljudski vid

Strojni vid

8Stereovizijski sustavi

9Stereovizijski sustavi

Fotogrametrija je umjetnost, znanost i tehnologija za dobivanje pouzdanih informacija o objektima realnog svijeta i okruženja kroz proces snimanja, mjerenja i interpretacije fotografskih slika

Područja primjene:• Blokaerotriangulacija• Arhitektura i zaštita spomenika• Građevinarstvo• Arheologija• Industrija i strojarstvo • Medicina• Fotorealistična vizualizacija i animacija• ......

10

Stereovizijski sustavi

Prednosti• Raznovrsni podaci• Velike mogućnosti automatizacije• Veliki raspon točnosti• Velika pouzdanost• Jednostavna mogućnost naknadnih mjerenja• Široka spektralna osjetljivost (IC, termalno ...)

11

Stereovizijski sustavi

Tipovi obrade• Metrička fotogrametrija• Interpretativna fotogrametrija

Tipovi snimanja• Terenska i bliskopredmetna fotogrametrija• Aerofotogrametrija• Satelitska fotogrametrija

Tehnologije obrade• Analogna fotogrametrija• Analitička fotogrametrija• Digitalna fotogrametrija

12

Stereovizijski sustavi

Beskontaktna digitalizacija• Usporedba s CAD modelima• Kontrola kvalitete• Inverzno inženjerstvo• Pakiranje• Virtualna stvarnost• ...

13

Stereovizijski sustavi

Prostorno mjerenje• Izmjera točaka, provrta, bridova• Određivanje deformacija• Definiranje koordinatnih sustava• ...

14

Stereovizijski sustavi

Analiza deformacija• Prostorno mjerenje deformacija i naprezanja• Testiranje materijala• Dimenzioniranje komponenata• Određivanje svojstava materijala• Eksploatacija u industrijskoj sredini• …

15

Stereovizijski sustavi

Praćenje dinamičkih deformacija• Mjerenje 3D deformacija i vibracija• Dinamičko testiranje materijala• Analiza relativnog gibanja• …

16Stereovizijski sustavi

17

Stereovizijski sustavi

18

Stereovizijski sustavi

Koordinate piksela koordinate slike

Ekstrinsični parametri – definiraju lokaciju i orijentaciju koordinatnog sustava kamere u odnosu prema poznatom referentnom koordinatnom sustavu svijeta

Intrinsični parametri – povezuju koordinate piksela s korespodentnim slike s korespodentnim točkma u referentnom sustavu kamere

Procjena parametara kamere• Fotogrametrička kalibracija• Samokalibracija

19

Stereovizijski sustavi

Koordinatni sustav svijeta (w) Koordinatni sustav kamere (c) Koordinatni sustav slike – euklidski (i) Koordinatni sustav slike – afina (a)

20

Stereovizijski sustavi

Koordinatni sustav slike

Koordinatni sustav kamere

21

Stereovizijski sustavi

Odnos (X, Y, Z) i (x, y) određuje se preko omjera trokuta

Jednadžbe perspektivne transformacije:

f – fokalna duljina kamera

fZ

Xx f

Z

Yy

22

Stereovizijski sustavi

Virtualna slika• Slika u kameri je invertirana potrebna prilagodba• Za prikazivanje slike na ekranu• Geometrija ista kao i prije• Nalazi se ispred kamera

23

Stereovizijski sustavi

B – duljina osnovne linije kamera

f – fokalna duljina kamera Z – dubina (udaljenost) točke:

Koordinate točke:

d

BfZ

d

Bx

f

ZxX

d

By

f

ZyY

24

Stereovizijski sustavi

Često korištenje “Cyclopean” koordinatnog sustava

Izrazi za konverziju:

Geometrija paralelnih kamera se izbjegava

xRxL

xRxLDX

2 xRxL

DyY

xRxL

DfZ

25

Stereovizijski sustavi

Mnogo češći slučaj - dubina fiksacijske točke

Izraz da dubinu glasi:

0Z

0Z

BfD

BfZ

26

Stereovizijski sustavi

Omogućava epipolarno ograničenje koje smanjuje dimenzije prostora u kojem tražimo korespodenciju između točke viđene različitim kamerama sa cijele slike na ograničeni prostor Epipolarna ravnina definirana je sa OP i O’P l i l’ - epipolarne linije e i e’ – epipolovi tj. virtualne slike optičkog centra prve kamere viđene drugom kamerom

27

Stereovizijski sustavi

Određivanje ekvivalentnih točaka iz dvije slike iste scene Pretpostavke:

• Odgovarajuća područja slika su slična• Točka u jednoj slici može odgovarati samo jednoj točki u drugoj

slici• Ako su dva odgovarajuća elementa blizu na slici tada je u većini

slučajeva njihova nepodudarnost ista jer okoliš predstavlja kontinuirana površina omeđena granicama

Osnovne metode:• Segmentacija • Korelacija

28

Stereovizijski sustavi

Provodi se u nekoliko koraka:• Ekstrakcija značajki pojedinog segmenta

• Odabir segmenta na lijevoj slici• Usporedba sa svakim segmentom desne slike • Odabir segmenta koji najbolje odgovara traženom segmentu

sa lijeve slike • Iteracija prijašnjih koraka

29

Stereovizijski sustavi

30

Stereovizijski sustavi

Epipolarno ograničenje Ograničenje jedinstvenosti Fotometričko ograničenje Ograničenje geometrijskih sličnosti Ograničenje istih značajki Ograničenje rasporeda Obostrana korespondencija

31

Stereovizijski sustavi

Za rješavanje problema korespondencije Za scene bez dovoljno detalja za

usporedbu Izbjegavanje kalibracije stereopara Daje gustu mapu udaljenosti

32

Stereovizijski sustavi

Binarno kodiranje

Sinusni val

33Stereovizijski sustavi

34

Stereovizijski sustavi

Zbog nepravilnog pozicioniranja Kamere snimaju pločicu i svrdlo 2 kamere udaljenost svrdla od

pločice Paralelne kamere

35

Stereovizijski sustavi

4 referentne podloge Razlika CAD modela i obrađenih slika stvarna pozicija

svrdla Nije potrebna kalibracija stereopara

36

Stereovizijski sustavi

pogreška

pogreška

ispravljena

37

Stereovizijski sustavi 37

Višerezolucijski stereovizijski sustav Jeftina integrirana stereo glava Stereo algoritam pokretan na PC-u Cilj: autonomnost robota pri prepoznavanju okoline

38

Stereovizijski sustavi

Dinamička promjena rezolucije Rezolucije od 320x60, 160x60 i 80x60 piksela Svaka slika pojedine rezolucije se posebno obrađuje

39

Stereovizijski sustavi

Traženje širine hodnika

Kreirana mapa hodnika

40

Prijedlog pitanja za kolokvijPrijedlog pitanja za kolokvij Na kojoj se prirodnoj činjenici temelji strojni stereo vid?

◦ Zbog malog razmaka između ljudskih očiju, slike koje vidimo pojedinim okom nisu potpuno jednake

Koje tehnologije obrade slika poznajete u fotogrametriji?◦ Analogna fotogrametrija◦ Analitička fotogrametrija◦ Digitalna fotogrametrija

Koje su dvije metode kalibracije za procjenu parametara kamere?◦ Fotogrametrička kalibracija◦ Samokalibracija

Koji se koordinatni sustav najčešće koristi pri geometriji paralelnih kamera te gdje mu je ishodište?◦ Cyclopean – ishodište je na polovici udaljenosti između kamera

Koji su najčešći oblici strukturiranog svjetla?◦ Binarno kodiranje◦ Sinusni val