objektu 3d sekošana izmantojot pasīvo stereo redzi uz mobilas platformas
DESCRIPTION
Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas. Harijs Grīnbergs ˠ , Artis Mednis* un Modris Greitāns ˠ Diskrētās signālu apstrādes laboratorijaˠ Kiber-fizikālo sistēmu laboratorija* Elektronikas un datorzinātņu institūts, Dzērbenes iela 14, LV-1006, Rīga, Latvija - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/1.jpg)
Objektu 3D sekošanaizmantojot pasīvo stereo redzi
uz mobilas platformas
Harijs Grīnbergsˠ, Artis Mednis* un Modris Greitānsˠ
Diskrētās signālu apstrādes laboratorijaˠKiber-fizikālo sistēmu laboratorija*
Elektronikas un datorzinātņu institūts,Dzērbenes iela 14, LV-1006, Rīga, Latvija
{vārds.uzvārds}@edi.lv
30.10.2013
![Page 2: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/2.jpg)
Motivācija un mērķi• Sistēma tiktu izmantota kā daļa no Viedā
transportlīdzekļa Adaptīvās Kruīza Kontroles (ACC) un Vadītāja Asistēšanas Sistēmas (ADAS)
• Ātrums – Sistēmai ir jāstrādā reālā laikā• Pasīva sistēma –Netraucē un patērē mazāk enerģiju• Noslēgta – Viegli izmantot un uzstādīt uz mašīnas• Robusta – Nespēja detektēt un sekot var novest pie
avārijas
Harijs Grīnbergs 2/19
![Page 3: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/3.jpg)
Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras
3/19Harijs Grīnbergs
![Page 4: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/4.jpg)
Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras
4/19Harijs Grīnbergs
![Page 5: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/5.jpg)
Stereo redze• Iegūst objektu pozīcijas izmantojot divas kameras• Disparitāte ir inversi proporcionāla attālumam
5/19Harijs Grīnbergs
![Page 6: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/6.jpg)
Zemes detektēšana un noņemšana• Zeme rada līdzenu gradientu kas rada segmentēšana
problēmas• Debesīm ir kļūdaina disparitāte• Detektē izmantojot RANSAC līnijas atrašanu Y/Z telpā
6/19Harijs Grīnbergs
![Page 7: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/7.jpg)
7/19Harijs Grīnbergs
Zemes detektēšana un noņemšana• Zeme rada līdzenu gradientu kas rada segmentēšana
problēmas• Debesīm ir kļūdaina disparitāte• Detektē izmantojot RANSAC līnijas atrašanu Y/Z telpā• Zeme noņemta izmantojot detektēto leņķi un augstumu
![Page 8: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/8.jpg)
Objektu detektēšana• Vajag detektēt visus objektus• Izmanto filtrētu plān-tipa aizņemtības karti
8/19Harijs Grīnbergs
Sqv
n
iv
yxBqyxG
yxByxpyxB
,,max
,,,0
![Page 9: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/9.jpg)
Segmentācija un sekošana• Ierobežota segmentēšana ar attāluma koeficentu• Segmentētās virsmas centroīds izmantots kā Kalmana
filtra mērījums
9/19Harijs Grīnbergs
2
,,,,
0
and ,1, 00
d
bf
d
zC
CCzzCCzzyxS
d
dpyxyxdsyxyx pp
![Page 10: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/10.jpg)
Ego kustības kompensācija• Kurš kustas? Mēs vai sekojamais objekts?• Uz stereo redzes bāzēta vizuālā odometrija
10/19Harijs Grīnbergs
TKKKR
Tzyx
Tzyx
TRTT
RT
tt
RRRRvvvvvv
RRzyxzyx
RRR
pRp
111
11
,
1,61,51,4
1
![Page 11: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/11.jpg)
Ego kustības kompensācija• Kurš kustas? Mēs vai sekojamais objekts?• Uz stereo redzes bāzēta vizuālā odometrija
11/19Harijs Grīnbergs
![Page 12: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/12.jpg)
Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi
• Robusta vairāku mērķu sekošana
12/19Harijs Grīnbergs
![Page 13: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/13.jpg)
Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi
• Robusta vairāku mērķu sekošana• Sarežģītākas kustības sekošana
13/19Harijs Grīnbergs
![Page 14: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/14.jpg)
Testēšana• Testēts pilsētas apstākļos ar pilsētas satiksmi
• Robusta vairāku mērķu sekošana• Sarežģītākas kustības sekošana• Kājāmgājēju sekošana
14/19Harijs Grīnbergs
![Page 15: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/15.jpg)
Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)
biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.
15/19Harijs Grīnbergs
![Page 16: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/16.jpg)
Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)
biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.
16/19Harijs Grīnbergs
![Page 17: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/17.jpg)
Aprobācija• Veikta kopā ar Latvijas Auto klubu apvienības (LAKA)
biedriem - Amerikāņu auto klubu un biedrību „MB Club.lv”.
17/19Harijs Grīnbergs
![Page 18: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/18.jpg)
Nobeigums• Sistēma spēj detektēt un sekot vispārējiem objektiem• Strādā reālā laikā ar 40fps uz 2.9Ghz I5 (70fps 4.4Ghz)• Sekošana prasa 0.1-0.2ms katram mērķim• Maksimālais sekošanas attālums ar Bumblebee XB3
(24cm attālums starp kamerām) ir 50m• Robusta detektēšana
• Nākotnes darbs iekļauj klasificēšanu un modeļu izmantošanu precīzākai sekošanai lielākās distancēs
• Kustību klasificēšanu un notikumu analīzi priekš vadītāja brīdināšanas
18/19Harijs Grīnbergs
![Page 19: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/19.jpg)
Paldies! Jautājumi?
Pētījuma aktivitātes veiktas Valsts pētījumu programmas "Inovatīvo daudzfunkcionālo materiālu, signālapstrādes un informātikas tehnoloģiju izstrāde konkurētspējīgiem zinātņu ietilpīgiem produktiem" projekta "Inovatīvas signālapstrādes tehnoloģijas viedu un efektīvu elektronisko sistēmu radīšanai" ietvaros.
19/19Harijs Grīnbergs
![Page 20: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/20.jpg)
Lietus ietekme
20/19Harijs Grīnbergs
![Page 21: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/21.jpg)
Lietus ietekme
21/19Harijs Grīnbergs
![Page 22: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/22.jpg)
Lietus ietekme
22/19Harijs Grīnbergs
![Page 23: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/23.jpg)
Lietus ietekme
23/19Harijs Grīnbergs
![Page 24: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/24.jpg)
Lietus ietekme
24/19Harijs Grīnbergs
![Page 25: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/25.jpg)
Lietus ietekme
25/19Harijs Grīnbergs
![Page 26: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/26.jpg)
Lietus ietekme
26/19Harijs Grīnbergs
![Page 27: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/27.jpg)
Lietus ietekme
27/19Harijs Grīnbergs
![Page 28: Objektu 3D sekošana izmantojot pasīvo stereo redzi uz mobilas platformas](https://reader036.vdocuments.pub/reader036/viewer/2022062422/56813324550346895d9a06e4/html5/thumbnails/28.jpg)
Lietus ietekme
28/19Harijs Grīnbergs