![Page 1: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/1.jpg)
TRACKING GERAK TANGANBERBASIS PYRAMIDAL LUCAS-KANADE
Affan MahtaramiGame TechnologyGame Technology
NRP: 2207 205 753
![Page 2: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/2.jpg)
Pendahuluan
• Perkembangan teknologi menuntut teknik interaksi yang naturalinteraksi yang natural– Virtual reality, augmented reality, wearable
computer
![Page 3: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/3.jpg)
Pendahuluan
• Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi naturalkandidat metode interaksi natural– Nonintrusiveness– Kaya informasi– Murah
![Page 4: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/4.jpg)
Tujuan & Manfaat
• Tujuan: melakukan tracking gerak tangan berbasis marker menggunakan algoritma berbasis marker menggunakan algoritma Pyramidal Lucas-Kanade– Membandingkan berdasar warna marker (RGB)– Tracking dengan re-identifikasi corner
• Manfaat:Hasil dari penelitian ini diharapkan • Manfaat:Hasil dari penelitian ini diharapkan dapat diimplementasikan sebagai salah satu teknik interaksi pada beberapa bidang aplikasi
![Page 5: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/5.jpg)
Kajian Pustaka
• Tracking ujung jari– Teknik korelasi menggunakan mask berbentuk – Teknik korelasi menggunakan mask berbentuk
lingkaran: Koike (Koike, 2001), Oka (Oka, 2001), dan Letessier (Letessier,2004).
– Teknik template matching: Crowley (Crowley, 1995), dan O’Hagan (O’Hagan, 1997).
– Menggunakan local-maxima bentuk kurva dari – Menggunakan local-maxima bentuk kurva dari batas-luar (boundary) silhuet tangan: Malik (Malik, 2004), Segen (Segen, 1998), dan O’Hagan (O’Hagan, 2002)
![Page 6: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/6.jpg)
Kajian Pustaka
• Penggunaan marker dalam tracking ujung jari:– Maggioni et al. (Maggioni, 1998) menggunakan – Maggioni et al. (Maggioni, 1998) menggunakan
marker berbentuk ellips untuk melakukan estimasi terhadap frame tangan 3D.
– Usabiaga (Usabiaga, 2005) juga menggunakan marker berbentuk ellips namun dengan menggunakan pendekatan multi-kamera.
– Kim dan Felner (Kim, 2004) menggunakan marker berwarna putih yang ditempelkan pada ujung jari dengan latar belakang hitam
![Page 7: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/7.jpg)
Skema Teknik InteraksiBerbasis Gestur
![Page 8: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/8.jpg)
Optical Flow
• Optical flow adalah perkiraan gerakan suatu bagian dari sebuah citra berdasarkan turunan bagian dari sebuah citra berdasarkan turunan intensitas cahayanya pada sebuah sekuen citra.– Seberapa jauh suatu piksel citra berpindah
diantara dua frame citra yang berurutan.
![Page 9: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/9.jpg)
Algoritma Lucas-Kanade
• Algoritma Lucas-Kanade bekerja berdasar pada informasi lokal yang diturunkan dari pada informasi lokal yang diturunkan dari window kecil (patch) disekeliling titik yang diperhitungkan.
• Asumsi:– Konsistensi pencahayaan– Konsistensi pencahayaan– Persistensi temporal– Koherensi spasial.
![Page 10: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/10.jpg)
Algoritma Lucas-Kanade
![Page 11: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/11.jpg)
Algoritma Lucas-Kanade
![Page 12: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/12.jpg)
Pyramidal Lucas-Kanade
![Page 13: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/13.jpg)
Metoda Penelitian
tangan
Pengambilan data
kamera
Sotwarevideo capture
Sekuen video
Pengolahan data
Identifikasi Corner
Tracking
Sekuen videoHasil tracking
![Page 14: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/14.jpg)
Pengambilan Data
• Marker berwarna merah, hijau, dan biru di posisikan pada ujung-ujung jari dan sebuah di posisikan pada ujung-ujung jari dan sebuah di pangkal telapak tangan
• Tangan menghadap kamera
![Page 15: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/15.jpg)
Pengolahan Data
• Dibuat sistem dengan menggunakan software:– Bahasa pemrograman: C++– Bahasa pemrograman: C++– Librari visi komputer :OpenCV– Lingkungan pengembangan: Dev-C++
![Page 16: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/16.jpg)
Hasil & Pembahasan
• Sekuen Video
![Page 17: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/17.jpg)
Hasil & Pembahasan
• Identifikasi Corner7 7
0
1
2
3
4
5
6
7
1 22 43 64 85 106
127
148
169
190
211
232
253
274
295
316
337
358
379
400
421
442
0
1
2
3
4
5
6
7
1 27 53 79 105
131
157
183
209
235
261
287
313
339
365
391
417
443
469
495
521
547
0
1
2
3
4
5
6
7
1 23 45 67 89 111
133
155
177
199
221
243
265
287
309
331
353
375
397
419
441
463
485
![Page 18: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/18.jpg)
Hasil dan Pembahasan
• Deteksi corner pada frame pertama tiap sekuen videosekuen video
![Page 19: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/19.jpg)
Hasil & Pembahasan
• Tracking
0
1
2
3
4
5
6
1 22 43 64 85 106
127
148
169
190
211
232
253
274
295
316
337
358
379
400
421
442
0
1
2
3
4
5
6
7
1 26 51 76 101
126
151
176
201
226
251
276
301
326
351
376
401
426
451
476
501
526
551
0
1
2
3
4
5
6
1 22 43 64 85 106
127
148
169
190
211
232
253
274
295
316
337
358
379
400
421
442
463
484
![Page 20: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/20.jpg)
Hasil & Pembahasan
• Rata-rata jumlah marker yang tepat dapat ditrackingditracking
n 0 2 5 10 25 50 ~
Marker Merah 5.680 5.651 5.727 5.644 5.592 5.338 4.314
Marker Hijau 5.638 5.627 5.584 5.501 5.178 5.119 4.023
Marker Biru 5.512 5.363 5.347 5.311 5.149 5.510 4.618
7,000
0,000
1,000
2,000
3,000
4,000
5,000
6,000
7,000
0 2 5 10 25 50 ~
Marker Merah
Marker Hijau
Marker Biru
![Page 21: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/21.jpg)
Hasil & Pembahasan
• Peningkatan jumlah marker rata-rata yang berhasil ditracking oleh tracking dengan re-berhasil ditracking oleh tracking dengan re-identifikasi corner terhadap tracking tanpa re-identifikasi corner
n 0 2 5 10 25 50 rata2
Marker Merah 1.366 1.337 1.413 1.330 1.278 1.025 1.291 Marker Merah 1.366 1.337 1.413 1.330 1.278 1.025 1.291
Marker Hijau 1.614 1.604 1.560 1.477 1.155 1.095 1.418
Marker Biru 0.894 0.745 0.729 0.693 0.530 0.892 0.747
jumlah 3.874 3.685 3.702 3.501 2.963 3.012 3.456
rata2 1.291 1.228 1.234 1.167 0.988 1.004 1.152
![Page 22: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/22.jpg)
Kesimpulan
• penggunaan proses re-identifikasi corner meningkatkan jumlah rata-rata marker yang meningkatkan jumlah rata-rata marker yang berhasil ditracking jika dibandingkan terhadap tracking tanpa proses re-identifikasi corner– Rata-rata peningkatannya adalah 1,291 untuk
marker merah, 1,418 untuk marker hijau, dan 0,747 untuk marker biru0,747 untuk marker biru
![Page 23: TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS … filePendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya](https://reader030.vdocuments.pub/reader030/viewer/2022040623/5d46e3e388c9933a1f8bc91c/html5/thumbnails/23.jpg)
Kesimpulan
• Penggunaan warna marker berbeda, yaitu merah, hijau, dan biru, pada proses tracking merah, hijau, dan biru, pada proses tracking ini tidak memiliki perbedaan hasil yang signifikan– Nilai selisih rata-rata jumlah marker yang berhasil
ditracking terbesar adalah antara marker warna biru dan hijau, yaitu 0,595biru dan hijau, yaitu 0,595