TRACKING GERAK TANGANBERBASIS PYRAMIDAL LUCAS-KANADE
Affan MahtaramiGame TechnologyGame Technology
NRP: 2207 205 753
Pendahuluan
• Perkembangan teknologi menuntut teknik interaksi yang naturalinteraksi yang natural– Virtual reality, augmented reality, wearable
computer
Pendahuluan
• Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi naturalkandidat metode interaksi natural– Nonintrusiveness– Kaya informasi– Murah
Tujuan & Manfaat
• Tujuan: melakukan tracking gerak tangan berbasis marker menggunakan algoritma berbasis marker menggunakan algoritma Pyramidal Lucas-Kanade– Membandingkan berdasar warna marker (RGB)– Tracking dengan re-identifikasi corner
• Manfaat:Hasil dari penelitian ini diharapkan • Manfaat:Hasil dari penelitian ini diharapkan dapat diimplementasikan sebagai salah satu teknik interaksi pada beberapa bidang aplikasi
Kajian Pustaka
• Tracking ujung jari– Teknik korelasi menggunakan mask berbentuk – Teknik korelasi menggunakan mask berbentuk
lingkaran: Koike (Koike, 2001), Oka (Oka, 2001), dan Letessier (Letessier,2004).
– Teknik template matching: Crowley (Crowley, 1995), dan O’Hagan (O’Hagan, 1997).
– Menggunakan local-maxima bentuk kurva dari – Menggunakan local-maxima bentuk kurva dari batas-luar (boundary) silhuet tangan: Malik (Malik, 2004), Segen (Segen, 1998), dan O’Hagan (O’Hagan, 2002)
Kajian Pustaka
• Penggunaan marker dalam tracking ujung jari:– Maggioni et al. (Maggioni, 1998) menggunakan – Maggioni et al. (Maggioni, 1998) menggunakan
marker berbentuk ellips untuk melakukan estimasi terhadap frame tangan 3D.
– Usabiaga (Usabiaga, 2005) juga menggunakan marker berbentuk ellips namun dengan menggunakan pendekatan multi-kamera.
– Kim dan Felner (Kim, 2004) menggunakan marker berwarna putih yang ditempelkan pada ujung jari dengan latar belakang hitam
Skema Teknik InteraksiBerbasis Gestur
Optical Flow
• Optical flow adalah perkiraan gerakan suatu bagian dari sebuah citra berdasarkan turunan bagian dari sebuah citra berdasarkan turunan intensitas cahayanya pada sebuah sekuen citra.– Seberapa jauh suatu piksel citra berpindah
diantara dua frame citra yang berurutan.
Algoritma Lucas-Kanade
• Algoritma Lucas-Kanade bekerja berdasar pada informasi lokal yang diturunkan dari pada informasi lokal yang diturunkan dari window kecil (patch) disekeliling titik yang diperhitungkan.
• Asumsi:– Konsistensi pencahayaan– Konsistensi pencahayaan– Persistensi temporal– Koherensi spasial.
Algoritma Lucas-Kanade
Algoritma Lucas-Kanade
Pyramidal Lucas-Kanade
Metoda Penelitian
tangan
Pengambilan data
kamera
Sotwarevideo capture
Sekuen video
Pengolahan data
Identifikasi Corner
Tracking
Sekuen videoHasil tracking
Pengambilan Data
• Marker berwarna merah, hijau, dan biru di posisikan pada ujung-ujung jari dan sebuah di posisikan pada ujung-ujung jari dan sebuah di pangkal telapak tangan
• Tangan menghadap kamera
Pengolahan Data
• Dibuat sistem dengan menggunakan software:– Bahasa pemrograman: C++– Bahasa pemrograman: C++– Librari visi komputer :OpenCV– Lingkungan pengembangan: Dev-C++
Hasil & Pembahasan
• Sekuen Video
Hasil & Pembahasan
• Identifikasi Corner7 7
0
1
2
3
4
5
6
7
1 22 43 64 85 106
127
148
169
190
211
232
253
274
295
316
337
358
379
400
421
442
0
1
2
3
4
5
6
7
1 27 53 79 105
131
157
183
209
235
261
287
313
339
365
391
417
443
469
495
521
547
0
1
2
3
4
5
6
7
1 23 45 67 89 111
133
155
177
199
221
243
265
287
309
331
353
375
397
419
441
463
485
Hasil dan Pembahasan
• Deteksi corner pada frame pertama tiap sekuen videosekuen video
Hasil & Pembahasan
• Tracking
0
1
2
3
4
5
6
1 22 43 64 85 106
127
148
169
190
211
232
253
274
295
316
337
358
379
400
421
442
0
1
2
3
4
5
6
7
1 26 51 76 101
126
151
176
201
226
251
276
301
326
351
376
401
426
451
476
501
526
551
0
1
2
3
4
5
6
1 22 43 64 85 106
127
148
169
190
211
232
253
274
295
316
337
358
379
400
421
442
463
484
Hasil & Pembahasan
• Rata-rata jumlah marker yang tepat dapat ditrackingditracking
n 0 2 5 10 25 50 ~
Marker Merah 5.680 5.651 5.727 5.644 5.592 5.338 4.314
Marker Hijau 5.638 5.627 5.584 5.501 5.178 5.119 4.023
Marker Biru 5.512 5.363 5.347 5.311 5.149 5.510 4.618
7,000
0,000
1,000
2,000
3,000
4,000
5,000
6,000
7,000
0 2 5 10 25 50 ~
Marker Merah
Marker Hijau
Marker Biru
Hasil & Pembahasan
• Peningkatan jumlah marker rata-rata yang berhasil ditracking oleh tracking dengan re-berhasil ditracking oleh tracking dengan re-identifikasi corner terhadap tracking tanpa re-identifikasi corner
n 0 2 5 10 25 50 rata2
Marker Merah 1.366 1.337 1.413 1.330 1.278 1.025 1.291 Marker Merah 1.366 1.337 1.413 1.330 1.278 1.025 1.291
Marker Hijau 1.614 1.604 1.560 1.477 1.155 1.095 1.418
Marker Biru 0.894 0.745 0.729 0.693 0.530 0.892 0.747
jumlah 3.874 3.685 3.702 3.501 2.963 3.012 3.456
rata2 1.291 1.228 1.234 1.167 0.988 1.004 1.152
Kesimpulan
• penggunaan proses re-identifikasi corner meningkatkan jumlah rata-rata marker yang meningkatkan jumlah rata-rata marker yang berhasil ditracking jika dibandingkan terhadap tracking tanpa proses re-identifikasi corner– Rata-rata peningkatannya adalah 1,291 untuk
marker merah, 1,418 untuk marker hijau, dan 0,747 untuk marker biru0,747 untuk marker biru
Kesimpulan
• Penggunaan warna marker berbeda, yaitu merah, hijau, dan biru, pada proses tracking merah, hijau, dan biru, pada proses tracking ini tidak memiliki perbedaan hasil yang signifikan– Nilai selisih rata-rata jumlah marker yang berhasil
ditracking terbesar adalah antara marker warna biru dan hijau, yaitu 0,595biru dan hijau, yaitu 0,595