가톨릭 대학교 컴퓨터 공학과 조상현 강행봉. intelligent interactive media lab...

가톨릭 대학교 컴퓨터 공학과 조상현 강행봉

Intelligent Interactive Media Lab

Catholic University of Korea

Contents

Introduction Related Work Hierarchical propagated Particle Filter

System Overview Loose-Limbed Model and Color distribution Particle-Propagation Estimate the state

Experimental Result Conclusion



1. Introduction

휴먼 포즈 (Human Pose) -> 신체 부위들의 공간적 구성

다 관절체 (articulated structure) 구조의 추적 문제

높은 차원 상태 벡터로 인한 계산 복잡도



2. 관련 연구

작은 로컬 이미지 특징 (small local image feature) 기반 방법 전체 특징을 매칭하는

방법으로 신체 부위를 구별하지 않음 .

Clean background 가 요구됨

Recognizing Posture in Pictures with Successive Convexification and Linear Programming [Hao Jiang, Ze-Nian Li, and Mark S. Drew]



2. 관련 연구 (Cont.)

사람의 신체부위와 그것들의 공간적 구성에 기반한 방법

높은 계산 복잡도와 추적의 어려움

옷의 변화와 겹침 (occlusion)등에 민감

Recognizing Posture in Pictures with Successive Convexification and Linear Programming [Hao Jiang, Ze-Nian Li, and Mark S. Drew]




Tracking using Color based Particle Filter

[Katja Nummiaro et al.]

Top-down 방식

전 프레임에서의 위치를 기반으로 particle 을 생성하고 생성된 particle 을 검증 (verify) 하는 과정을 통해 현 프레임에서의 위치 추정

복잡한 환경에서도 비교적 좋은 추적 성능을 가짐(partial occlusion, rotation, scale)




Multicues 2D articulated pose tracking

using particle filtering

and belief propagation

on factor graphs

[Philippe Noriega and Olivier Bernier]



2. System Overview

입력 이미지 AdaBoost 알고리즘을 이용한

얼굴 및 상체 검출

칼라 정보를 이용한

상박과 하박 검출

칼라 기반 partclr filter 를 이용한

얼굴 및 몸통 추적

제안한 particle filter를

이용한 상박 , 하박과 손 추적

SVM 을 이용한 포즈 인식

raise up left right fore-arm

초기화 단계(Initial stage)

추적 단계(Tracking Stage)

인식 단계(Recognition Stage)



Loose-Limbed 그래프 모델과 칼라 분포

Left upper-arm

Left fore-arm

Upper Body

Head

Right upper-arm

Right fore-arm

Right handLeft hand



Loose-Limbed 그래프 모델과 칼라 분포 (cont.)

( )

2

( )

where

1 : 1 ( )

0 : otherwise

R

i

iui

R

p C k b ua

r rk r

yx

y xx



초기화 (Initialization)

Ada-Boost Algorithm 이용해 몸통 검출 검출된 몸통의 위치를 이용해 얼굴 위치 추정 검출된 위치를 이용해 각 신체 부위의 칼라

모델 초기화

upper-arm torso

fore-arm head torso

hand head torso

( ) ( )

( ) ( ) ( )1 1

( ) ( ) ( )2 2

(1 )

(1 )

u u

u u u

u u u

p p

p w p w p

p w p w p

y y

y y y

y y y



upper1 1

1

upper1 1 1

1

1 1

upper

upp

1

er

( | , )

( | )

( | , ) ( | )( | )

( | )

( | , ) ( | , )( | )

( | )

( | ) ( | )

)

|

|

|

(

(

)

(

t t

t t

t t t t tt t

t t

t t t t t tt t

t t

t t t

t

t t

t t t

t t

p X Z

p X Z

p Z X Z p X Zp X X

p Z Z

p Z X Z p X X Zp X X

p Z Z

p Z X p X X p X Z

p Z

X

Z

p X X

upper

1

upper1 1 1

( | ))

( | ) ( | ) ( | ) ( | )

t t

t t t t t t t t

p X X

p Z X p X X p X Z p X X



Particle-Propagation

State-Vector

Pose-State-Vector

( , , , , )t t t t t tp p p p p pS x y w h

( , ,

, , ,

, , )

t t tpose head upp body

t t tleft upp arm left fore arm left hand

t t tright upp arm right fore arm right hand

S S S

S S S

S S S



Particle-Propagation(cont.) Propagation

1 1

1

( , , )

where

( , )

( ) is rotation

is translation

i i i

t t tp p p i

ti p

i

S w h

G

R T

R

T



Particle Verification

각 particle 의 가중치를 계산하기 위해 Bhattacharyya distance 를 이용

2

2 2

(1 [ , ])

2 2

( ) ( )

1

1 1

2 2where

[ , ]

i

i

p qd

t

mu u

u

e e

p q p q



Estimate the State

T 프레임에서의 신체부위의 위치는 다음과 같다 .

1

[ ] i i

N

t t ti

E S S



SVM 을 이용한 포즈 인식

SVM(Support Vector Machine) 유명한 데이터 분류기로서 속성만으로

이루어진 테스트 집합의 데이터 인스턴스의 목표값 (target value) 을 추정

, ,1

1min

2

subject to ( ( ) ) 1 , 0

lT

ib

i

Ti i i i

C

y b

w

w w

w x



SVM 을 이용한 포즈 인식(cont.)

( , , , )LU LF RU RFx



3. 실험결과 및 분석

실험환경 CPU : Core 2 Duo 2.0Ghz RAM : 2GB Image size : 320 * 240 Particle 개수 : 50-100 개



초기화 및 상박 추적 결과

(a) 원본 이미지 (b) 머리 및 몸통 검출

(c) 상박에 대한 샘플 생성 (d) 상박 추적 결과



(a) 기존의 particle filter 을 이용해 왼손 추적을 한 경우

(b) 제안한 방법을 이용해 왼손 추적을 한 경우



(a) T-form (b) raise up left arm

(c) rise up right arm (d) raise up left and right arm



(a) T-form (b) raise up left arm

(c) rise up right fore-arm (d) Lower the left and right arm



(a) T-form (b) raise up left right fore-arm

(c) rise up left fore-arm (d) raise up right fore-arm



Sequence

pose

Seq 1

(#759)

Seq 2

(#680)

Seq 3

(#732)

Total

Error

T-form

(#1124)0 0 1 0.09

raise up left

fore-arm

(#209)

0 1 2 1.44

raise up right

fore-arm

(#123)

0 1 0 0.81

raise up left

right

fore-arm

(#151)

0 0 13 8.6

raise up left

arm

(#145)

0 0 0 0

raise up right

arm

(#157)

2 6 0 5.09

raise up arm

(#161)0 0 0 0

lower the left

and right arm

(#64)

0 0 0 0

Total Error 0.26 1.17 2.18



결론

칼라 기반 계층적 생성 particle-filter 를 이용한 다관절체 추적 기법 제안

제안한 방법은 신체적 구조를 이용해 적은 샘플을 이용하고도 좋은 성능의 추적결과를 얻음 .



향후과제

3D 추적으로의 확장

칼라 뿐만이 아닌 다른 특징을 첨가하여 좀 더 강건한 추적 기법 개발

가톨릭 대학교 컴퓨터 공학과 조상현 강행봉. intelligent interactive media lab...

Documents