3 by dr.ahn

Body Gesture Recognition

2010-03-23안정호

연구목표

• Body part location estimationo Head, o Left hand, Right hand, o Left foot, Right footo 8 joints

• Hand gesture recognitiono Defined several hand gesture(posture) recognition

개발 방법론Body part location estimation

• Detection Process

Head/Feet Detection(Head Silhouette by Bkg Subtraction)

Hands Detection(Color in Face Region by GMM)

Joint Detection(Silhouette Feature Analysis)

START TRACKING

개발 방법론Body part location estimation

• Tracking ProcessTracking Each Part(MeanShift Method by OpenCV)

Location Compensation(PCA and Nonlinear Regression,Training based Method)

Tracking Feature Update(Update Color Model and Define Search Regions)

Output Five 3D Locations(x1, y1, z1, x2, y2, z2, , x10, y10,

z10)

Data Flow Diagram

인체 요소 검출정면카메라

측면카메라

정면인체 영상

측면인체 영상

그래픽 모듈

13 개 인체요소의 3

차원좌표

Level 0

Data Flow Diagram

1. 실루엣추출정면인체 영상

13 개 인체요소의 3 차원좌표

Level 1

3. 실루엣추출

2. 인체 요소 검출

4. 인체 요소 검출

측면인체 영상 측면 실루엣 영상

정면 실루엣 영상

13 개 인체요소의 x, y 좌표

Data Flow Diagram

1.1 배경모델링

정면인체 영상

Level 2 1. 실루엣 추출

배경 영상1. 2 정지상태 검출

제스처인식 START

1. 3 배경 제거배경제거 영상

1. 4 실루엣 보정정면 실루엣 영상

인체 정보보정 정보

Data Flow Diagram

2.1. 히스토그램 분석

정면 실루엣 영상13 개 인체요소의

x, y 좌표

Level 2 2. 인체요소 검출

2.3. 얼굴 , 손 추적스킨컬러 모델

이전 위치 정보

2.2. 인체 요소 추출

관절 특징점

얼굴 , 손 위치추정

PCA 관절 모델

3 월 진행사항

• Implementationo Background Subtractiono Histogram Analysis

To locate the head To correct human silhouette

• Constraintso Frontal body

• 인력 충원o 강남대학교 4 학년 학생 3 명

3 월 진행사항 -1

Original Image foreground Image

Vertical Histogram Horizontal Histogram

개발 일정

2 월 Background Subtraction

3 월 Head, Hand, Feet detection 8 월 System IntegrationHand Gesture Recognition

4 월 Joint detection 9 월 Hand Gesture Recognition

5 월 3D Position Estimation 10 월 Hand Gesture Recognition

6 월 3D Position Estimation 11 월 Hand Gesture Recognition

7 월 Body Part Tracking 12 월 System Integration

3 by dr.ahn

Documents