Kinect and its Application

Movement Research LabKyungyong Yang

Overview Kinect

Kinect in Research

Kinect in Medical

Controllers

XBOX 360 Kinect

Kinect Commercial http://www.youtube.com/watch?v=T_QLg

uHvACs

Issues

ActionObject

Real World

Recognize

Computer

How to 3D Motion Capture

3D Surface Scan

Depth Camera

Etc…

Depth Camera

Depth Image RGB Image

How Kinect Works

• Evaluate near-infrared reflection time• Create accurate depth map

Depth Cube Display

Human Body Depth Image

• Can you recognize each body parts?• Is it possible to computer?

Human Pose Recognition

Kinect Mainstream

Body Part Recognition 다양한 체형과 자세로 선행 학습

Human Joint Estimation 선행 학습한 데이터를 이용 새로 입력되는 데이터로 human pose 생성

Overview Kinect

Kinect in Research

Kinect in Medical

Research Issue

잘 동작하게 하기 위해서 많은 예제를 사전학습 해야 한다 .

데이터를 무한정 늘릴 수 없으므로 선정이 중요하다 .

중복되지 않으면서 부족한 예제가 없도록 만들자 Data 의 uniform sampling 이 필요

Research 앉는 동작 선행 학습

선 동작 선행 학습

Research Labeling issue

Research Joint estimation issue

Labeling 에 많은 noise 가 있을 경우 일부 body part 가 없을 수 있다 .

Labeling 에 실패한 body part 에 대한 처리 과정 필요

Research Use bayesian estimation P(X|Z) = max( P(X|X’)P(X’|Z’) ) P(Z|X)

P(X)

P(X|Z) : Joint estimation X probability with given labeling Z

P(X|X’) : Transition probability from X’ to X P(X’|Z’) : Last joint estimation probability P(Z|X) : Labeling probability with given joint esti-

mation X P(X) : Joint estimation X probability with given

model

Overview Kinect

Kinect in Research

Kinect in Medical

Touchless Controller http://www.youtube.com/watch?v=M-wL

OfjVfVc

Medical Application 수술실에서 오염되지 않고 기기를 자유롭게 제어할

수 있다 .

스페인 Tedesys 수술실 의사들이 손 동작을 통해 MRI 및 CAT 스캔 영상 제어 .

Kinect in Operation Room http://www.youtube.com/watch?v=ZEQcO

ydY2k8

Fitness Trainer Application http://

www.youtube.com/watch?v=2tSNsb7l0AM

홈 재활운동 트레이너 꾸준한 재활 운동이 필요한 환자

매일 의사나 전문가가 체크하기 어려움

Kinect 를 이용한 자가 재활운동

Conclusion At the research viewport

Kinect is very strong depth input device.

At the development viewport Kinect is very strong motion controller.

At the medical viewport Kinect is some aid.

Q/A

Thank You!