research works of jonghoon seo

서종 훈[email protected]

Research Works

mailto:[email protected]

2

목차

• 연구실 소개

• 개인 연구분야 소개

• 수행 연구 소개

3

연구실 소개

4

개인 연구 분야 소개

5

개인 연구 분야 소개

SmartSpace

1. NUITechnologies

과학재단 (2007~2008)

LG전자 미래기술연구소 (2013)

한국연구재단 (2012~2015)

2. InteractionFrameworks

3. UXDesign

서울시정개발연구원 (2008~2009)

한국연구재단 (2012~2015)

과학재단 (2007~2008)

AKO 엔터테인먼트 (2010~2012)

삼성 SDS (2011~2012)

삼성전자 DMC (2012)

KIST (2013~2015)

6

수행 연구 과제NUI Technologies

Image-based Codes

• 연구원, 2006-2007, 과학재단 특정기초 연구,

“차세대 PC환경지원을 위한 영상인식 및표현 기술에 대한 연구”

• Team Leader, 2008, 삼성전자 종합기술원,

“Perceptive Display 상에서의 Object Recognition을위한 Visual/IR Tag 기술 연구”

Augmented Reality

• PL, 2009-2010, (주) 아코엔터테인먼트,

“증강현실 및 멀티터치 요소기술개발”

• Team Leader, 2011, 삼성전자 DMC 연구소,

“비전 기능의 CPU/GPU 혼합 가속 기법 연구 및검증”

• PL, 2013-2015, KIST

“시각기반 지도 인식 모듈 개발”

Hand Gesture Interface

• PL, 2011, 삼성SDS,

“고성능 Vision 기반 Motion 인식 기술”

Interaction Framework

• 연구원, 2008-2009, 서울시정개발연구원 산학연 협력사업,

“모바일 컴퓨팅 기반 상황 인지 서비스 프레임워크”

• PL, 2012-2015, 연구재단 중견연구자지원사업

“Smart space 공간 제어를 위한 Natural User Interface 기술 연구”

UX Design

• 연구원, 2013, LG전자 전자기술원,

“360 프로젝션 및인터렉션 기술 개발”

• 연구원, 2007, LG전자 DTV 기술 연구소

“차세대 스마트 홈 환경을 위한 DTV 기반 사용자 인터페이스 설계”

• 연구원, 2005, LG전자-연세대학교 CDMA 뉴프론티어 멤버쉽,

“모션 벡터를 사용한 모바일 스크린 콘트롤 인터페이스”

총 12건, 1,511,392,000원 | 프로젝트/팀관리 7건, 721,792,000

7

NUI TechnologiesInteract ion FrameworksUX Design

1. Image-based Codes

2. Augmented Reality

3. Hand Gesture Interaction

8

NUI Technologies

Image-based Codes

QR 코드와 유사한 형태의 카메라 기반의 바코드 인식 기술인식에 강인한 코드 설계 및 에러 보정 기술 개발다양한 조명 및 환경에서 인식 가능하도록 영상 향상 기술 개발비가시 도료 기반의 태그 인식 기술 개발

Augmented Reality

현실 세계에 디지털 정보를 Seamless하게 제공하는 기술마커 기반 증강현실 엔진 개발 및 교육 필드에 상용화비마커 기반 증강현실 엔진 개발 및 모바일 가속화 기술 개발프로젝터 기반의 Spatial AR 기술 개발


손 인식을 통한 사용자 중심의 상호작용 기술컬러-깊이 영상을 혼용한 강인한 손 분리 기술 개발손 인식 및 이를 통한 제스처 상호작용 기술 개발다양한 포즈의 손 인식 및 상호작용 기술 개발

9

▶ 정철호, 서종훈, 한탁돈, "추적조건분석에의한개선된외곽선추적기법들," 한국정보과학회 2006년 추계학술대회, vol. 33, No. 2(B), pp.431 - 436, 한국정보과학회, Oct. 2006.▶ Dong-Chul Kim, Jong-Hoon Seo, Cheolho Cheong, Tack-Don Han, "Tag Interface for Pervasive Computing," Signal Processing and Multimedia, pp. 356-359, 2006.▶ Jonghoon Seo, Ji Hye Choi and Tack-don Han, “Image based Codes Performance Comparison for Mobile Environments”, Proceedings of the 14th International Conference on Human-Computer Interaction, Vol. 6761/2011, pp. 653-659, July 2011.▶ 국내특허, 출원 10-2009-0099284, 서종훈, 한탁돈, 김동철, 신해준, 윤형민, 최창규, “바코드인식장치및방법”, 2009.10.19.▶ 국내특허, 출원 10-2009-0084289, 한탁돈, 윤준영, 신해준, 김동철, 서종훈, 등 “퍼셉티브디스플레이장치와휴대용단말기간의상호작용을위한장치및방법”, 2009.09.08.

SKTelecom Lotte Members IBK KOLON Sport

Pictorial Image Code

• 색상을 사용하는 새로운 형태의 2D 바코드

• 1999년미디어시스템연구실에서 개발

• 2004년 ColorZip Media로 Spin-off

• 색상 정보를 이용하여 데이터 저장

• 다양한조명에서인식가능한 색상분리기법연구

• 조명및환경변화에강인한 코드검출기법연구

• 개선된 Contour Tracing 기법 개발

연구원, 2006-2007, 과학재단 특정기초 연구,

“차세대 PC환경지원을 위한 영상인식 및표현 기술에 대한 연구”

Team Leader, 2008, 삼성전자 종합기술원,

“Perceptive Display 상에서의 Object Recognition을위한 Visual/IR Tag 기술 연구”

• Invisible IR Ink 특성조사

• Invisible IR 환경에강인한 Tag 구조설계

•영상향상을통한근적외선영역에서의마커인식기술개발

– 노이즈 제거 기술 개발

– 개선된 이진화 방법 개발

– 히스토그램 기반 영상 향상 기법 개발

<IR Invisible Code>

Image-based Code

10

Augmented RealityMarker-based AR

▶ Jonghoon Seo, Jinwook Shim, Ji Hye Choi, James Park and Tack-don Han, “Enhancing Marker-based AR Technology”, Proceedings of the 14th International Conference on Human-Computer Interaction, Vol. 6773/2011, pp. 97-104, July 2011.▶ Jinwook Shim, Jonghoon Seo and Tack-Don Han, “MSL_AR toolkit: AR Authoring tool with Interactive features”, Proceedings of the 14th International Conference on Human-Computer Interaction, Vol. 6773/2011, pp. 105-112, July 2011.▶ Jinwook Shim, Minje Kong, Yoonsik Yang, Jonghoon Seo, Tack-Don Han, “Interactive features based augmented reality authoring tool”, ICCE(International Conference on Consumer Electronics) 2014, pp. 47-50, Jan. 2014.▶ 심진욱, 공민제, 김하영, 채승호, 정경호, 서종훈, 한탁돈, “마커 및 제스처 상호작용이 가능한 증강현실 저작도구”, 멀티미디어학회논문지, 제16권, No. 6, pp. 720-734, 2013년. (Link)▶ 손원성, 한재협, 최진용, 서종훈, 최윤철, 한탁돈, 임순범, “차세대 디지털교과서를 위한 기반기술 및 적용에 관한 연구”, 정보교육학회논문지, 제14권, No. 2, pp. 165-174, 2010년 6월. (Link)▶ 서종훈, 한탁돈, “증강현실에서의 마커 시스템 비교”, 2010년 멀티미디어학회 춘계학술대회, 2010년 5월.▶ 서종훈, 한탁돈, "간단한 증강현실 환경을 위한 사용자 작성 마커", 2010년도 한국컴퓨터정보학회 동계학술대회 논문집 제18권 1호, p277-279, 2010년 1월 21일▶ 국내특허, 출원번호 10-2011-0081456, 한탁돈, 서종훈, 최지혜, 박제희, 심진욱, “마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법”, 2011.08.17.▶ 국내특허, 출원번호 10-2011-0077703, 한탁돈, 서종훈, 최지혜, 박제희, 심진욱, “포즈 예측 방법과 장치 그리고 증강 현실 시스템”, 2011.08.04.

• 2D 바코드인 ColorCode와 증강현실을 접목하는 기술 연구

• 색상을 사용하므로 셀의 크기가 상대적으로 크기 때문에 기존 2D 바코드에 비하여 뛰어난 트레킹 제공• Pictorial Image Code를 통한 심미성 강조

장점 단점

2D 바코드 충분한 ID 개수• ColorCode: 43억개• QRCode: 1만개~

제한된 트레킹 품질• 정면, 근접 인식에 타겟

AR 마커 뛰어난 트래킹 품질• 거리, 각도 변화에 강인

부족한 ID 개수• ARToolKit: ~100개• ARTag: 2,002개• ARToolKit+: 4,096개

• PL, 2009-2010, (주) 아코엔터테인먼트, “증강현실 및 멀티터치 요소기술개발”• 콘텐츠 개발 업체인 ㈜ 아코엔터테인먼트의 증강현실 사업을 위한 마커 기반 증강현실 툴킷 개발• 교육, 전시, 마케팅 등으로 사업화 됨

ColorCodeAR

교육용 AR

11

▶ Heeseung Choi, Jonghoon Seo, Seungho Chae, Yoonsik Yang, Ig-Jae Kim, “Real-time tour map recognition and tracking for mobile tour guide systems”, KJMR(Korea-Japan Workshop on Mixed Reality) 2014.▶ Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

Augmented RealityMarker-less AR

GP-GPU 기반마커리스 증강현실가속화 연구

• Team Leader, 2011, 삼성전자 DMC 연구소, “비전 기능의 CPU/GPU 혼합 가속 기법 연구 및 검증”

• CPU와 GPU를 혼용하여 마커리스 증강현실 가속화 기술 연구

• 삼성 Galaxy S에서 GLSL을 이용한 GP-GPU 프로그래밍

최종목표 진행사항

환경 Tracking 성능 환경 Tracking 성능

알고리즘 개발 팀 QVGA8개 DB

6개 동시추적

10 FPS(모바일 환경에서 가속 이전)

Intel Q-8600 2.4Ghz, 4GB RAM,

QVGA29~31 FPS

모바일 최적화 팀15 FPS

(모바일 환경에서 가속화 적용 후)Galaxy S2 16~17 FPS

모바일지도 인식을 위한증강현실 엔진개발• Project Leader, 2013-2014, KIST 영상미디어연구센터, “시각기반 지도 인식 모듈 개발”

• 16개 지도 DB 인식 및 추적 기술 개발

• 특징점 필터링 기반 가속 기술 개발

• Reference 영상의 학습 시에 특징점들을 평가하여 좋은 특징점만을 학습함으로써 속도를 증가시키면서도

인식율 향상

• 3가지 조건 제안

• 재현 가능 특징점 (Repeatability)

• 동 특징점 근사 매칭 (Similarity)

• 타 특징점 비 매칭 (Separability)

상세설명

K_50 K_100 K_300 K_500K_all

(conventional)

Time(ms) 23.36 27.23 45.16 63.04 196.59

Speed (fps) 42.80 36.73 22.14 15.86 5.09

Precision 60.3 62.4 58.1 55.0 50.2

상세설명

12

Augmented Reality

• Smart Space 구현을위한 Steerable Projection 기술개발

- Team Member, 2013, LG CTO 미래융합IT연구소, “360 프로젝션및인터랙션기술개발”

- Pan-Tilt 에 따른 프로젝션 정규화 기술 개발

Pervasive AR

Dongchul Kim, Jonghoon Seo, Seungho Chea, Jinwook Shim and Tack-Don Han, “Real-time Plane Detection and Selection in an Unknown Environment for Projector-Camera Augmented Reality”, Submitted to Sensors, 2015.

13


예상 Application Prototype

– Large-amount Data Browsing

– Photo Stream Navigation (참고. Cooliris 등)

– Web Browsing

– Medical Chart Navigation

PL , 2011~2012, 삼성SDS, “고성능 Vision 기반 Motion 인식기술”

과제목표

• 깊이인식카메라환경에서 GPU를활용한손인식및추적기술연구

– 조명 및 배경 변화에 강인한 피부 색상 모델 기반 손 검출 기법 개발 및 GPU 가속화 연구

– 깊이 인식 카메라 환경에서 색상 정보를 혼용한 검출 기법 개발

– 연속된 프레임에서 손을 추적하는 기법 개발 및 GPU 가속화 연구

• 손추적 Application 검증 Prototype 개발

– 손 추적을 활용하는 Interaction Application 제안

– 개발된 알고리즘 적용하여 Application 검증

제안알고리즘상세설명

14


손동작인식기술- Kinect (Depth + Color) 환경- 0.8~2m 인식 가능- 2 개의 Posture(일반 / 선택), - 인식 인원 제한 없음

제스처인식기술- 4개의 제스처 인식 (좌/우/시계/반시계) 지원- 이를 통한 프레젠테이션 시연 Application 개발

스마트환경제어기술- 포인팅 제스처: 제어 기기 선택- 손바닥 포인팅: 기기 제어- 연구재단 중견연구자지원 (2012.05.~2015.04)

15


1. Context-aware Middleware

2. OpenNUI Framework

16

Context-aware Middleware

CommunicationLayer

Context DiscoveryRequest

Context DiscoveryReply

Context TransferRequest

Context TransferReply

InterfaceLayer

Service #2

Service #1

Service #3

Service #N

Core Layer

Context DiscoveryContext Transfer /

Receiver

Service Consumer

Repository

TaskManager

Database Manager

Service Consumer Controller

Log Manager

Service ListManager

XML Message Parser Service Manager

Location Detection Manager

Service API

Context DiscoveryRequest

Context DiscoveryReply

Context TransferRequest

Context TransferReply

Context Provider

Context DiscoveryContext Transmitter

Register

Scheduler

Context Provider Controller

Sensor IDMessage ParserSensor Manager

Context DB

Context DatabaseManager

Log ManagerSensor #3

Sensor #N

Sensor #2

Sensor #1

서비스 API를통한상황정보요청

Discovery 프로토콜로주변의 Context Provider 검

색Context Provider로부터상황정

보수집– Service Consumer(SC)

• 각 서비스가 필요한 상황정보를 API를 통해 요구하면 CP로부터 제공받아 상황정보 전달

– Context Provider(CP)

• 센서를 통하여 상황정보 수집 및관리하며 요청 시 SC로 상황정보 제공

– SC와 CP를구분함으로써 상황정보 관리 단과 서비스 제공 단을 구분하여서비스및상황정보양단의확장을용이하게 함.

연구원, 2008-2009, 서울시정개발연구원 산학연 협력사업,

“모바일 컴퓨팅 기반 상황 인지 서비스 프레임워크”

17

OpenNUI Platform

OpenNUIPlatform

DeviceLayer

Kinect

Leap Motion

Phone/Pad

Myo

Wiimote

Brain Sensor

Home Appliances

Space Controller

etc

Other Sensors

InteractionLayer

InputLayer

Body Motion

Hand Gesture

Touch

Voice

FaceTracking

etc

OutputLayer

Device Control

Markerless AR

Mobile Display

HMD AR

Sound

etc

InterconnectionLayer

SupportLayer

OpenCV

PCL

Kinect SDK

OpenNI

Arduino

OpenGL

CUDA

OpenCL

etc

ApplicationLayer

Smart Home Smart ClassSmart Office Smart Car

UI AbstractionInterface Management

18


1. NUI based Interaction Design

2. Smart Contents Sharing

19

UX Design

NUI-based Interaction Design

증강현실이나 손동작 인터페이스를 활용하여 새로운 상호작용 기기를 제안이러한 기기를 이용한 새로운 상호작용 방식 제안이를 활용하여 기존의 디자인, 교육, 건축 등의 다양한 환경에서의 문제 해결

Smart Contents Sharing

기기 간의 컨텐츠를 편리하게 주고받을 수 있도록 하기 위한 상호작용 기술 개발스마트 기기 간, 멀티 디스플레이, 퍼베이시브 디스플레이 등 다양한 디바이스 환경에서의 적합한 상호작용 기술 개발

20

NUI-based Interaction Design: for Creative Designer

▶ Hark-Joon Kim, Hayoung Kim, Seungho Chae, Jonghoon Seo, Tack-Don Han, “AR pen and hand gestures: a new tool for pen drawings”, CHI Extended Abstracts 2013: 943-948.▶ Hark-Joon Kim, Jonghoon Seo, Hayoung Kim, Seoungho Chae, Tack-Don Han, “AugGesture Pen: Using non-dominant hand gestures for augmenting pen-based tasks”, DIS(Designing Interactive Systems) 2012, 2012, ▶ Jeongyun Kim, Jonghoon Seo, Tack-Don Han, “AR Lamp: interactions on projection-based augmented reality for interactive learning”, IUI(Intelligent User Interfaces) 2014, pp. 353-358.▶ 김학준, 채승호, 서종훈, 김하영, 한탁돈, “증강현실인터페이스를위한실시간손인식방법”, 2013년 한국 HCI 학술대회, pp. 837-839, 2013년 1월. (Link)

• Projection 펜 인터페이스를이용한디자인보조기술개발

- 소형 프로젝터를 이용하여 Projection 펜 인터페이스 개발

- 손동작 인식을 이용하여 정의된 몇 가지 시나리오 제공


21

▶ Jonghoon Seo, Seungho Chae, James Park, Dongchul Kim, Jinwook Shim, and Tack-Don Han, “Enhanced Port3DAr: Combining 3D Interactive Smart Space and Mobile Computing for Construction Collaboration”, Journal of Information Science and Engineering, (to be appeared)

•휴대용프로젝터기술을이용한 Smart 건축시공인터페이스개발

- 건축 시공 현장에서 건축 도면의 정보에 쉽게 접근하고, 이를 현장에서 즉시 수정하거나 정보 질의

- Portable Dual Screen 생성 기술 개발

- Multi-Modal Interaction

- 간단한 BIM(Building Information Management) 기술 적용

- 프로젝션 기반의 Shared Workspace와 모바일 기기를 이용한 Personal Workspace 제공 및 정보 동기화 기술 개발

NUI-based Interaction Design: for Smart Construction


22


▶ 김동철, 서종훈, 한탁돈, “Motion Vector를 이용한 모바일 스크린 콘트롤 인터페이스", 2005 LG전자-연세대학교 CDMA 뉴프론티어 멤버쉽, 2005.

•모션 벡터를 사용한 모바일 스크린 콘트롤 인터페이스 개발

- 연구원, 2005, LG전자-연세대학교 CDMA 뉴프론티어 멤버쉽

- 모바일 기기의 작은 화면을 극복하기 위한 연구

- 후방 카메라를 이용하여 손의 움직임을 계산하고 이를 화면 이동에 반영

- 영상 분석을 통한 손의 이동 추정 기법 개발

- 특징점 추출(Extraction) 및 추적(Tracking) 기법 연구

- Motion Vector 추출 기법 연구


웨어러블 기기에서의 제스처 인식 기반 문자 입력 방법

•웨어러블 기기에서의 제스처 인식 기반 문자 입력방법

- 현재 진행 중 프로젝트

- 갤럭시 기어와 같은 손목 착용형 웨어러블 기기에서의 문자 입력 기술 개발

- 가상의 키보드가 증강되었다고 가정하고, 착용된 웨어러블 기기의 센서 정보를 이용하여가상 키보드에서의 손의 움직임을 계산하고 이를 문자 선택에 반영

- 센서 인식을 통한 손의 이동 추정 기법 개발

- 센서 퓨전 기법 연구

- 단어 모델 기반의 센서 데이터 정제 기술 연구

23

Smart Contents SharingFeature

• 가족과 여행하면서 찍은 사진을 공유하려는데, SNS, Cloud, Talk 등 다양한 커뮤니케이션 수단이 있으나 매우 불편함. (4 터치 이상 소요)

• Smart Space 환경에서의 심플한 콘텐츠 공유 상호작용 기법 개발

• 노크, Drag, Flick 등 다양한 상호작용 기법을 이용한 직관적이로 편리한 상호작용 기법 개발

• 심플하게 한쪽 디바이스에서 다른 쪽 디바이스로 파일을 공유 할 수 있음.

• 다양한 기기 기반의 상호작용 방법 개발DragShare

Just drag & drop

KnockingShare

FlickShare

Distinguish multiple devices

Up flicking :Send contents

Down flicking :Get contents

Interact with simple flicking

24

Merits

25

Merits

Creativity

사용자 중심의 기술 이해를 바탕으로 UX, NUI 분야의 다양한 기술 개발증강현실, 모션인식 등의 요소기술 개발에서부터 이를 응용한 UX 설계까지 경험

Experienced

7년간 총 12건 17억여원의 연구과제 수행 경력이 중 7건 7억여원의 연구과제에서 과제 생성부터 진행 및 종결까지 관리 경험

Insightful

새로운 기술 트렌드 예측과 사업 기회 창출 등에 대한 탁월한 정리 능력을 인정받아 모션인식 및 웨어러블 컴퓨팅 관련 주제로 7건의 외부 세미나 경험삼성SDS, ETRI 등의 사내 세미나 뿐만 아니라, K모바일, 한국미래기술교육연구원 등의 상업 세미나에서의 발표 경험

26

감사합니다 .

@jonghoonseo

https://github.com/jonghoonseo

http://linkedin.com/in/jonghoonseo

27

Supplements

28

증강현실모바일가속화연구 (2011~2012, 삼성DMC과제)증강현실모바일가속화연구

1. Tracking 구조 개선 방법 개발 : n-Detection Thread, 1-Tracking Thread

2. Matching 방법 개선 : LSH 기반 approximated matching 적용

29

Tracking 구조 개선n-Detection Thread, 1-Tracking Thread

• Tracking Thread의 통합으로 인한 속도 증가 효과

• 조건에 따른 선택적인 수행이 아니라 모든 Thread가 연속적으로 수행됨

T0 T1TrackingThread

T2 T3 T4 T5 T6

DetectionThread 1 D1

D0DetectionThread n D1

…

…

…

…

ImageFrame

D0

DetectionResult

증강현실모바일 가속화연구 (2011~2012, 삼성DMC과제)

30

TrackingThread

Tracking 구조 개선

TrackingThread

Detection Thread 1

Detection Thread 2

Detection Thread N…Detection

Thread 3

1. Update Image-coord. Points to track

Detection Result

Previous Tracked Result

Ø …

𝑇𝑡𝑘 = 𝐷𝑡𝑘 (𝐷𝑡𝑘 𝑖𝑠 𝑒𝑥𝑖𝑠𝑡)

𝑇𝑡−1𝑘

𝑇𝑡−11

𝐷𝑡2 𝐷𝑡

𝑁

𝑇𝑡−1𝑁𝑇𝑡

1 𝑇𝑡2 𝑇𝑡

3 𝑇𝑡𝑁

Ø

n-Detection Thread, 1-Tracking Thread


31

TrackingThread


TrackingThread

2. Merge each point vector into one integrated point vector

…Ø

𝑇𝑡 =

𝑘

𝑇𝑡𝑘

𝑇𝑡1 𝑇𝑡

𝑁𝑇𝑡2 𝑇𝑡𝑇𝑡

3



32

TrackingThread


TrackingThread

3. Track points given consequent images 𝑇𝑡+1 = 𝑡𝑟𝑎𝑐𝑘𝑖𝑛𝑔(𝑇𝑡)

𝑇𝑡 𝑇𝑡+1



33

TrackingThread


TrackingThread

4. Split into points vector for each database w.r.t error vector

…Ø

𝑇𝑡+11 𝑇𝑡+1

𝑁𝑇𝑡+12 𝑇𝑡+1𝑇𝑡+1

3

𝑇𝑡+11 , 𝑇𝑡+1

2 , … , 𝑇𝑡+1𝑁 = 𝑠𝑝𝑙𝑖𝑡(𝑇𝑡+1)



34


T0 T1

TrackingThread T2 T3 T4 T5 T6

DetectionThread 1 D1

D0DetectionThread n D1

…

…

…

…

ImageFrame

D0

DetectionResult 𝑇𝑡

𝑘 = 𝐷𝑡𝑘 (𝐷𝑡𝑘 𝑖𝑠 𝑒𝑥𝑖𝑠𝑡)

𝑇𝑡−1𝑘

T


• Problem

• Detection ~ Tracking Thread 간이격문제


35


Detection Thread

영상 입력

Keypoint 검출

Tracking Thread

Descriptor 생성

Training DB와 비교

Keypoint 저장

검출?

Keypoint 병합

Homography 계산

3차원 추정

적절?

(개수, 오차)

증강

추적대상 KeyPoints

새로운 영상에서 Tracking

Keypoint 추적

Before(n-Detect Thread, n-Track Thread)

After(n-Detect Thread,

1-Track Thread, k-NN)

12~15 FPS 20~23 FPS


• Solution

• Detection 이 성공했을 시에 추가 Tracking 수행함으로써 이격 현상 줄임


36

LSH 기반 approximated matching 적용: Idea [Indyk98]

• L 개의 random hash 함수 g1, g2, … gL 를 이용하여 L 개의 hash table 생성

• Query feature P가 들어 왔을 때, g1(P), g2(P)… gL(P) 버킷 에서 Linear 검색

Query Point

g1

g2

g3

g4

g1(Query Point)

g2(Query Point)

g3(Query Point)

g4(Query Point)

Linear/Binary Search

Hash Projection

O(dL)Linear/Binary Search

O(C) or O(logC)

Brute-force k-NN

O(dN)

Matching 방법개선


37

Locality Sensitive Hashing vs. k-Nearest Neighbor

k-Nearest Neighbor LSH

성능 결정 요인 • Feature 개수• Feature Dimension

• Hashing Table(Function) 개수• Feature Dimension• 같은 Bucket에서 찾은 Feature 결과

성능 예측 O(dN) O(dL)

성능 향상 (FPS)1-DB, Detection 22~24 30~31


38

Result

• 8 Image DB

• 8 동시 추적

• 29-31 FPS (환경: Intel Q-8600 2.4Ghz, 4GB RAM, VGA)

Before(n-Detect Thread, 1-Track Thread,

Bruteforce)

After(n-Detect Thread,

1-Track Thread, LSH)

20~23 FPS 29~31 FPS


39

시각 인식 기반 지도 증강현실 엔진 개발 (2013~ KIST 과제)

모바일환경에서Multi DB 영상인식및추적기술개발

• 16개 지도 DB 인식 및 추적

• 특징점 필터링 기반 가속 기술 개발

• Reference 영상의 학습 시에 특징점들을 평가하여 좋은 특징점만을 학습함으로써 속도를 증

가시키면서도 인식율 향상

• 3가지 조건 제안

• 반복 검출 조건(Repeatability)

• 동일점 유사 서술 조건 (Similarity)

• 상이점 배타 서술 조건 (Separability)

시각인식기반지도 증강현실엔진개발 (2013~ KIST 과제)

Jonghoon Seo, Seungho Chae, Yoonsik Yang, Heeseung Choi, and Tack-Don Han, “A Novel Filtering Approach for Robust and Fast Keypoint Matching in Mobile Environment”, Submitted to Sensors, 2015

40

Keypoint Filtering Algorithm

…

…

학습 DB

…

…

…

DB 영상 1

DB 영상 2

H1

H2

검색

모든

DB

영상에대해

DB 영상획득

키포인트검출(Detection)

서술자(Descriptor) 계산

근사(Approximation) 매칭구조생성

카메라로영상획득

키포인트검출(Detection)

서술자(Descriptor) 계산

특징점매칭

포즈계산

오프라인학습

실시간매칭

이 두 단계는 독립적으로 수행됨. 따라서, 검출(detect)된 키포인트가 잘

구분(distinguish)될 것이라는 보장을할 수 없음

따라서검출된키포인트의구분도를측정하는 함수를 제안함



41

1. 반복검출 조건(Repeatability): 다양한 영상 변환(블러, 회전, 크기 변화)에서도 계속적으로 특징점으로 검출이 가능하여야 함.

2. 동일점유사 서술조건(Similarity): 다양한 영상 변환에도 같은 점끼리는 매칭 거리가 짧아야 함.

3. 상이점배타 서술조건(Separability): 서로 다른 특징점 끼리는 영상 변환에도 매칭 거리가 길어야 함.

이에 따라 좋은 특징점은 아래 스코어 함수에 의하여 정의됨

키포인트 필터링 조건




42

• 실험 영상

• 서울 관광 지도 16장

• 크기, 회전, 블러 변환 적용한 영상 32,256장• 학습 영상: 16,128 장

• 실험 영상: 16,128 장

• 실험 설계

1. 학습 영상을 이용하여 특징점 검출𝐾𝑖 = 𝑑𝑒𝑡𝑒𝑐𝑡(𝑖𝑖)

2. 매칭 구조 계산 과정에서 좋은 특징점 스코어 함수 계산하고 내림차순 정렬

𝑠𝑖,𝑝 = 𝑔𝑓 𝑘𝑖,𝑝𝑠𝑖,𝑝′ = 𝑠𝑜𝑟𝑡(𝑠𝑖,𝑝)

3. 좋은 특징점 점수에 따라 상위 (50, 100, 300, 500)개의 특징점만 이용하여 학습 DB 구성

𝐾𝑖,𝑛 = 𝑓𝑖𝑙𝑡𝑒𝑟(𝐾𝑖 , 𝑛)𝐷𝐵𝑛 = ∪𝑖 𝐾𝑖,𝑛

4. 실험 영상과 학습 DB 간의 매칭 수행 후 매칭 성능 측정

실험 설계




43

필터링된특징점개수

Pro

cess

ing

Tim

e(m

s)

수행 시간 비교

K_50 K_100 K_300 K_500 K_all

Time(ms) 23.36 27.23 45.16 63.04 196.59

Speed (fps) 42.80 36.73 22.14 15.86 5.09

Ratio 841% 722% 435% 312% 100%




44

영상 매칭 성능

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Tru

e p

osi

tive

rate

False positive rate

Match ROC curve

all

500

300

100

50

DB Size

60.3%62.4%

58.1%55.0%

50.2%

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

K_50 K_100 K_300 K_500 ALL

PRECISION

특징점 매칭 정확도(Precision)

DB Size 50 100 300 500 All

Precision 60.3 62.4 58.1 55.0 50.2




45

손동작 인식 인터페이스 개발 (2011~2012 삼성SDS 과제)

Multi-user 환경을고려한손동작인식인터페이스개발

• Kinect 를 이용한 Multi-user 지원 손동작 인식 인터페이스 개발

• 강인한 손 검출을 위하여 깊이-색상 혼용한 손 검출 기법 개발

• 컬러 영상을 이용하여 복잡한 배경 영역에서도 손 후보 영역 검출

• 깊이 영상을 이용하여 조명에 강인한 손 영역 검출

손동작인식인터페이스 개발 (2011~2012 삼성SDS 과제)

46

Skin-Depth Hybrid Hand Segmentation Method

손분리기술

- 영상에서 손 후보 영역을 분리하여 손 인식 모듈로 넘기기 위한 사전 단계

- 기존 알고리즘은 조명 변화에 취약하거나 복수 사용자 인식에 한계가 존재하였음


- Calculate seed point from skin image robust to clutter background

- Retrieve hand region from the depth image robust to lighting change

- Adaptively re-train skin-model with segmented hand region adjust seed point to lighting change

Hand Segmentation Result Conventional algorithm was weak to lighting change


47

Skin-Depth Hybrid Hand Segmentation Method• 피부색상-깊이영상혼용손분리기법

• 한계영역재설정

• 범람(Flood-fill) 알고리즘 적용 대상 한계 영역을 정의

• 조명 변화에도 손 영역을 복원하기 위한 영역

Refined Bound Rect.

Original Bound Rect.


48

• 실험 환경• 거리: 130cm~150cm(~800 frames)

• 조명 환경• 100 Lux ~ 800 Lux 단순/복잡한 배경, 카메라 상향

• 역광 환경

• 손 인식율을 측정

• 다수 사용자 인식 환경에 대하여 Kinect SDK와 비교


B.H. Oh, et al., “Mobile User Interface Using a Robust Fingertip Detection Algorithm for Complex Lighting and Background Conditions”, 2012 International Conference on Information and Computer Networks (ICICN 2012) IPCSIT vol. 27 (2012) © (2012) IACSIT Press, Singapore.* Modified Version of Farhad Dadgostar and Abdolhossein Sarrafzadeh. 2006. An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods. Pattern Recogn. Lett. 27, 12 (September 2006), 1342-1352.** Conaire, C.O.; O'Connor, N.E.; Smeaton, A.F.; , "Detector adaptation by maximising agreement between independent data sources,"Computer Vision and Pattern Recognition, 2007. CVPR '07. IEEE Conference on , vol., no., pp.1-6, 17-22 June 2007

적응적피부색상모델 (Dadgostarand Sarrafzadeh 2006)

베이지안모델 (Conaire, O”Connor, and Smeaton 2007)

범람알고리즘만적용 범람알고리즘 + 적응적피부색상 DB

• OpenCV 2.4.1 부터 구현된 피부색상 모델 기법

• 영상 모션 영역에서 피부색상 영역을 적응적으로 학습

• CVPR 2007• IR 센서를 이용하여 자동으로 학습함

으로써 모델의 정확도를 높임

• 범람 알고리즘을 이용하여 깊이 영상과 피부색상 영상 영역 혼용

• 적응적 피부색상 학습 방법 적용 X

• 제안하는 방법의 전체 버전• 범람 알고리즘을 이용하여 깊이 영

상과 피부색상 영상 영역 혼용• 인식된 피부색상 영역을 적응적으로

학습


49


단순 배경 복잡한 배경 상향조명

500 lx 700 lx 800 lx 100 lx 500 lx 400 lx

Adaptive*

(Modified ver. For OpenCV

Implementation)

97.4 %(150 / 154)

98.7 %(152 / 154)

98.0 %(151 / 154)

97.3 %(185 / 190)

91.2 %(178 / 195)

84.0 % (495 / 589)

Bayesian**97.4 %

(150 / 154)97.4 %

(150 / 154)97.4 %

(150 / 154)98.9 %

(188 / 190)89.7 %

(175 / 195)55.2%

(325 / 589)

Flood fill 단독98.7 %

(152 / 154)98.7 %

(152 / 154)98.0 %

(151 / 154)98.4 %

(187 / 190)98.9 %

(193 / 195)96.7 %

(570 / 589)

Floodfill + Adaptive

98.7 %(152 / 154)

98.7 %(152 / 154)

98.7 %(152/ 154)

98.9 %(188 / 190)

98.9 %(193 / 195)

98.6 %(582 / 589)

Detection Rate

Adaptive Bayes Floodfill단독 Floodfill + Adaptive

인식율(%) 28.2 0 71.7 89.1

역광환경

Kinect SDK 2명까지만 인식이 가능하거나잘린 사람은 인식이 불가

Multi-person Condition

Vs.
