간단한 기구부와 결합한 공간증강현실 시스템의 샘플 기반 제어 방법

간단한 기구부와 결합한 공간증강현실

시스템의 샘플 기반 제어 방법

CADCAM 2015 동계학술대회

이아현 이주호 이주행UST  /  ETRI 리츠메이칸 대학교 ETRI  /  UST

특별세션 - 제 17회 가헌학술상

*

목 차

1. RSAR(로봇공간증강현실) ?

2. CAD 모델 기반의 기구학 제어

3. 제안된 샘플 기반의 기구학 제어

4. 구현 및 실험 결과

5. 결론

AR Augmented Reality

SAR Spatial Augmented Reality

RSAR Robotic Spatial Augmented Reality

1. RSAR ?

AR 증강현실Augmented Reality

1. RSAR ?

Augmented Reality

Vuforia (Qualcomm AR SDK) | 2014

1. RSAR ?

SAR 공간증강현실Spatial Augmented Reality

1. RSAR ?

Spatial Augmented Reality

HideOut | Disney Reaserch | 2012

OmniTouch | CMU | 2011 OASIS | Intel Labs | 2010

IllumiRoom | Microsoft | 2013

1. RSAR ?

RSAR 로봇공간증강현실Robotic Spatial Augmented Reality

1. RSAR ?

Robotic Spatial Augmented Reality

LuminAR | MIT | 2010

Ubiquitous Display | Ritsumeikan U | 2009 PixelFlex | MIT | 2001

Beamatron | Microsoft | 2012

1. RSAR ?

미래형 로봇 컴퓨터 | ETRI | 2012

Robotic Spatial Augmented Reality1. RSAR ?

2. CAD모델 기반의

기구학 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어

RSAR 기구학 제어 단계 구성

프로젝터-카메라 캘리브레이션

기구학 설정 단계

응용단계

PCU (Projector Camera Unit)

1. RSAR ? 2. CAD 모델 기반의기구학 제어

실세계 좌표계

프로젝터 좌표계카메라 좌표계

𝐻"#

𝐻"$

𝐻#$

𝑝#

𝑝$𝑝"

프로젝터-카메라 캘리브레이션PCU 캘리브레이션기구학 설정 단계

응용 단계

1. RSAR ? 2. CAD 모델 기반의기구학 제어

프로젝터-카메라 캘리브레이션

프로젝터와 카메라가 물리적으로 고정되어, 카메라 위치/자세

정보만으로 프로젝터 위치/자세 정보를 계산할 수 있다.

1. RSAR ? 2. CAD 모델 기반의기구학 제어

프로젝터-카메라 캘리브레이션 결과

1. RSAR ? 2. CAD 모델 기반의기구학 제어

CAD 모델 기반 기구부의 기하학정보 추출

𝑞'

𝑞(

𝑙'

𝑙(

𝑙*

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

PCU 캘리브레이션기구학 설정 단계

응용 단계

기구학 설정 단계

1. RSAR ? 2. CAD 모델 기반의기구학 제어

𝑞'

𝑞(

𝒍𝟎

𝒍𝟏

𝒍𝟐

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

링크의 길이

CAD 모델 기반 기구부의 기하학정보 추출

기구학 설정 단계

1. RSAR ? 2. CAD 모델 기반의기구학 제어

PCU 캘리브레이션기구학 설정 단계

응용 단계

𝒒𝟎

𝒒𝟏

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

관절 회전축의 위치

CAD 모델 기반 기구부의 기하학정보 추출

기구학 설정 단계

1. RSAR ? 2. CAD 모델 기반의기구학 제어

PCU 캘리브레이션기구학 설정 단계

응용 단계

링크의 길이

𝒍𝟎

𝒍𝟏

𝒍𝟐

𝑞'

𝑞(

𝑙'

𝑙(

𝑙*

𝑦'

𝑧'

𝑥'

엔드 이펙터

𝑦*

𝑧*

𝑥*

𝐾4

𝑞'

𝑙'

𝑙(

𝑙*

𝑟6

𝑟7

𝑟8

𝑞(

𝑝6

𝑝7

𝑝7

엔드이펙터의 위치/자세 계산정기구학

역기구학

목표 위치로 이동하기 위한 관절각 계산

LJ

L

)(

),,(),,(

AAARTA

(q)qψθppp zyx

=

= ϕ

⎥⎦

⎤⎢⎣

⎡==

10)()( 1201n

pRAAK qq

)(qrpr

fe=

−=!

qqqqqp !!! )()( Jf

=∂

∂=

정/역기구학 제어식 생성

기구학 설정 단계

1. RSAR ? 2. CAD 모델 기반의기구학 제어

𝑞'

𝑞(

𝑙'

𝑙(

𝑙*

𝑦'

𝑧'

𝑥'

𝑦*

𝑧*

𝑥*

프로젝터-카메라

𝑙'

𝑞'

𝑞(

𝑙(

𝒍𝟐

𝑦'

𝑥'

𝑧'

RSAR엔드이펙터 = 투사영역의 중심점

기구학 설정 단계정/역기구학 제어식 생성

1. RSAR ? 2. CAD 모델 기반의기구학 제어

프로젝터 투사영역의 중심점

엔드이펙터

PCU 캘리브레이션기구학 설정 단계

응용 단계

RSAR 제어 및 응용

미래형 로봇 컴퓨터 | ETRI/Ritsumeikan U | 2012

1. RSAR ? 2. CAD 모델 기반의기구학 제어

카메라 입력 영상

엔드이펙터의 위치/자세 계산

<정기구학>

영상 워핑 + 렌더링

시작

관절 회전각 계산<역기구학>

투사 영역의이동?

끝

영상 투사

영상 투사끝?

관절 회전

yes

no

yes

no

RSAR 시스템의 흐름도

1. RSAR ? 2. CAD 모델 기반의기구학 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어

UCR 사용자 제작 로봇User Created Robot

1. RSAR ? 2. CAD 모델 기반의기구학 제어

UCR의 장점

CAD 모델이없는 경우

조립시 오차

> 허용공차

UCR 기구학 제어의 한계점1. RSAR ? 2. CAD 모델 기반의

기구학 제어

3. 샘플 기반의 기구학 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

CAD 모델 기반 기구학 제어1. RSAR ? 2. CAD 모델 기반의

기구학 제어 3. 샘플 기반의 기구학 제어

링크의 길이

𝒍𝟎

𝒍𝟏

𝒍𝟐

𝒒𝟎

𝒒𝟏

관절 회전축의 위치

관절의 회전각

𝝋

𝜽

엔드이펙터의위치/자세

패턴마커

샘플 기반의 기구학 제어1. RSAR ? 2. CAD 모델 기반의

기구학 제어 3. 샘플 기반의 기구학 제어

CAD 모델 기반의 RSAR 제어

프로젝터-카메라 캘리브레이션

기구학 설정 단계

응용단계

PCU (Projector Camera Unit)

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

정/역기구학 수식 표현

샘플 기반의 RSAR 제어

프로젝터-카메라 캘리브레이션

샘플 데이터 취득 및

B-spline 기반 표현

응용단계

PCU (Projector Camera Unit)

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

PCU 캘리브레이션샘플 데이터 취득 및B-spline 기반 표현

응용 단계

모터 회전 반경 설정관절 가용 범위

샘플 데이터 취득

시작

끝

B-spline 기반 표현

B-spline 곡면 8개

샘플 데이터 취득

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

샘플 데이터 취득 방법

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

모터 회전 반경 설정

샘플 데이터 취득

시작

끝

B-spline 기반 표현

B-spline 곡면 8개

B-spline 기반 표현

PCU 캘리브레이션샘플 데이터 취득 및B-spline 기반 표현

응용 단계

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

샘플 데이터 3차원 그래프 B-spline 곡면 표현

B-spline 기반 표현

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

입 력출 력

회 전 이 동

index pan tilt rx ry rz tx ty tz

𝑖 𝜃= 𝜑= 𝑟𝑥= 𝑟𝑦= 𝑟𝑧= 𝑡𝑥= 𝑡𝑦= 𝑡𝑧=

정기구학 샘플 데이터 구성

정기구학 제어 곡면 6개

{𝜃, 𝜑, 𝑟𝑥} ~ {𝜃, 𝜑, 𝑡𝑧}입력1, 입력2, 출력 입력1, 입력2, 출력

B-spline 기반 표현

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

정기구학 샘플 데이터 구성

입 력 출 력

index 투사영역의 중심점 pan tilt

𝑖 𝑐𝑥= 𝑐𝑦= 𝜃= 𝜑=

역기구학 샘플 데이터 구성

역기구학 제어 곡면 2개

{𝑐𝑥, 𝑐𝑦, 𝜃}, {𝑐𝑥, 𝑐𝑦, 𝜑}입력1, 입력2, 출력 입력1, 입력2, 출력

B-spline 기반 표현

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

역기구학 샘플 데이터 재구성

B-spline 곡면 표현 결과

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

rx ry rz

tx ty tz

정기구학 샘플 데이터

B-spline 곡면 표현 결과

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

pan tilt

역기구학 샘플 데이터

정기구학 제어 방법의 예

{𝛉, 𝛗}

입력 데이터

x  6

{𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛}

출력 데이터

정기구학 제어 곡면 6개

카메라 위치/자세

𝑹 𝒕𝟎 𝟏

4x4

B-spline 기반 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

출력 데이터 계산 방법

pan tilt

카메라 입력 영상

엔드이펙터의 위치/자세 계산

<정기구학>

영상 워핑 + 렌더링

시작

관절 회전각 계산<역기구학>

투사 영역의이동?

끝

영상 투사

영상 투사끝?

관절 회전

yes

no

yes

no

PCU 캘리브레이션샘플 데이터 취득 및B-spline 기반 표현

응용 단계

CAD 모델 기반의 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

카메라 입력 영상

엔드이펙터의 위치/자세 계산

<정기구학: B-spline 전개>

영상 워핑 + 렌더링

시작

관절 회전각 계산<역기구학 :  B-­‐spline  전개 >

투사 영역의이동?

끝

영상 투사

영상 투사끝?

관절 회전

yes

no

yes

no

PCU 캘리브레이션샘플 데이터 취득 및B-spline 기반 표현

응용 단계

샘플 기반의 제어

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어

4. 구현 및 실험 결과

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

UCR-based RSAR 응용의 예(1)

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

프로젝터 이동

투사 영상의 와핑+렌더링 영상 투사 결과

실험 결과 영상

UCR-based RSAR 응용의 예(1)

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

UCR-based RSAR 응용의 예(2)

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

실험 방법

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

샘플 기반의 기구학 제어 방법의 정확도 측정

프로젝터-카메라가 동일한 위치에서

카메라+패턴마커 제안된 샘플 기반의제어 방법

{𝜽,𝝋,  𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛,  𝒄𝒙, 𝒄𝒚}

pan, tilt

카메라 자세/위치

엔드이펙터

{𝜽,𝝋,  𝒓𝒙, 𝒓𝒚, 𝒓𝒛, 𝒕𝒙, 𝒕𝒚, 𝒕𝒛,  𝒄𝒙, 𝒄𝒚}

pan, tilt

카메라 자세/위치

엔드이펙터

실험 방법

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

샘플 기반의 기구학 제어 방법의 정확도 측정

제어점 개수카메라 위치/자세

회전( ° ) 이동(mm)

rx ry rz tx ty tz

4  x  4 0.4616 0.4081 0.0820 0.5018 0.5470 1.2953

6  x 6 0.5078 0.3199 0.0802 0.4290 0.4744 1.2769

8  x 8 0.4760 0.2999 0.0779 0.4847 0.6334 1.2042

정기구학 제어 방법의 RMSE

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

실험 결과

정기구학 출력데이터 = 카메라 위치/자세

제어점 개수관절각(°)

pan tilt

4  x  4 0.6970 0.5037

6  x 6 0.6676 0.4756

8  x 8 0.6287 0.4373

역기구학 제어 방법의 RMSE

1. RSAR ? 2. CAD 모델 기반의기구학 제어 3. 샘플 기반의 기구학 제어 4. 구현 및 실험 결과

실험 결과

역기구학 출력데이터 = 관절각

요 약

UCR-based RSAR의 한계점CAD모델이 없는 경우 or 조립 오차 > 허용공차

샘플 기반의 기구학 제어 방법샘플 데이터 취득

-> B-spline 곡면 8개 (정6/역2) 생성-> 곡면을 사용해 기구학(출력) 데이터 계산

구현 및 실험 결과엔드이펙터 이동을 위한 관절각 계산 -> 역기구학

엔드이펙터 위치/자세 계산 -> 정기구학

제안된 방법의 한계점

단일 영역에서 샘플 데이터 취득관절 가용 범위가 작음

2축의 로봇 팔로 제한

단일 RSAR 시스템으로 제한

단일 평면에 투사

향후 연구 계획

다중 영역에서 샘플 데이터 취득관절 가용 범위를 확장

다축의 로봇 팔에 적용

다중 RSAR 시스템의 협업

다면체/곡면에 투사

이아현(azsure@etri.re.kr)

이주호(lee.aislab@is.ritsumei.ac.jp)

이주행(joohaeng@etri.re.kr)

감사합니다

Q & A이아현(azsure@etri.re.kr)

이주호(lee.aislab@is.ritsumei.ac.jp)

이주행(joohaeng@etri.re.kr)