스마트폰에서의 3차원 형상 취득을 한 카메라와 래시의 보정기법 163

․이 논문은 인하 학교와 삼성 자의 지원에 의하여 연구되었음

․이 논문은 2011 한국컴퓨터종합학술 회에서 ‘스마트폰에서의 3차원 형

상 취득을 한 카메라와 래시의 보정 기법’의 제목으로 발표된 논문

을 확장한 것임

†

††

†††

학생회원

비 회 원

종신회원

논문 수

심사완료

:

:

:

:

:

인하 학교 정보통신공학과

won1425@gmail.com

maninara@hotmail.com

인하 학교 정보통신공학부 교수

sglee@inha.ac.kr

인하 학교 정보통신공학부 교수

pik@inha.ac.kr

2011년 8월 29일

2011년 11월 16일

CopyrightⒸ2012 한국정보과학회ː개인 목 이나 교육 목 인 경우, 이 작

물의 체 는 일부에 한 복사본 혹은 디지털 사본의 제작을 허가합니다.

이 때, 사본은 상업 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처

를 반드시 명시해야 합니다. 이 외의 목 으로 복제, 배포, 출 , 송 등 모든

유형의 사용행 를 하는 경우에 하여는 사 에 허가를 얻고 비용을 지불해야

합니다.

정보과학회논문지: 컴퓨 의 실제 터 제18권 제2호(2012.2)

스마트폰에서의 3차원 형상 취득을 한

카메라와 래시의 보정기법

(Camera and Flash Calibration for

3D Shape Acquisition on a

Smartphone)

원 재 † 이 만 희 †

(Jae Hyun Won) (Man Hee Lee)

이 승 걸 †† 박 인 규 †††

(Seung Gol Lee) (In Kyu Park)

요 약 본 논문에서는 카메라와 래시 보정 기법을

용하여 스마트폰에서 3차원 형상 취득의 정확성을 높이는

방법을 제안한다. 스마트폰의 카메라와 래시를 이용하여

shape from shading(SFS) 기법으로 3차원 형상 취득을

수행하는 경우, 카메라 즈의 왜곡과 상센서 반응 함수

의 비선형성, 래시 조명의 원 속성에 의해 부정확한

형상이 복원된다. 본 논문에서는 스마트폰 카메라의 기하학

(geometric) 보정 방사도(radiometric) 보정, 그리고

래시(flash) 보정을 통하여 SFS 기반 3차원 형상 취득의

정확성을 높이는 기법을 제안한다.

키워드 : 3차원 형상 취득, 카메라 래시 보정, 스마트폰

Abstract In this paper, we propose camera and flash

calibration methods for improving the accuracy of 3D

shape acquisition technique on a smartphone. In case of

employing the shape from shading (SFS) technique using

the camera and flash of the smartphone, reconstructed 3D

shape is inaccurate due to the lens distortion, nonlinear

sensor response, and flash’s point light source property.

In this paper, we propose practical techniques to improve

the accuracy of reconstructed 3D shape by applying

geometric, radiometric, and flash calibration of smart-

phone’s camera and flash.

Key words : 3D shape acquisition, shape from shading

(SFS), camera and flash calibration,

smartphone

1. 서 론

3차원 형상 취득과 복원은 컴퓨터 비 분야에서 오

랜 연구 상으로서, 컴퓨터 성능의 지속 발 과 3차

원 형상 복원 표 방법 기술의 진보로 일반 사용자

들도 손쉽게 3차원 가상 공간 실감 미디어에 한

근이 가능하게 되었다.

한 스마트폰의 범 한 보 과 모바일 3차원 콘텐

츠에 한 의 심이 높아지면서 스마트폰에서 직

정확한 3차원 형상 취득을 하고자 하는 기술 수요가

확장되고 있다. 스마트폰이 장착하고 있는 카메라와

래시는 3차원 형상 취득을 한 한 요소로서, 조명

원의 치와 물체의 표면특성을 이용한 shape from

shading이나 원의 치변화에 따른 물체의 반사특성을

이용한 photometric stereo기법에 직 이용할 수 있다.

한편 조명을 이용하는 능동 형상 취득은 카메라에서

취득된 상의 밝기 값을 이용하기 때문에 배경 조명의

밝기, 조명의 속성, 카메라 왜곡, 물체의 반사 특성 등의

향을 받는다. 특히 스마트폰의 소형 카메라와 래시는

이상 인 모델과는 거리가 멀기 때문에 한 보정을 해

주지 않는 경우 부정확한 형상 복원이 수행되게 된다. 따

라서 본 논문에서는 카메라 조명에 해 기하학 보

정 방사도보정 그리고 래시 조명 보정을 수행하여 3

차원 형상 취득의 정확성을 향상시키는 기법을 제안한다.

본 논문의 구성은 다음과 같다. 제2장에서 shape from

shading 기법을 간단히 소개하고 제3장에서는 제안하는

카메라와 래시의 보정 기법을 설명한다. 제4장에서는

보정 기법을 용한 실험 결과 분석을 제시하고, 제5

장에서는 결론을 맺는다.

2. Shape from Shading 기법

Shape from shading(SFS) 기법은 조명이 투사된 3

차원 장면의 단일 상에 하여 밝기 값의 진 인

164 정보과학회논문지 : 컴퓨 의 실제 터 제 18 권 제 2 호(2012.2)

변화를 통해 장면의 3차원 기하 정보를 추정하는 기법

이다. 밝기가 A인 원이 Lambertian 표면을 가지는

물체에 투사되었을 때 상에서 찰되는 밝기 I는 식

(1)과 같이 표면의 반사도 와 표면의 법선 벡터 n과

원의 방향벡터 s의 사이 각 에 의해 결정되고 A

= 1로 두면 n과 s의 내 으로 표 된다.

sn ⋅== θρ cosAI (1)

상의 밝기 값과 원의 방향을 알고 있으므로 식

(1)에 의해 물체의 표면 벡터를 추정할 수 있지만, 이러

한 식을 만족하는 해가 무수히 많기 때문에 이는 유일

한 해를 가지지 못하는 ill-posed problem 이다. SFS

에서는 ill-posed problem을 해결하기 하여 여러 가

지 제약 조건을 추가하여 최 화된 해를 구한다. 표

인 기법으로는, 체 상에 해 에 지 함수를 정의

하고 이를 최소화하는 방법, 표면상의 들의 집합으로

부터 체 상으로 하는 방법, 지역 인 표면에

해 구 형태의 국소 표면으로 가정하는 지역 방법, 반

사맵을 선형 으로 근사하여 해를 구하는 선형 방법

등이 존재한다[1]. 이러한 기법을 통하여 물체의 표면

법선 벡터를 추정하고, Poisson 방정식의 풀이를 통해 3

차원 형상을 추출한다.

본 논문에서는 스마트폰의 카메라와 래시를 이용하

므로, 실제 상에 하여 복원 결과가 안정 으로 알려

지고 계산량이 어 모바일 포 에 유리한 선형 방법

[2]을 이용하도록 한다.

3. 카메라와 래시의 보정 기법

3.1 카메라 기하학 보정

스마트폰의 카메라는 거리가 짧은 소형 즈를

기 사용하기 때문에 즈와 상 센서를 완벽하게 수평

으로 정렬하는 것이 어렵다. 한 실질 으로는 구면

즈이기 때문에 선 왜곡(tangential distortion)과 방사

왜곡(radial distortion)이 존재한다. 단일 스마트폰

카메라의 내부 인자는 고정된 값이므로 본 논문에서는

Matlab의 카메라 보정 툴박스[3]를 이용하여 내부

(intrinsic) 인자와 방사 계수, 선 계수를 오 라인 처

리로 추정하고 이에 따라 상을 보정한다.

3.2 카메라 방사도 보정

카메라로 취득된 상의 화소값 I는 식 (2)과 같이

노출 시간 k와 센서의 단 면 당 입사되는 방사도 R의

곱과 그림 1(a)와 같은 비선형 카메라 반응 함수 f에

의해 표 된다.

)(kRfI = (2)

따라서 실제 입사되는 빛의 양과 화소값은 선형 비례

하지 않으므로 능동 형상 취득 시 오차의 원인이 된다.

(a)

(b)

그림 1 카메라의 비선형 왜곡 방사도 보정 (a) 카메

라의 R, G, B 채 의 반응 함수, (b) 서로 다른

노출 시간으로 취득된 상

이러한 왜곡을 없애기 해 본 논문에서는 상에서의

밝기 값을 실제 입사되는 빛의 양에 선형 이 되도록

보정을 수행한다. 일반 인 카메라의 반응 함수는 단조

증가이기 때문에 반응 함수의 역함수를 구할 수 있고

식 (3)과 같이 반응 함수의 역함수를 이용하여 방사도

값을 구한다[4].

)(1 IfkR −= (3)

본 논문에서는 이와 같이 추정된 방사도 값을 이용하

여 상의 밝기 값을 선형 으로 보정한다[4]. 카메라의

반응 함수는 그림 1(b)와 같이 노출 시간이 서로 다른

여러 상을 취득하고 기존의 Robertson[5] 기법을

용하여 추정한다.

3.3 래시 조명 보정

스마트폰의 래시는 LED 소자의 면에 집 조명

(spotlight)을 목 으로 하는 라스틱 커버가 워져

있어 원이 공간상에 불균일하게 발 하게 되는 원인

이 된다. 따라서 이러한 기계 인 방해 요소는 실험

에 제거하 다.

스마트폰에서의 3차원 형상 취득을 한 카메라와 래시의 보정기법 165

그림 2 원의 입사 방향 (a) Infinite point light source,

(b) Local point light source

일반 인 SFS 기법에서의 원은 그림 2(a)와 같이

무한한 거리에 있는 원(infinite point light)을 가

정한다. 이는 물체에 입사되는 선이 균일한 에 지를

가지고 물체에 평행하게 입사 하는 것을 의미한다. 그러

나 스마트폰 래시를 이용할 경우 물체의 크기에 비해

조명의 치가 매우 멀지 않기 때문에 그림 2(b)에 도

시한 바와 같이 치에 따라 선의 입사각이 다르다.

한편 물체에 입사되는 빛의 세기는 거리에 따라 감쇄

되며, 스마트폰에 장착된 LED의 경우 모든 방향으로 균

일한 분포의 빛을 발산하는 완벽한 원이 아니다. 이

러한 요소들은 스마트폰의 래시를 이용한 3차원 형상

취득에 있어 오차의 원인이 된다. 따라서 본 논문에서는

선의 입사각, 거리에 의한 감쇄 효과, 그리고 지향각에

따른 방출 특성을 고려하여 래시 보정을 수행한다.

본 논문에서 사용된 스마트폰 LED의 배 (light

distribution)특성을 알아보기 해 지향각 측정기로 빛

의 양을 실측하 고 그 결과를 그림 3에 제시하 다. 측

정된 도(luminous intensity)의 분포는 그림 4와 같이

cos에 근사하는 Lambertian 분포를 가지고 있다. 즉,

LED에서 발 하는 빛의 양은 일정하지 않고 각도에 따

라 감쇄된 빛이 방출된다.

본 논문에서 제안하는 래시 보정 방법은 다음과 같

다. 우선 그림 5에 제시한 바와 같이 Xlight 치에서 빛

의 양 A를 방출하는 원을 가정한다.

선의 입사각과 표면의 법선 벡터가 수직이 되는 지

인 Xref 치에서의 화소값 p(Xref)은 식 (1)에 의해 가

그림 3 지향각 측정기로 측정된 LED의 배 특성

그림 4 지향각의 각도별 량 측정 결과

그림 5 래시 조명의 왜곡 보정

장 밝은 값을 가지며 3차원 복원시 카메라로부터 가장

가까운 깊이 값을 가지고 있다.

이 치에 입사되는 빛의 양 Eref 는 LED의 방출

특성과 거리 d의 2차 다항식에 반비례하여 감쇄되어

입사된다. 2차 다항식의 계수 1, 0, 1은 실험 으로 구

하 다.

ref

ref

refrefref AdA

dE θ

θ

θ cos)

cos(1

1cos11

22

+=

+=

(4)

한 X 치에 입사되는 빛의 양 EX 화소값 p(X)

는 식 (5) 식 (6)으로 나타낼 수 있다.

X

X

XX AdE θ

θ

cos)

cos(1

12+

= (5)

)cos()( XXXEXp θφ += (6)

여기서 은 평행한 선이 입사되었을 때의 선과 법

선 벡터의 사이 각이며 식 (4)에서 Eref 는 식 (1)에 의

해 p(Xref)와 같으므로 A를 기 으로 정리하면 식 (6)

을 식 (7)로 나타낼 수 있다.

166 정보과학회논문지 : 컴퓨 의 실제 터 제 18 권 제 2 호(2012.2)

)cos()(cos

)cos(1

)cos(1

cos)(

2

2XXref

ref

ref

ref

X

X

X Xp

d

dXp θφθθ

θ

θ+

+

+=

(7)

여기서 조명에서 물체까지의 거리를 알고 있으면, 상의

화소값과 3차원 복원 결과의 깊이 값을 이용하여 dref,

p(Xref), ref dX, p(X), X 를 얻을 수 있고 이를 이용

해 기의 를 추정할 수 있다. 추정된 를 이용하여

식 (8)과 같이 보정하고자 하는 화소값 를 구한다.

XparallelEXp φcos)( = (8)

여기서 Eparallel 는 무한한 치의 원이 평행하게 입

사되는 빛의 양이며 p(Xref)값이 식 (1)에 의해 Eparallel

cosref 이므로 식 (9)와 같이 나타낼 수 있다.

Xref

refXpXp φ

θcos

cos)(

)( = (9)

그러나 기의 3차원 복원 결과의 깊이 값은 부정확

한 값이므로 본 논문에서는 다음과 같은 반복 기법을

사용한다. 우선 래시 보정 상으로 기의 깊이값

을 복원하여 식 (7)에서 구한 를 이용해 식 (9)와 같

이 로 상을 보정하고 새로운 깊이값을 생성한다.

이때 dref, p(Xref), ref 은 기 값으로 하여 고정하고 새

로운 깊이값으로 dX, p(X), X 만을 갱신하여 를 재

추정한다. 이후 상기 과정을 반복하여 i번째 보정 결과

가 수렴할 때까지 반복 수행하여 상을 보정한

다. 본 논문의 실험에서는 7회 미만의 반복으로 래시

보정이 완료되었다.

4. 실험 결과

본 논문의 실험에 사용된 스마트폰은 5백만화소의 카

메라와 LED 래시, 그리고 1GHz CPU(ARM Cortex

A8)를 장착하고 있는 삼성 자의 GT-S8500이다. 제안

하는 알고리즘은 모두 스마트폰에서 구 되었다. 실험

상은 실험 공간의 주변 을 모두 소등한 후, Lam-

bertian 물체로 가정한 종이 는 석고 모델에 하여

래시 조명을 투사하여 취득한다. 이 때 카메라에서의

vignetting효과는 스마트폰의 ISP(image signal processor)

에 의해 이미 보정되었다고 가정한다. 취득된 상에

하여 카메라 래시 보정을 용하여 SFS기법으로

3차원 형상을 복원하 으며 래시 보정을 해 조명에

서 물체까지의 거리를 추정하 다.

그림 6(a)와 같이 취득된 상에 하여 방사도 보정

(a) (b) (c)

(d) (e)

그림 6 방사도 보정 래시 보정 결과 (a) 보정 ,

(b) 방사도 보정, (c) 방사도 보정 후 래시 보

정, (d) 래시 보정 3차원 복원 결과, (e)

래시 보정 후 3차원 복원 결과

을 용시킨 결과를 그림 6(b)에 제시하 으며 그림 6

(c)는 방사도 보정 후 래시 보정을 용한 결과를 나

타낸다. 래시 보정 상에서는 조명의 왜곡으로 인

하여 가장자리로 갈수록 어두운 상이 나타나는 것을

볼 수 있다. 이에 비해 래시 보정 후에는 상의 밝기

가 보정되어 이러한 상이 제거되었음을 확인 할 수

있다. 한 래시 보정 과 보정 후의 3차원 형상 복

원 결과를 그림 6(d), (e)에 제시 하 다. 그림 6(d)에서

보는 바와 같이 보정 의 3차원 형상 복원 결과에서는

조명의 왜곡으로 인하여 체 으로 휘어져 있으며 깊

이 값에 오차를 가지고 있음을 알 수 있다.

이에 비해 보정 후에는 그림 6(e)에 제시한 바와 같이 왜

곡이 제거되고 실제 형상과 부합하는 것을 확인 할 수 있다.

그림 7에 구와 각뿔체의 두 가지 석고 모델에 한

실험 결과를 제시하 다. 그림 7(a), (e)는 방사도 보정

만 용한 결과이며 그림 7(b), (f)는 방사도 보정 후

래시 보정을 용한 결과 상이다. 그림 7(c), (g)에

제시 한 보정 의 3차원 형상 복원 결과에서는 물체의

깊이 값이 실제의 형상과 차이가 크거나 휘어져 있는

왜곡을 가지고 있다. 이에 비해 그림 7(f), (h)에 제시한

보정 후의 3차원 형상 복원 결과에서는 휘어지는 왜곡

이 제거되었으며 깊이 값이 실제 형상에 부합되게 보정

되었음을 확인할 수 있다.

스마트폰에서의 3차원 형상 취득을 한 카메라와 래시의 보정기법 167

(a) (b)

(c) (d)

(e) (f)

(g) (h)

그림 7 석고 모델에 한 보정 결과 (a),(e) 래시 보정

상, (b),(f) 래시 보정 후 상, (c),(g) 래시

보정 3차원 형상 복원, (f),(h) 래시 보정 후

3차원 형상 복원

실험에 사용된 스마트폰에서 체 알고리즘의 수행

결과, 그림 6의 경우 약 27 , 그림 7(a)와 (e)의 경우

각각 약 31 와 25 가 소요되었다. 본 논문에서는 스마

트폰에서의 계산량 최 화는 수행하지 않았으며, 고정

소수 연산 는 모바일 GPU의 사용으로 향후 고속

수행이 가능할 것이다.

5. 결론 향후 연구

본 논문에서는 스마트폰에서의 카메라 래시를 이

용한 3차원 형상 취득 시, 형상 취득의 정확성을 높이기

한 보정 기법을 제안하 다. 실험 결과, 보정을 용한

경우 3차원 형상 취득의 정확도가 향상되었음을 알 수 있

다. 그러나 SFS 기법을 사용한 3차원 형상 취득은 텍스

처가 있는 물체에 해서는 제한 이다. 한 래시 조

명의 사용으로 인해 주변 조명을 소등해야 한다는 한계

이 존재한다. 이러한 문제 은 향후 photometric stereo

기법의 용과 HDRI(high dynamic range imaging)기

법 고조도의 래시 사용으로 해결이 가능할 것으로

기 된다.

참 고 문 헌

[ 1 ] R. Zhang, P. S. Tasi, J. E. Cryer, and M. Shah,

"Shape from shading: A survey," IEEE Trans. on

Pattern Analysis and Machine Intelligence, vol.21,

no.8, pp.690-706, Aug. 1999.

[ 2 ] P. S. Tsai and M. Shah, "Shape from shading

using linear approximation," Image and Vision

Computing, vol.12, no.8, pp.487-498, Aug. 1994.

[ 3 ] J. Y. Bouguet, Camera Calibration Toolbox for

Matlab, http://www.vision.caltech.edu/bouguetj/calib_

doc/

[ 4 ] A. Livinov and Y. Y. Schechner, "Addressing

radiometric nonidealities: A unified framework,"

Proc. IEEE Conference on Computer Vision and

Pattern Recognition, vol.2, pp.66-59, Jun. 2005.

[ 5 ] M. A. Robertson, S. Borman, and L. Stevenson,

"Dynamic range improvement through multiple

exposures," Proc. IEEE International Conference

on Image Processing, vol.3, pp.159-163, Oct. 1999.