2014 년 한국방송공학회 하계학술대회

영역별 투영 히스토그램 매칭 및 선형 회귀모델 기반의 차량 운행 영상의 안정화 기술 개발

허유정, 최민국, 이현규, 이상철 인하대학교

huhyuuu@inha.edu, mkchoi@inha.edu, hg_lee@inha.edu, sclee@inha.ac.kr

Driving Video Stabilization using Region based Histogram Matching and Linear Regression

Yu-Jung Heo, Min-Kook Choi, Hyun-Gyu Lee, and Sang-Chul Lee Inha University

요 약

본 논문에서는 블랙박스 혹은 운전석에 장착된 카메라로부터 얻어진 차량 영상에 대한 영역별 수직 히스토그램 매칭 및 선형 회귀분석 모델(linear regression model)을 활용한 강건한 차량 운행 동영상의 안정화(video stabilization) 기법을 제안한다. 동영상 안정화 기법은 영상의 흔들림 보정뿐 아니라 동영상 내 강건한 특징점 추적 및 매칭을 위한 이전의 전처리 과정으로 적용된다. 일반적으로 촬영 과정에서 많은 떨림이 포함될 수 있는 야외 CCTV 영상이나 손으로 들고(hand-held) 촬영된 동영상에 대한 흔들림 보정 등에 적용되고 있으나 영상 내 특징점이 지속적으로 변하고 영상의 변화 정도가 매우 심한 차량 운행 동영상에서는 적용된 사례가 드물다. 본 연구에서는 일반적인 비디오 안정화 기술이 적용되기 어려운 차량 운행 동영상에 대하여 수직 투영 히스토그램 매칭 및 선형 회귀분석 모델 기반의 안정화 기법을 제안한다. 제안된 기법은 입력 영상에 대한 영역별 수직 투영 히스토그램 매칭을 수행하고 선형 회귀모델을 통해 영상에 나타나는 수직 및 회전이동 변환을 선형 근사하여 시간 영역 상의 입력 영상에 대한 안정화를 달성한다. 제안 방법의 검증을 위해 블랙박스로 촬영된 실제 동영상에 동영상 안정화 기술을 적용하였으며, 운행 중 불규칙한 노면으로 인한 영상의 흔들림이 효과적으로 제거되는 것을 확인할 수 있었다.

1. 서론

동영상 안정화 (video stabilization)은 동영상의 흔들림 혹은 떨림을 보정하기 위한 기술로 주로 야외 CCTV 나 손으로 촬영된 (hand-held) 동영상을 보정하기 위한 기법이다. 영상의 흔들림 보정뿐 아니라 동영상 응용 기술을 적용하기 위한 전처리 단계로도 효용이 높아 많은 연구가 이루어지고 있으며 대표적으로 특징점 모션 추적 기반의 안정화 기법[1, 2, 3, 4, 5]과 모션 분석 기반의 안정화 기법[6, 7, 8, 9] 등이 널리 활용되고 있다.

특징점 모션 추적기반의 동영상 안정화를 달성하기 위해 Wang 등은 2D KLT 특징점에 대한 궤적 추적 기반의 동영상 안정화 기법은 제안하였다. 본 기법은 2D 특징점들에 대한 궤적 행렬(trajectory matrix)을 구성하고 필터링된 궤적들에 대한 부분공간 제약조건(subspace constraint)을 적용하여 동영상 안정화를 달성하였다[1]. 특징점 모션 추적 기반의 동영상 안전화 기법에서 보다 강건한 특징점 추출을 위해 다수의 연구들이 SIFT (scale invariant feature transform) 기술자(descriptor)를 특징점으로 활용하였다[2, 3, 4]. 이 가운데 Battiato 등과 Yang 등은 SIFT 기술자를 파티클

필터(particle filter)와 결합하여 강건한 특징점 추적을 통한 동영상 안정화 기법을 제안하였다[3, 4]. Liu 등은 추출된 특징 점들로부터 얻어진 3 차원 카메라 모델의 파라미터 특성과 이미지 워핑(image warping)기법을 활용하는 동영상 안정화 알고리즘을 개발하였다[5].

특징점 기반의 동영상 안정화 기법과는 다르게 모션 분석 기반의 동영상 안정화 기법은 옵티컬 플로우(optical flow)와 같은 밀집된(dense) 모션 추출 알고리즘을 통해 영상 전체에 나타나는 모션을 분석하여 동영상 안정화를 달성하고 있다. 대표적으로 Matsushita 등은 연속된 두 프레임 사이의 기하학 적 변환 파라미터로부터 추정된 전역 모션 정보를 활용하여 영상의 안정화를 수행하고, 특정한 국소 영역 간의 추정된 모션 정보를 지역적 모션으로 가정하여 소실된 영상 정보를 복원(inpainting)하여, 두 단계로 이루어진 풀 프레임(full-frame) 동영상 안정화 기법을 제안하였다[6]. 이 외에도 옵티컬 플로우 측정 기반의 모션 분석을 통한 동영상 안정화[7, 9] 등이 제안되었다.

동영상 안정화 기법은 대부분 일반적인 동영상에서의 흔들림 보정을 위해 제안되었지만, Liang 등의 연구에서는 동영상 안정화 기법을 차량 영상에 적용하였다[10].

2014 년 한국방송공학회 하계학술대회

Figure 1. 제안된 동영상 안정화 기법의 흐름도

차량 내부에서 촬영한 동영상의 경우 불규칙한 노면 등으로 발생하는 프레임 간의 불안정성이 영상 정보 추출 시 발생하는 오차에 크게 기여하게 된다. 이러한 문제점을 해결하기 위해 Liang 등은 영상 내에 존재하는 차선을 검출하고, 검출된 차선으로부터 소실점을 추출하여, 추출된 소실점(vanishing point)을 기반으로 영상 간의 모션을 추정하여 동영상 안정화를 달성하였다. 제안된 기법은 추출된 소실점을 사전정보(prior information)으로 활용하여 빠른 시간 내에 동영상 안정화를 달성할 수 있는 장점이 있지만, 사전 정보의 추출이 불가능한 노면이나 도로의 경우, 알고리즘의 적용이 불가능하다는 단점을 안고 있다.

본 논문에서는 이러한 문제점을 해결하고 차량 영상에서의 동영상 안정화를 달성하기 위해 영역별 수직 투영 히스토그램 매칭(vertical projection histogram matching) [11] 및 선형 회귀모델(linear regression model) 기반의 동영상 안정화 기법을 제안하였다. 제안하는 기법은 기존의 방법과는 다르게 사전정보를 요구하지 않고 빠른 시간 내에 프레임간 선형 모션을 근사해 낼 수 있다는 장점을 가지고 있다. Fig. 1 은 동영상 안정화를 위해 제안된 기법의 흐름도를 나타내고 있다.

2. 영역별 수직 투영 히스토그램 매칭

불규칙한 노면에서 촬영된 차량 영상의 경우 수직 방향의 이

동(translation)변환과 차량 축을 중심으로 발생하는 회전

(rotation)변환을 동시에 고려해야 한다. 일반적으로 차량 영상

에서 수평 이동변환의 경우, 영상의 흔들림 보다는 차량의 이동

에 의해 발생하기 때문에 수직 방향의 이동 변환만을 고려하였

다. 이를 위해 제안된 알고리즘에서는 영상 전체에서의 수직 히

스토그램 매칭이 아닌 영역별 수직 투영 히스토그램 매칭을 수

행하였다. 영역별 수직 투영 히스토그램 매칭을 통해 각 영역에

서 얻어지는 연속적인 이동 변환 벡터를 추출할 수 있다.

2.1 전 처리 및 영역 설정

영역별 수직 투영 히스토그램 매칭을 위한 전처리 과정으로

본 연구에서는 입력 영상(Fig2. a) ∈ ℝ× 에 대하여 컬러공

간 변환 및 이진화(binalization)를 수행하였다. 컬러공간 변환

으로는 흑백변환, 독립된 R, G, B 컬러 채널 총 4 가지 변환을

적용하였고(Fig2. b, c, d, e), 이진화 방법으로는 DoG

(difference of Gaussian), Sobel, Adaptive thresholding 3 가

지 이진화 알고리즘을 적용하였다(Fig2. f, g, h). 각 전처리 과

Figure 2. 입력 영상에 대한 전처리 및 영역 분할 과정. a-d: 컬러 모델 기반 전처리 결과. f-h: 이진화 기반 전처리 결과. i: 영역 히스토그램 매칭을 위한 영역 분할 결과( = ).

Figure 3. 영역별 히스토그램 추출 결과. 전처리 및 영역 분할, 영역별 히스토그램 생성을 과정을 나타내고 있다.

정 수행 이후 강건한 모션 벡터 추정을 위해 영역별 수직 히스

토그램 분석을 통한 매칭을 수행하였다. 이 때 영상 내 영역의

수 은 2, 4, 10, 16, 20, 32, 40 로 설정하였다(Fig. 2i, = 10).

2.2 수직 투영 히스토그램 추출 및 매칭

입력 영상에 대한 전처리 수행 이후 영상을 개의 영역으로

나누고 모든 수직 방향의 픽셀 인덱스에 대한 영역별 수직 히

스토그램 을 추출한다. 입력 동영상 내에 존재하는 번째 프

레임 와 + 1번째 프레임 에 대해서 전처리 적용 이후

추출된 영역별 수직 투영 히스토그램은 다음과 같이 정의된다.

→ (,) , ⋯ , (,) , +1 → (,) , ⋯ , (,) , (,) = ℎ(,) , ⋯ℎ(,), (,) = ℎ(,) , ⋯ℎ(,)(1),

수직 히스토그램 (,)는 프레임 의 번째 영역에서 추출된 히

스토그램을 의미하며. 영상 높이에 해당하는 빈도수 을 가진다.

Fig. 3 은 전처리 거친 영역별 히스토그램 추출 결과를 나타내

고 있다.

각 영역에서의 수직방향의 이동변환 벡터 을 추출하기 위해,

임의의 연속된 두 프레임 와 +1의 수직 방향의 이동 크기는

동일 위치의 수직 히스토그램 간 최소 오차값 갖는다고 가정하

였다. 번째 영역에서 수직 히스토그램 (,)와 (,) 간의 최

소 SAD (Sum of absolute differences) 값으로 영역 간 수직

방향 이동벡터를 추출하였다. 30f/s 의 인코딩 비율을 갖는 연속

된 두 프레임 사이의 수직이동변환 값은 실제적으로 20 픽셀

이상을 나타내기 어려우므로, SAD 최소값 추출을 위한 히스토

그램의 상한 및 하한을 20 픽셀로 지정하였으며, 추출 공식은

다음을 따른다.

2014 년 한국방송공학회 하계학술대회

min = ℎ(,) − ℎ(,) (2),

이때 ℎ(,)은 번째 영역에서 번째 인덱스에 해당하는 수직 히

스토그램의 빈도수를 의미한다.

3. 선형 회귀모델 기반의 모션 파라미터 추출

2 절에서 서술한 것과 같이 전처리가 적용된 번째 프레임 에 대하여 개의 영역별 수직 투영 히스토그램 매칭을 수행

하였을 때, 총 의 크기를 갖는 수직이동 벡터 = [ , , . . , ]을 추출하게 된다. 프레임 간 수직 또는 회전 이동 변환이 나타

났을 때, 이상적인 경우 영상 전체에서 추출된 수직이동 벡터

요소 값들은 선형 관계를 갖게 된다. 선형 회귀모델로부터

얻어진 의 요소 값들을 특징벡터로 한 근사 함수는 수직이동

변환과 회전이동변환에 대한 변환 파라미터를 나타내게 된다.

선형 회귀모델 구축을 위한 근사함수는 알려진 OLS

(ordinary least square) 근사 공식을 따르며 추출된 특징 벡터 를 활용한 대수적 해법은 다음과 같다.

= ()(3), = 1 ⋮ ⋮1 , = ⋮ , = .

이때, 행렬 는 나눠진 영역의 픽셀 위치값을 요소로 갖으며, 는 추출된 각 영역의 수직이동벡터를 요소로 갖는 벡터이다. 는 근사된 선형 회귀모델의 계수값을 요소로 갖는 벡터이며, 과 은 각각 수직이동변환과 회전변환을 근사하기 위한 파라미

터로 활용된다. 그림 4 는 = 40인 경우 수직 히스토그램 매칭

이후 얻어진 수직이동 벡터 와 그에 따른 선형 회귀모델에

근거한 근사 함수의 예시를 나타내고 있다. 식 (3)으로 근사된

변환 파라미터 과 을 활용하여 입력 동영상의 모든 프레임

간에 이동 및 회전변환 정보를 추출할 수 있으며, 연속된 입력

동영상의 비디오 안정화를 달성할 수 있다. Fig. 5 는 연속된 15

프레임의 입력 영상에 대하여 선형 회귀모델 근사한 결과이다.

입력 동영상의 안정화를 위해서는 두 프레임간의 모션 파라

미터 뿐 아니라 전체 시간 영역 상에서 연속적으로 발생하는

누적 모션을 고려해야만 한다. 번째 프레임과 + 1 번째 프레

임에 대한 안정화를 달성하기 위해 최종적으로 시간영역 상에

서 누적된 모션 파라미터 Β = [∑ , ∑ ] 를 프레임

간 안정화를 위해 사용하였다.

4. 실험결과

본 연구에서는 모션 파라미터 추출에 강건한 특징추출과

파라미터 최적화를 위해 흑백변환, 독립된 R, G, B 컬러 채널로

의 4 가지 컬러 공간 변환과 DoG(Difference of Gaussian),

Adaptive thresholding, Sobel 의 3 가지 이진화로 총 7 가지

전처리 변환을 적용하였고, 영상 내 한 프레임의 영역 수 을

Figure 4. 추출된 영역별 수직이동 벡터와 그에 따른 선형회귀 모델( = ). a: 수직이동변환. b: 회전이동변환. c-d: 프레임간 수직이동 및 회전변환

Figure 5. 연속적인 프레임간 선형회귀 모델을 통해 연속적인 수직 이동 및 회전변환에 대한 움직임을 근사할 수 있다. 15 프레임에서 추출된 선형회귀 모델 3 차원 시각화.

다양한 크기(2, 4, 10, 16, 20, 32, 40)에서 실험하였다.

모션 파라미터에 대한 유의미한 통계적 분석을 수행하기 위해 모든 특징 및 영역의 크기에서 추출한 모션 파라미터로 행렬 ∈ ℝ×를 구성한다. 행렬 의 번째 행 번째 열의 요소 = [ , ]은 번째 특징 추출 기법과 번째 영역의 크기 설정으로부터 추출된 모션 파라미터를 의미하며, 이때 모션 파라미터에 통계적 파라미터를 다음과 같이 추출하였다. = ∑ ∑ ∗ = ,

= − (4), 강건한 모션 파라미터 추출을 위한 특징 선별 및 영역 크기

설정을 위해 부등식 조건 − ≤ ≤ + 을 지정하여 전처리 변환 방법과 영역 크기에 따른 안정도를 통계적으로 분석 하였다. Fig. 6 에서는 주어진 부등식 조건에 따라 10 개 프레임에서 추출된 통계량의 예시를 나타내고 있다.

최종적인 전처리 기법과 영역의 크기 선별을 위해 입력 동영상 내의 연속적인 프레임 [ , … , ] 에서의 추출된 모션 파라미터 에 대한 부등식 조건 − ≤ ≤ + 을 만족하는 히스토그램을 추출한다. 이때 각 조합에서의 누적값이 높을수록 해당 분석방법의 모션 파라미터가 확률적으로 잘 근사 되었음을 의미한다. Fig. 7 에서는 총 49 개의 모션 파라미터 추출 결과에 대한 부등식 조건을 만족하는 히스토그램 추출 결과를 나타내고 있다. 히스토그램 분석 결과에 따라 효과적인 전처리 기법으로는 grey-scale 및 R, G, B 채널과 DoG 를 선택하였고, 최적화된 영역의 크기 은 32 로 설정하였다. 그림 8 은 선별된 전처리 기법과 = 32 설정에서 수행된 동영상 안정화의 결과이다. Fig. 8 은 제안된 알고리즘을 통해 임의의 차량영상을 보정한 예이다.

2014 년 한국방송공학회 하계학술대회

Figure 6. 연속된 10 프레임 영상에서 추출한 모션 파라미터 와 의 평균 과 표준편차 의 통계량 추출 및 상한 + 과 하한 − 분석 결과

Figure 7. 부등식 조건에 따른 모션 파라미터 와 에 대한 전처리 기법 및 영역 별 크기에 따른 누적 히스토그램 결과

Figure 8. 파라미터 최적화 이후 수직이동 및 회전변환에 대한 동영상 안정화가 적용된 결과

5. 결론 본 논문에서는 차량 영상에 대한 영역별 수직 투영 히스토그램 매칭과 선형 회귀모델 기반의 동영상 안정화 기법을 제안하였다. 제안하는 기법은 프레임 간 모션 추정에 있어 다른 사전정보를 요구하지 않으며, 빠른 시간 내에 강건한 모션 파라미터를

추정할 수 있다는 장점이 있다. 또한 수직 투영 히스토그램 매칭을 수행할 수 있는 다양한 전처리 알고리즘 적용에 대한 실험으로, 히스토그램 매칭 수행 시 상대적으로 강건한 이진화 및 특징 추출 기법에 대한 특징 선별에 대한 실험결과를 도출하였다. 또한 선형 회귀모델을 활용한 모션 파라미터 추출을 통해 동영상 안정화를 수행하였으며, 다양한 주행환경에서의 동영상 안정화 수행을 통해 제안하는 기법의 효용성을 검증하였다. 제안하는 알고리즘의 확장을 위해 잔차 분석(outlier analysis) 수행 및 영상 복원(image inpaiting) 기법이 적용된 풀 프레임 동영상 안정화 기법들을 적용할 수 있을 것으로 기대된다.

감사의 글 본 연구는 미래창조과학부 및 한국산업기술평가관리원의 산업융합원천기술 개발사업(정보통신)의 일환으로 수행하였음. [10047078, 다시점 블랙박스 영상을 이용한 교통 사고현장 3 차원 재구성 기술개발]

참고문헌 [1] J. Wang, H. Jin, and A. Agarwala. Subspace video stabilization. ACM Transactions on Graphics. 30(4), 2011. [2] S. Battiato, G. Gallo, G. Puglisi, and S. Scellato. SIFT feature tracking for video stabilization. International Conference on Image Analysis and Processing, 2007. [3] J. Yang, D. Schonfeld, C. Chen, and M. Mohamed. Online video stabilization on particle filters. International Conference on Image Processing, 2006. [4] Y. Shen, P. Guturu, T. Damarla, B. P. Buckles, and K. R. Namuduri. Video stabilization using principal component analysis and scale invariant feature transform in particle filter framework. IEEE Transactions on Consumer Electronics, 55(3):1714-1721, 2009. [5] F. Liu, and H. Jin. Content-preserving warps for 3D video stabilization. ACM SIGGRAPH, 2009. [6] Y. Matsushita, E. Ofek, X. Tang, and H. -Y. Shum. Full-frame video stabilization with motion inpainting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(7):1150-1163, 2006. [7] H. -C. Chang, S. -H. Lai, and K. -R. Lu. A robust and efficient video stabilization algorithm. International Conference on Multimedia and Expo, 2004. [8] H. -C. Chang, S. -H. Lai, and K. -R. Lu. A robust real-time video stabilization algorithm. Journal of Visual Communication and Image Representation. 17:659-673, 2006. [9] J. Yang, D. Schonfeld, and M. Mohamed. Robust video stabilization based on particle filter tracking of projected camera motion. IEEE Transactions on Circuits and System for Video Technology, 19(7):945-954, 2009. [10] Y. -M. Liang, H. -R. Tyan, S. -L. Chang, H. -Y. M. Liad, and S. -W. Chen. Video stabilization for a camcorder mounted on a moving vehicle. IEEE Transactions on Vehicular Technology, 53(6):1636-1648, 2004. [11] H. Ryu, M. Kim, S. Cha, and S. Sull. Use of projection histogram for tracking faces under out-of-plane rotation. SPIE Optical Engineering, 47(9), 2008.