recent work on recognition of embedded texts in general...

SUR - CHARACTERRECOGNITION - 003, 2010 1

이미지내문자인식연구의최근동향

Recent work on Recognition of Embedded Texts in General Images

부산대학교 컴퓨터공학과

김선영

E-mail : [email protected]

Revised on 2011.01.06.

ABSTRACT

이미지 내의 문자를 인식하는 일은 문서 보전, 이미지를 통한 검색 등 여러가지 분야에 활용할수 있기 때문에 오랫동안 많은 연구가 이루어져 왔다. 광학식 문자 인식에 관한 연구는 많은진전을 보이고 있으나, 자연 이미지 내의 문자 인식은 여러 제약사항으로 인해 아직 높은 인식률을 보여주지 못하고 있다. 본 보고서에서는 광학식 문자 판독 연구 및 자연 이미지 내의 문자인식 연구의 최근 동향에 대해 정리하고 각 시스템의 인식률을 조사하여 비교한다. 또한 자연이미지 내 문자 인식을 이용하여, 포털 사이트에서 제공하는 로드뷰와 사진의 지리정보를 고려한 상호명 검색에 관한 연구를 제안한다.

KEYWORDS Character Recognition, Natural Image, Optical Character Reader

1 서 론

사진이나 비디오 촬영 영상, 스캔한 문서 등 이미지에서 문자를 인식하는 일은 오랫동안 화두가 되

어 왔다. 스캔한 문서의 문자를 정확하게 인식할 수 있을 경우, 사람이 데이터를 컴퓨터에 손으로 일

일이 입력하지 않고 자료를 쉽게 데이터화 할 수 있다. 또한 자연 이미지에서 문자를 바르게 인식할

수 있을 경우, 이미지를 이용한 검색에도 활용할 수 있다. 이 중 스캔한 문서 내의 문자 또는 인쇄된

문자, 손으로 쓴 문자 등을 인식하는 연구는 광학식 문자 인식 (Optical Character Reader, OCR)로,

많은 연구가 이루어져 300dpi 이상의 해상도가 높은 이미지의 경우 80% 이상의 높은 문자 인식률을

보이고 있으며, 오픈 소스도 쉽게 찾아볼 수 있다.

자연 이미지는 일상 생활에서 촬영하는 사진이나 영상의 한 장면 등으로 사람은 쉽게 문자와 배경

을 구별하고 문자를 정확히 인지할 수 있으나, 시스템은 다양한 색상 분포에서 배경과 문자의 영역을

잘 인지하지 못하며, 촬영 각도, 빛의 양 등 외부 요인에 따라 인식률이 많은 영향을 받는다. 이러한

자연 이미지의 특성으로 인하여 아직까지 높은 성능을 보여주지 못하고 있다. 본 보고서에서는 이미지

내의 문자 인식 연구의 최근 동향에 대해 정리하고, 자연 이미지를 입력으로 사용하여 오픈 소스로 제

공하는 OCR 프로그램에서의 인식률과, 자연 이미지를 사용한 연구들의 문자 인식률에 대해 조사하고

비교한다. 또한 자연 이미지에서의 문자 인식을 이용하여 그림 1 의 Naver(http://map.naver.com),

그림 2 의 Daum(http://local.daum.net/map/index.jsp) 등과 같은 포털 사이트에서 제공하는 로드

뷰와 사진의 지리정보를 고려한 상호명 검색에 관한 연구를 제안한다.

Copyright © Graphics Application Lab. Pusan National University

mailto:[email protected]?subject=Re:%20AJT%20article%20


그림 1. 포털 사이트 Naver에서 제공하는 거리뷰 이미지의 일부.

그림 2. 포털 사이트 Daum에서 제공하는 로드뷰 이미지의 일부.

2 광학식 문자 인식

광학식 문자 판독기, OCR로 더 많이 알려져 있는 이 장치는 문서에 새겨진 문자를 빛을 이용하여

판독하는 장치를 말한다. 특정형의 타이프 문자 또는 손글씨로 쓴 것을 판독하는 장치로, 실제로는

타이프 문자를 판독하는데 주로 사용한다. OCR은 색상의 분포가 적고, 해상도가 높으며, 이미지 내

문자들의 글씨체와 크기가 일정한 문서를 대상으로 하기 때문에 비교적 높은 성능을 끌어낼 수 있다.

일상 생활에서 쉽게 볼 수 있는 OCR의 사례로는 스캐너의 OCR 프로그램, 지로용지 관리 등이 있

다[1].



2.1 광학식 문자 판독기 (OCR)의 종류

OCR은 사용자가 가진 이미지로 프로그램을 사용할 수 있도록 웹 페이지를 제공하고 있는 곳이 있다.

Free OCR과 Naver Lab이 대표적이다.

(a) Free-OCR (b) Naver lab

그림 3. 많이 알려진 무료 OCR 프로그램. (a)는 Free-OCR 로 영어 외에 여러가지 언

어를 지원하나 한글은 지원하지 않는다. (b)는 네이버에서 제공하는 이미지 문자 인식

OCR 시스템이다.

Free OCR의 경우 JPG, GIF, TIFF, BMP, PDF(첫 페이지) 이미지 파일을 지원하고, 다양한 언어

(불가리아, 체코어, 덴마크어, 네덜란드어, 영어, 프랑스어, 독일어 등, 한국어 지원 안함)의 문자를 인

식할 수 있다. 그러나 이미지 파일을 2MB 이하로 제한하고 있으며, 5000 pixel을 넘는 이미지는 지

원하지 않는다. 또한 시간당 10개 이하의 이미지 만을 업로드할 수 있도록 제한하고 있어[2], 다양한

종류의 입력 데이터에 대해 실험하기 위해서는 많은 시간이 소요된다.

Naver LAB의 이미지 문자 인식 OCR의 경우 스캐닝한 이미지 문서에 포함된 한글, 영문, 숫

자 폰트를 편집 가능한 텍스트로 변환하고 저장할 수 있도록 하는 서비스로 jpg 이미지 만을 지원

한다[3]. 사용자가 jpg 이미지를 업로드하면 OCR 적합성 여부를 평가하여 예상 인식률을 제공한다.

Naver LAB에서 OCR 적합성을 평가하는 기준은 문서 크기, 해상도 300dpi 이상, 기울기, 밝기, 대비,

문자크기이며, 이를 토대로 OCR 적합도를 퍼센트로 제공하고 있다.

2.2 OCR 시스템들의 자연 이미지 내 문자 인식률

Free OCR과 Naver LAB의 이미지 문자 인식 OCR 프로그램에, 문서가 아닌 네이버 거리뷰에서 부

분적으로 잡은 간판 이미지를 입력하여 그 결과를 관찰하여 표 1과 같은 결과를 얻었다. 입력으로

사용한 이미지는 크기가 630*234 이며 300dpi 이상의 해상도를 가지고 -3.08 degree로 기울어진 컬러

이미지로, 이를 포토샵으로 변형 (gray, 이진화, 글자 분할)하여 사용하였다.



변형 방법 사용한 이미지 free OCR Naver Lab

원본’ Not Found

F¿AR—¡ -3 ,L BAGUETQ; ; 실텔심 많된 비olabH, t

grayNot Found Not Found

F’AR—S BAGUETTE V . ; 실텔심 많된 비olabH, t

이진화F D 0’.7 Not Found

PARIS! BAGUET&5e 실 D = n= ¡ck철) *셀,

글자 분할 F DVD Not Found

표 1. 네이버 거리뷰에서 잡은 영문 간판 이미지를 변형하고, 각각을 free OCR과

Naver Lab에 입력한 결과. free OCR이 Naver Lab 보다 좋은 성능을 보임을 알 수

있으며, 이미지를 gray화하고 이진화 (threasold) 하며 붙어있는 글자를 분할할 수록 더

좋은 결과를 얻음을 확인할 수 있다. Not Found는 이미지에서 아무 글자도 찾지 못한

경우를 의미한다.

OCR 프로그램 중 한글을 지원하는 시스템은 아르미, Naver Lab 등이 있다. 아르미는 이미지 파일

을 지원하지만 문서 이미지에 대해서만 바른 결과를 보여주고, 간판 이미지에 대해서는 전혀 인식하지

못했다. 따라서 본 보고서에서는 한글 간판에 대한 테스트를 Naver Lab 에서 제공하는 OCR 프로그

램을 통해서만 수행하였고, 그 결과는 표 2와 같다. 입력한 이미지는 네이버 거리뷰에서 잡은 부분

이미지 파일로, 해상도를 300dpi로 고정하고 원본 이미지와 변형 (gray, 이진화)한 이미지를 입력으로

사용하였다.

3 자연 이미지 내 문자 인식

3.1 자연 이미지에서 문자 인식의 어려움

자연 이미지는 광학식 문자 판독에 사용하는 타이프 글꼴이나 스캔한 문서 등과 달리 카메라나 비디

오로 촬영한 일반적인 이미지를 말한다. 자연 이미지는 색상 분포가 문서와 달리 아주 다양하고, 촬영

각도에 따라 글씨의 크기와 빛의 양이 바뀌며, 왜곡 현상도 발생한다[4, 5, 6, 7, 8, 9]. 또한 간판 이

미지의 경우 글자가 가로로 나열되어 있는지, 세로로 나열되어 있는지 등의 문제가 발생하기 때문에

문자 인식에 어려움을 겪는다.



변형 방법 사용한 이미지 Naver Lab

원본

NF

NF

uU 노B 엮스xr Ld

gray

NF

NF

u 뻘 노B 역 스xr Ld

이진화NF

¡6/ I 용

uㅣ 노B 엮스흙r Ld

표 2. 네이버 거리뷰에서 잡은 한글 간판 이미지를 변형하고, 각각을 Naver Lab 이미

지 문자 인식 OCR에 입력한 결과. NF는 Not Found의 약자로 이미지에서 아무 글자

도 찾지 못한 경우를 의미한다.

3.2 자연 이미지에서 문자 인식에 관한 연구들

자연 이미지에서 문자 인식 능력을 평가하기 위한 입력 데이터로 간판 이미지를 많이 사용한다. 간판

중 무배경에 글자가 단일 색상으로 곧은 글씨체를 사용한 경우 이를 단순 이미지로 분류하고, 배경이

복잡하거나 글자 중간중간에 이미지가 들어가는 경우 또는 글씨체나 글자 크기, 색상이 고르지 않을

경우 이를 복잡 이미지로 분류한다. 실제로 복잡 이미지가 간판 이미지 중 대부분을 차지하므로, 복

잡한 이미지에서 문자가 존재하는 영역을 어떻게 바르게 찾고 인식하느냐에 대한 연구가 지속적으로

진행되고 있다.

Ref. [10] 는 wavelet 변환을 이미지 데이터에 적용하여 문자 영역을 검출하고 이를 인식하는 방

법을 사용하였다. 이 방법을 사용하였을 때 문자 인식 실험의 정확도는 단순 이미지에 대해서 70.2%,

복잡 이미지에 대해서 65.1%로 측정되었다.

Ref. [11] 는 수직 및 수평 에지 히스토그램에 의해 텍스트 영역을 검출하여 이진화를 수행하고, 글자

분할 후 최소거리분류기 (minimum distance classifier, MDC)를 적용하며, 영상의 크기 변화에 따른

왜곡을 극복할 수 있는 비선형 분할을 수행하여 fisher 차원을 이용한 이진 분류기로 상세 분류하였다.

이 방법을 사용했을 때 문자 인식 실험의 정확도를 인식 순위로 나누어 평가하였는데, 1순위 (단순 이

미지)의 인식 정확성은 73.18%, 상위 5순위까지의 누적 정확도는 85.97%로 측정되었다. 또 다른 연구

로 [12]는 영상의 지역적 특징점을 구하고 이 특징점들을 미리 저장한 간판 영상의 특징점과 비교하여

변환 패턴을 찾아내는 방법을 사용하여 변환의 왜곡에 강인한 인식을 한다. 또한 모바일에서의 GPS



정보를 이용하여 사용자 위치를 파악해 찾고자 하는 상점의 후보를 미리 줄여서 인식률을 향상하였다.

그림 4는 각 연구에서 사용한 알고리즘을 적용하여 자연 이미지에서 문자를 인식했을 때의 결과이

다. (b)는 간판 이미지가 비교적 평면인 경우에만 잘 동작하는 것으로 보이며 배경도 단순해야 한다.

(a)는 약간의 왜곡이 발생한 문자에 대해서도 잘 찾으나 배경은 단순해야 한다. (c)는 심하게 왜곡되

거나 배경이 복잡한 경우에도 잘 찾아주지만 반드시 간판의 정면 이미지를 가지고 있어야 한다.

앞서 언급한 연구 [10]과 [11]은 간판 이미지가 정면에 찍은 것이어야만 하는 단점이 있다. [12]의

경우 정면 촬영이 아니더라도 괜찮았고 오히려 투영 변환 영상이 많이 사용될수록 인식률이 올라가는

장점이 있었으나, 완전 평면이 아닌 요철이 존재하거나, 화질이 떨어지는 간판 영상에 적용하는데는

어려움이 있다.

자연 영상 내 문자 인식은 동일한 대상을 촬영하더라도 조명, 역광, 반사 , 문자 크기, 촬영 각도,

화소 등 촬영 조건에 따라 큰 변이가 발생할 수 있어서 실용화하는데 어려움이 있다. 이 때문에 최근에

사용자가 개입하여 문자 영상을 인식하는 방법이 연구되었다. 그림 5는 자연 영상 내 문자 인식을 위

해 사용자가 개입할 수 있는 방법들에 대한 예이다. Touch TT[13]와 iphone App인 TouchReader[14]

는 모두 사용자가 문자 위에 선을 그어 문자 인식을 도와주도록 하고 있다.

4 제안하는 방법

포털 사이트에서 제공하는 로드뷰의 간판 이미지를 입력으로 사용하며, 로드뷰를 촬영한 장소의 위치

정보를 함께 이용하며, 실험 대상 지역의 상호명 몇 백건을 가지고 있다고 가정한다. 로드뷰에서 간

판의 문자를 추출하여 50% 이상의 인식률을 보일 경우, 상호명과 간판 이미지에서 추출한 문자열을

alignment하여 이를 바른 단어로 교정한다. 이를 통해 자연 이미지 내 문자 인식 결과가 아주 정확하

지 않더라도 보정을 통하여 이미지 검색을 이용할 수 있도록 한다. 또한 간판 이미지를 촬영한 위치

정보를 이용하여 검색 후보를 보정하여 보다 높은 정확도로 제공할 수 있을 것으로 기대한다. 모바

일 기기에 이 시스템을 활용한다면 현지어를 모르는 외국인에게는 여행 중 간판, 안내문 등의 문자

영상을 번역하여 도움을 줄 수 있고, 영상 기반 인터넷 검색도 시도할 수 있는 등 사용자의 상황을

고려하여 정확한 서비스할 수 있을 것이다.

5 결론

본 보고서에서는 자연 이미지 내 문자 인식의 연구에 대해 조사하고, OCR 시스템에 자연 이미지를

실제로 넣어 실험하여 그 성능을 측정하였다. 무료로 서비스하는 free OCR의 경우, 정면에서 촬영한

간판 이미지를 gray 또는 이진화 하여 입력 파일로 사용하였을 때 좋은 성능을 보였으나, 한국어를

지원하지 않는다는 단점이 있었고, 한글을 지원하는 Naver LAB의 OCR 프로그램은 이진화한 자연

이미지에 대해서도 6글자 중 한 글자도 제대로 맞추지 못함으로써 실제로 간판 이미지를 검색하는데

는 매우 성능이 떨어짐을 확인할 수 있었다. 자연 이미지 내 글자를 인식하는 프로그램은 공개되거나



(a) wavelet 변환을 이미지 데이터에 적용하여 문자 영역을 검출하고 인식하는 연구의 실험 결과[10]

(b) 비선형 분할을 수행하여 영상의 왜곡을 극복하는 연구의 실험 결과 [11]

(c)간판 정면 이미지의 특징점으로 영상의 왜곡을 극복하는 연구의 실험 결과 [12]

그림 4. 각 연구에서 사용한 알고리즘을 적용하여 자연 이미지에서 문자를 인식했을

때의 결과. (a)는 약간의 왜곡이 발생한 문자에 대해서도 잘 찾으나 배경은 단순해야

한다. (b)는 간판 이미지가 비교적 평면인 경우에만 잘 동작하며 배경도 단순해야 한다.

(c)는 심하게 왜곡되거나 배경이 복잡한 경우에도 잘 찾아주지만 반드시 간판의 정면

이미지를 가지고 있어야 한다.



(a) 사용자 개입의 예 (focus, text region, text line)

(b) Touch TT (c) Touch Reader

그림 5. 자연 이미지 내 문자 인식을 위한 사용자 개입의 예. (a) 사용자가 개입할 수

있는 방법은 초점을 잡아주거나 글자 영역을 표시하거나 글자에 선을 긋는 방법 등이

있다. (b) Touch TT 앱에서 사용자가 문자 영역에 선을 그어 개입한 모습. (c) Touch

Reader 앱에서 (b)와 마찬가지로 사용자가 문자 영역에 선을 그어 글자 인식에 도움을

준다.

서비스하고 있는 것이 없었기 때문에 논문을 통해 성능을 추측하였다. 배경이 단순할 경우에만 문자

인식이 제대로 이루어진다는 단점이 있었으며, 간판 정면 이미지의 특징점을 통해 왜곡된 영상에서도

잘 찾아내는 연구가 있었으나, 간판 정면 이미지를 보유하고 있어야했다. 자연 이미지의 특성 때문에

문자 인식이 어렵자 사용자의 개입을 시도하는 연구도 진행되었다. 이러한 연구 내용들로 미루어보아

본 보고서에서는 자연 이미지에서 완벽한 문자를 인식하는 것은 어려울 것으로 추정하여 아래과 같은

환경을 먼저 가정한다.

– 한국어 간판 이미지에 대해서 50% 이상의 인식률을 보인다.

– 촬영 위치 정보와 상호명을 미리 알고 있다.

위의 두 경우를 모두 만족하는 자연 이미지에 대해서 본 논문에서는 alignment를 이용한 사용자의

개입 없는 상호 명 추천 시스템을 제안하고자 한다. 이를 통해 사용자의 현재 상황을 고려하여 정확한

정보를 서비스 할 수 있을 것으로 기대한다.

참고 문헌

1. DOOSAN EnCyber, “Naver 백과사전,” http://100.naver.com/100.nhn?docid=19182.



2. t reinhardt, “Free ocr,” http://www.free-ocr.com/about.html.

3. NAVER, “이미지 문자 인식 ocr,” http://t.lab.naver.com/ocr/.

4. Yeongwoo Choi, Kilcheon Kim, Youngja Song, Kyungsook Bae, Younhee Cho, Myungchoel Roh,Seongwhan Lee, and Hyeran Byun, “Scene Text Extraction in Natural Images using HierarchicalFeature Combination and Verification,” Journal of KISS : Software and Applications, vol. 31, no. 4, pp.420–438, 2004.

5. Xilin Chen, Jie Yang, Jing Zhang, and A. Waibel, “Automatic detection and recognition of signs fromnatural scenes,” Journal of IEEE Trans. Image Processing, vol. 13, no. 1, pp. 87 –99, 1 2004.

6. Xuewen Wang, Xiaoqing Ding, and Changsong Liu, “Character extraction and recognition in naturalscene images,” in Proc. of the 6th ICDAR, 2001, pp. 1084 –1088.

7. J.H. Park, G.S. Lee, S.H. Kim, M.H. Lee, and Nguyen Dinh Toan, “Text Detection and Recognitionin Outdoor Korean Signboards for Mobile System Applications,” Journal of IEEK - Computer andInformation, vol. 46, no. 2, pp. 44–51, 2009.

8. Myung-Choel Roh, Yeong-Woo Choi, and Seong-Whan Lee, “Scene Text Extraction Using Color andGray Information,” in Proc. of the 14th IPIU, 2002, pp. 515–520.

9. Nobuo Ezaki, Marius Bulacu, and Lambert Schomaker, “Text detection from natural scene images:towards a system for visually impaired persons,” in Proc. of the 17th ICPR, 2004, pp. 683–686.

10. 조범준, 서원택, 김영은, 이금분, 박아람, and 윌프레드, “웨이블릿 변환을 이용한 무제약 이미지상의 글자영역 추출 및 응용,” Tech. Rep., 2006.

11. J.H. Park, G.S. Lee, S.H. Kim, M.H. Lee, and N.D. Toan, “Text detection and recognition in outdoorkorean signboards for mobile system applications,” Journal of the Korean Institute of Electronic Engi-neering and Science, vol. 46, no. 2, pp. 44–51, 2009.

12. 김지훈, 이택헌, 김기웅, and 김진형, “상향식 접근 방법을 사용한 강인한 간판 인식,” 2007.

13. Jehyun Jung, Egyul Kim, SeongHun Lee, and Jin Hyung Kim, “Scene text separation using touchscreen interface,” in CJKPR2009, 2009.

14. InziSoft, “Touchreader pro,” http://itunes.apple.com/kr/app/touchreader-pro/id391076787.


recent work on recognition of embedded texts in general...

Documents