대규모 지문인식시스템을 위한 - yonsei...

58
대규모 지문인식시스템을 위한 지문영상개선 및 분류 연세대학교 대학원 컴퓨터과학 산업시스템공학과

Upload: others

Post on 02-Jan-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

대규모 지문인식시스템을 위한

지문영상개선 및 분류

연세대학교 대학원

컴퓨터과학 산업시스템공학과

윤 은 경

Page 2: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

i

차 례

차 례......................................................................................................................i

그림 차례 ................................................................................................................iii

표 차례.....................................................................................................................v

국문요약 ..................................................................................................................vi

제 1 장. 서론......................................................................................................... 1

1.1 지문인식시스템 ........................................................................................ 1

1.2 대규모 지문인식의 문제점 및 해결방안.................................................. 3

제 2 장. 연구배경 및 관련연구 ............................................................................. 5

2.1 지문 품질 특성 ........................................................................................ 5

2.2 기존품질평가 및 영상개선 관련연구 ....................................................... 7

2.3 지문분류 관련연구................................................................................... 8

제 3 장. 품질평가 및 영상개선 ..........................................................................10

3.1 특징 추출..............................................................................................11

3.2 클러스터링............................................................................................14

3.3 적응적 영상개선 ...................................................................................16

제 4 장. 지문분류...............................................................................................19

4.1 기존의 핑거코드 추출...........................................................................20

4.2 GA 기반 특징 선택 ..............................................................................22

4.2.1 유전자 알고리즘 .............................................................................22

4.2.2 특징추출 .........................................................................................25

4.2.3 특징선택 .........................................................................................27

4.3 분류 ......................................................................................................28

제 5 장. 실험 및 결과........................................................................................31

5.1 실험환경 ...............................................................................................31

5.2 적응적 영상개선 ...................................................................................31

5.2.1 실험결과 .........................................................................................31

5.3 지문분류 ...............................................................................................40

5.3.1 특징 선택 결과...............................................................................40

5.3.2 단일 분류기 ....................................................................................42

5.3.3 분류기 결합 ....................................................................................42

Page 3: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

ii

5.4 인식률...................................................................................................43

제 6 장. 결론 및 향후 연구 ...............................................................................45

참고문헌 ..............................................................................................................46

ABSTRACT ........................................................................................................49

Page 4: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

iii

그림 차례

그림 1. 지문인식 시스템의 동작과정 .................................................................... 2

그림 2. 제안하는 시스템 구조............................................................................... 3

그림 3. 대표적인 minutiae .................................................................................... 5

그림 4. Minutiae 추출의 예................................................................................... 6

그림 5. 지문영상의 예........................................................................................... 6

그림 6. 영상개선 과정 개요 ...............................................................................10

그림 7. 9 × 9 마스크[Galton1892]...................................................................12

그림 8. 계층적 클러스터링의 덴드로그램: 점선은 Mojena의 값[Mojena1977]에

따른 cut-off 결과 ..................................................................................14

그림 9. 일반적인 필터링 적용 결과: (a)와 (c)는 각각 dry와 oily영상, (b)와 (d)는

(a)와 (c)에 평활화를 적용한 결과 .........................................................16

그림 10. 영상특성에 따른 영상개선...................................................................17

그림 11. 지문의 5개 클래스...............................................................................20

그림 12. 핑거코드 추출 과정 .............................................................................21

그림 13. 유전자 알고리즘의 동작 과정..............................................................24

그림 14. 교차 연산자의 예.................................................................................25

그림 15. 돌연변이 연산자의 예..........................................................................25

그림 16. 레이블 영상을 계산하기 위한 영역 구분 ............................................26

그림 17. 유전자 알고리즘 기반 특징 선택 ........................................................27

그림 18. 분류기 결합 방법.................................................................................29

그림 19. Ward 알고리즘을 이용한 지문영상 클러스터링 결과..........................32

그림 20. 각 클러스터의 특징 분포.....................................................................33

그림 21. 클러스터링을 통해 분석한 규칙 ..........................................................34

그림 22. 클러스터링 결과의 예..........................................................................35

그림 23. 적응적 영상개선 결과: (a)와 (d)는 각각 습한 영상과 건조한 영상(원영

상), (b)와 (e)는 (a)와 (d)에 각각 일반적인 필터링을 적용한 결과, (c)와

(f)는 (a)와 (d)에 각각 적응적 필터링을 적용한 결과 ...........................36

그림 24. 영상개선에 따른 블록방향성차(영상개선도)........................................37

그림 25. dry 영상에 대한 필터링 적용 예: (a)와 (c)는 일반적인 필터링 적용 결

과. (b)와 (d)는 융선개선 필터링 적용 결과...........................................39

Page 5: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

iv

그림 26. oily 영상에 대한 필터링 적용 예: (a)와 (c)는 일반적인 필터링 적용 결

과. (b)와 (d)는 골개선 필터링 적용 결과 ..............................................40

그림 27. Receiver Operating Curves: 세로축은 1-FRR (False Reject Rate) .44

Page 6: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

v

표 차례

표 1. 지문분류 관련연구........................................................................................ 9

표 2. 영상 품질분석에 사용할 특징 ...................................................................12

표 3. 각 특징의 사용빈도...................................................................................34

표 4. Quality index 측정 결과 ...........................................................................38

표 5. Paired t-test 결과 ....................................................................................38

표 6. 적응적 영상개선 방법의 수행시간(초): Pentium 4, 2GHz PC ..................40

표 7. 실험 환경 변수..........................................................................................41

표 8. 특징 선택 결과..........................................................................................41

표 9. 단일 분류기의 분류율 ...............................................................................42

표 10. 분류기 결합 결과 - Confusion matrix...................................................42

Page 7: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

vi

국문요약

대규모 지문인식시스템을 위한 지문영상개선 및 분류

지문인식시스템은 크게 지문의 특징 추출 단계, 입력 지문과 유사한 후보 지

문을 찾는 검색 단계, 마지막으로 입력 지문과 후보 지문들 간의 같은지를 판단하

는 검증 단계의 세 부분으로 나눌 수 있다. 대규모 지문 데이터베이스를 기반으로

인식시스템을 이용하는 경우, 가장 중요한 문제가 인식이 소요되는 시간이다. 아

무리 정확하고 높은 성능을 가진 시스템이라 할 지라도 지문입력 후 수 분 이상

의 시간이 지체된다면 그 시스템은 좋은 시스템이라 할 수 없다. 따라서 지문인식

의 정확성과 더불어 신속성도 함께 고려되어야 한다. 본 논문에서는 지문인식시스

템의 전체 성능 향상을 위해 시스템 과정 중 영상개선과 분류 단계에서의 개선방

안을 제안한다.

먼저 현재 획일적으로 수행되는 지문영상개선의 문제점을 해결하고자 영상의

특성분석을 통해 적응적인 영상개선방법을 제안한다. 지문영상의 품질에 따라 특

징점 추출의 정확도가 달라지기 때문에 지문인식시스템에서의 영상영상개선 과정

은 시스템 성능에 크게 영향을 미친다. 본 논문에서는 지문영상으로부터 명암값의

평균 및 분산, 블록 방향성 차, 방향성 변화도, 융선과 골 두께 비율 등의 5가지

특징을 추출하고 계층적 클러스터링 알고리즘으로 클러스터링하여 영상의 품질

특성을 분석한 후, 습성(oily), 보통(neutral), 건성(dry)의 특성에 적합하게 영상을

개선하는 적응적 영상개선 방법을 제안하다. NIST DB 4와 인하대학교 데이터를

이용하여 실험한 결과, 클러스터링 기법이 영상의 특성을 제대로 구분함을 확인할

수 있었다. 또한 제안한 방법의 성능 평가를 위해 품질 지수와 블록방향성 차이를

측정하여 일반적인 영상개선 방법보다 적응적 영상개선 방법이 품질 지수와 블록

방향성 차이를 향상시킴을 확인할 수 있었다.

두 번째로, 분류성능 향상을 위한 유전자알고리즘 기반의 특징 조합 선택을

제안한다. 기존의 가보 필터를 이용한 핑거코드 방법은 가보 필터의 방향성을 임

의로 정하여 특징을 추출, 이를 분류에 사용하였다. 본 논문에서는 유전자 알고리

즘을 이용하여 분류에 적합한 가보필터의 방향성을 선택하여 분류를 진행한다. 그

결과 기존의 임의로 방향성을 선택하여 분류를 진행한 결과와 거의 유사한 분류

율(약 90%)을 나타냄을 확인할 수 있었다. 분류 성능은 기존 연구와 유사하지만,

Page 8: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

vii

유전자 알고리즘을 통해 적합한 방향성 조합을 제시했다는 점에서 의미를 둘 수

있겠다.

마지막으로 제안한 두 가지 방법을 이용하여 최종 인식율을 확인해 본 결과,

동일한 FAR에 대해 FRR을 감소시켰으며 EER도 약 0.01 정도 차이로 보다 높은

성능을 보여주었다.

핵심되는 말: 지문인식, 품질평가, 영상개선, 지문분류, 클러스터링, 유전자 알고리

Page 9: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

제 1 장. 서론

정보화 사회에서는 개개인의 정보, 자산 등의 보호를 위해 신원 확인이 매우

중요한 문제이다. 개인의 신원확인을 위해 예전부터 사용해오던 아이디와 패스워

드를 이용한 방식이나 신분증을 사용한 방식은 타인의 도용이나 분실 등의 위험

이 있어 최근에 와서는 점차 생체정보를 이용한 보안 기술에 부각되고 있다.

생체인식은 개인이 소지하거나 기억해야 할 필요 없는 매우 편리하고 안전하

다는 장점 때문에 최근 부각되고 있는 분야이다. 생체인식은 인증과 인식으로 구

분되며 개인의 신체적, 행동적 특징을 이용하여 본인 여부를 판단하는 것이다. 일

반적으로 생체인식에 사용되는 개인의 특징은 다음의 4가지 특성을 만족해야 한

다.

(1) 보편성(Universality): 모든 사람이 해당 생체특징을 가지고 있어야 한다

(2) 유일성(Uniqueness): 생체특징은 서로 다른 사람에게서 같은 정보를 나타

내지 않는다.

(3) 불변성(Permanence): 시간이 흐름에 따라 생체특징을 변하지 않아야 한

다.

(4) 수집성(Collectability): 정량적인 측정이 가능해야 한다.

현재 사용되는 생체특징으로는 지문, 얼굴, 홍채, 목소리, 서명 등이 있으며

각 생체특징은 장단점을 가지고 있다. 따라서 적용환경에 알맞은 특징을 선택해야

할 필요가 있다. 그 중에서도 지문은 가장 오랫동안 연구되어 왔고 범죄수사에 사

용되었을 만큼 정확성도 뛰어나다.

온라인 센서를 통해 지문을 입력받는 지문인식시스템은 입력 시 손가락의 압

력, 습도 등이 지문영상에 많은 영향을 미치는 문제점이 있다[Jain1999]. 또한 다

른 생체정보와 달리 지문은 상당히 오랜 기간 동안 사용되어 왔기 때문에 대규모

인식 시스템을 구성하고 있는데 이 역시 지문검색시간을 증가시키는 문제점을 가

지고 있다. 따라서 본 논문에서는 대규모 지문인식시스템의 성능을 향상시키기 위

해 시스템의 과정 중에서 입력영상의 품질개선 및 지문분류 방법을 제안한다.

1.1 지문인식시스템

지문은 가장 많이 연구되어 온 생체정보로 특히 범죄 수사 등에서 100여

년 동안 사용되어왔다[Jain1999]. 지문이 다른 생체정보에 비해 높은 신뢰성을

Page 10: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

갖고 있기 때문에 현재까지 지문인식시스템은 다양한 생체인식 응용 솔루션에 많

이 적용되고 있다. 지문인식시스템은 사용자의 지문을 읽고 이를 데이터베이스에

저장되어 있는 데이터와 비교를 하여 개인을 인증하는 것이다.

일반적으로 대규모인식시스템은 크게 특징추출, 지문매칭, 지문분류의 세 가

지 모듈로 구성된다(그림 1)[Jain2001]. 우선 각 지문이 가지고 있는 정보를 추출

하여 매칭과 분류에 사용할 수 있도록 특징을 추출한다. 추출된 특징을 이용하여

데이터베이스 탐색시간을 줄이기 위해 지문분류를 수행하며, 제공된 데이터를 이

용하여 매칭을 진행한다.

지문영상획득

특징추출

매칭

지문분류

데이터베이스

품질평가 Reject

Accept

유사도

유사도 순으로 결과도출

그림 1. 지문인식 시스템의 동작과정

Page 11: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

1.2 대규모 지문인식의 문제점 및 해결방안

지문인식시스템이 널리 사용됨에 따라 데이터베이스의 크기도 증가하기 마

련이다. 대규모 지문 데이터베이스를 기반으로 인식시스템을 이용하는 경우, 가장

중요한 문제가 인식이 진행되는 시간이다. 아무리 정확하고 높은 성능을 가진 시

스템이라 할 지라도 지문입력 후 수 분 이상의 시간이 지체된다면 그 시스템은

좋은 시스템이라 할 수 없다. 따라서 지문인식의 정확성과 더불어 신속성도 함께

고려되어야 한다.

본 논문에서는 지문인식시스템의 전체 성능 향상을 위해 시스템 과정 중 영

상개선과 분류 단계에서의 개선방안을 제안한다. 현재 획일적으로 수행되는 지문

영상개선을 영상의 특성분석을 통해 적응적인 영상개선방법으로 대체하고, 분류성

능 향상을 위한 최적의 특징 선택을 통해 적합한 특징을 제시한다. 제안하는 두

가지 방법을 이용하여 최종 인식 성능도 향상됨을 확인한다. 그림 2는 본 논문에

서 제안하는 시스템의 전체 구조를 보여준다.

지문 영상 획득

전처리

매칭

특징 추출 분류

데이터베이스

유사도유사도 순으로

결과 도출

특징 추출

품질 분석

Oily DryNeutral

개선

융선

개선

적응적 영상개선 GA 기반 특징 선택

SVM

SVM

SVM

SVM

SVM

신경망

특징선택 및 분류기 결합

그림 2. 제안하는 시스템 구조

본 논문의 구성은 총 5개 장으로 구성되어 있으며, 2장에서는 지문인식시스

Page 12: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

템 전반부에 해당하는 품질평가 및 영상개선 단계에서 제안하는 영상개선방법에

대해 서술한다. 3장에서는 효율적인 지문분류를 위한 특징 선택 및 분류기 결합

방법을 제안한다. 마지막으로 4장과 5장에서는 제안하는 방법에 대한 실험 결과

및 분석을 통해 지문인식시스템의 성능향상과 결론 및 향후 연구 과제에 대해 논

의할 것이다.

Page 13: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

제 2 장. 연구배경 및 관련연구

2.1 지문 품질 특성

입력시 외부 요인에 의해 영상의 품질이 결정되며 입력 받은 영상은

영상개선 과정을 통해 품질을 개선하여 시스템의 성능을 향상시키고 특징을

추출하기 위한 준비 단계를 진행한다. 영상개선을 거친 영상을 기반으로 매칭에

사용할 특징을 추출한다. 가장 많이 사용되는 특징은 Galton의

특징[Galton1892]으로 minutiae라 불린다. 여러 종류의 minutiae가 정의될 수

있으나, 현재 널리 사용되는 것은 분기점과 끝점이다(그림 3). 영상의 품질이 아주

좋은 경우에는 특징 추출이 비교적 정확하겠지만, 대부분의 영상은 그렇지 못하기

때문에 의사 특징점을 제거하는 과정이 필요하다. 이렇게 추출한 특징을 이용하여

실제 매칭 모듈을 수행한다. 등록 단계에서 저장된 템플릿들과 현재 입력된

영상과의 유사도를 계산하여 매칭을 수행한다.

끝점

(Endin

g)

분기

(Bifu

rcatio

n)

그림 3. 대표적인 minutiae

그림 4에서 볼 수 있듯이, 같은 영상이라도 영상의 품질 및 적용되는

영상개선에 따라 추출되는 minutiae가 달라진다[Ratha1996]. 그림의 왼쪽이 원

Page 14: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

영상이며, 오른쪽이 일반적인 필터링을 적용한 후 추출한 minutiae의 일부이다.

원 영상이 상당히 많이 끊어져 있기 때문에 필터링을 적용했음에도 불구하고

끝점이 많이 존재한다.

그림 4. Minutiae 추출의 예

일반적으로 융선과 골의 구분이 얼마나 명확한지, 전체적으로 얼마나 잘 연

결되어 있는지에 따라 영상의 품질이 결정된다. 이는 손가락의 습도나 센서 입력

시의 압력 등 여러 요인의 영향을 받지만 주로 습도와 피부 조건의 영향을 받는

다[Jain99]. 건조한 피부는 융선과 스캐너의 센서 표면과의 접촉이 제대로 이루어

지지 않는 경우가 많아서 영상에서 융선이 갈라지거나 중간중간에 흰 점들이 많

이 발생한다. 반대로 습한 피부는 골이 습기로 차 있기 때문에 골이 융선과 유사

하게 보이는 경우가 많다. 그림 5의 (a), (b), (c)는 각각 oily, neutral, dry 영상의

예를 보여준다.

(a) oily 영상 (b) neutral 영상 (c) dry 영상

그림 5. 지문영상의 예

Page 15: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

Oily 영상: 융선과 골의 구분이 선명하지만 많은 영역에서 골의 일부분이

메워져 검게 뭉쳐져 보이거나 융선과 융선이 연결되는 영역을 많이 볼 수 있다.

골의 두께보다 융선의 두께가 훨씬 두꺼운 편이다.

Neutral 영상: 보통 oily나 dry 특성이 특별히 드러나지 않는다. 특별한

영상개선 과정이 필요없다고 할 수 있다.

Dry 영상: 융선과 골의 명암 차이가 크지 않고 지문의 융선이 끊어지는

부분을 많이 볼 수 있다. 융선 위에 하얀 점들이 많이 존재한다.

본 논문에서는 지문영상의 oily/dry 특성을 구분하여 이에 따른 영상개선을

수행함으로써 oily 영상은 골을 확장하여 붙어있는 융선을 떨어뜨리고(골개선),

dry 영상은 융선 상에 존재하는 흰 점들을 제거(융선개선)한다[Ikeda2002].

일반적인 지문인식 시스템은 지문영상의 특성과 관계없이 획일적인 영상개선을

함으로써 영상의 특성을 무시한 채 작동된다. 영상의 특성을 파악하여 그에

적합한 영상개선을 수행한다면 보다 좋은 품질의 영상을 얻을 수 있을 것이다.

2.2 기존품질평가 및 영상개선 관련연구

지문영상 품질평가에 대한 관련 연구로 Hong 등[Hong1998] 은 융선과 골

패턴을 사인파로 모델링하여 영상을 개선한 후, 개선 정도를 평가하기 위해

품질평가를 수행하였다. 추출되는 minutiae의 개수와 인식율 등을 이용하여 영상

개선 알고리즘의 성능을 평가하였다. 이 연구는 단순히 영상 개선 알고리즘의

성능을 보여주기 위해 품질평가 척도를 도입한 것이라 할 수 있다. Ratha

등[Ratha1999] 은 WSQ영상에 대한 품질평가를 시도하였는데 이는 일반적인

영상에는 적용할 수 없는 방법이다. Lim 등[Lim2002] 은 품질평가를 하기 위한

특징을 크게 전역적 특징과 지역적 특징으로 구분하여 이용하였다. 이 외에도

Bolle 등[Bolle1999]은 품질 척도로 방향성이 있는 지역과 방향성이 없는 지역의

비율을 이용하였으며, Shen 등[Shen2002]은 Gabor 필터를 블록 단위로

적용하여 융선과 골이 명확하게 구분되는 블록을 좋은 영역으로 평가하였다.

하지만 대부분의 연구들이 지문영상의 전체적인 품질만을 고려하였다. 이는

품질평가를 영상 개선 알고리즘의 성능 평가와 지문인식 시스템에서 입력 받은

매우 낮은 품질의 영상을 거부하는 기준으로만 이용하였기 때문이다. 일반적인 품

질평가를 통해 영상 개선의 여지가 있는 데이터만 인식 시스템으로 전달되는데,

Page 16: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

이 때에는 영상의 특성과 관계없이 획일적인 필터링이 진행된다. 이 단계에서 영

상에 대한 세밀한 분석을 바탕으로 영상 특성에 맞는 필터링을 한다면 보다 효율

적으로 영상을 개선할 수 있을 것이다.

2.3 지문분류 관련연구

자동 지문 분류를 위한 연구는 크게 네 가지로 구분할 수 있는데, 적응적

접근법, 구조 기반 접근법, 주파수 기반 접근법, 구문론 접근법 등이다. 먼저 적응

적 분류방법은 특이점(core와 delta)을 이용하여 지문을 분류하는 것이다. 이 방

법은 지문 영상의 품질이 좋지 않거나 잡음이 많은 지문, 혹은 지문의 일부만 있

는 경우에는 특이점 추출이 어려워 제대로 분류되지 않는 문제점이 있다. 둘째,

구조기반 접근방법은 지문영상에서 방향 성분을 추출하여 지문을 분류하는 것이

다. 셋째, 주파수 기반 방법은 지문분류를 위해 지문의 주파수 스펙트럼을 이용하

는 것이다. 마지막으로 구문론적 접근방법은 지문묘사와 분류를 위해 문법의 형식

을 사용하며, 특이점의 형태들을 터미널 상징과 연장선의 규칙들로 묘사한다. 터

미널 상징은 지문 영상 내에 있는 방향성 요소들의 작은 집단들의 조합으로 표현

하고, 문법은 각 분류를 정의하며 문장의 분석 실행으로 각각의 새로운 종류로 분

류한다[C. V. K. Rao]. 표 1은 기존 연구를 정리한 것으로 최근에는 분류기를 결

합하여 분류성능을 향상시키려는 연구가 많이 진행되고 있다.

본 논문에서는 기존의 핑거코드를 이용한 지문 분류 방법에서 가보 필터의

방향성을 임의로 선택하였던 것에 유전자 알고리즘을 적용하여 분류에 가장 적합

한 방향성을 선택할 수 있도록 한다. 이렇게 선택된 정보를 이용하여 최적의 정보

를 추출, 분류성능을 향상시킬 수 있다. 또한 2단계 분류를 시도하여 성능향상을

보고자 한다.

Page 17: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

표 1. 지문분류 관련연구

저자 Class 사용한 특징 방법 Accuracy

(Reject Rate)

Moayer and Fu (1975),

Rao and Balck (1980) Directional image

Syntactic methods

(terminal symbols,

production rules)

Kawagoe and Tojo (1984) 7 Singular points Rule-based 91.5%(0%)

Blue et al (1994) 5 Orientation field Neural network 92.8%(0%)

Wilson et al (1994) 5 Orientation field Neural network 90.2%(10%)

Candela et al (1995) 6 Orientation field Neural network 92.2%(0%)

Pal and Mitra (1996) 5 Orientation field Neural network 82%(0%)

Fitz and Green (1996) 3 FFT Nearest- neighbor 85%(0%)

Karu and Jain (1996) 5 Singular points (cores

and deltas)

Rule-based 85%(0%)

Senior (1997) 4 Ridge lines 2-dimensional HMM 90%(0%)

Chong et al (1997) 5 Ridge lines Rule-based (Geometry

(B-spline curves))

96.5%(0%)

Hong and Jain (1999) 5 Singular points and

ridge lines

Rule-based 87.5%(0%)

Senior (2001) 5 Ridge lines Combination (HMM, DT,

NN)

95%

Cappelli et al (2000) 5 Orientation field Combination 99%(20%)

Nagaty (2001) 4, 5,

6

Orientation field Neural networks,

Euclidean distance

measures

99%

Yao et al. (2003) 4, 5 Flat features

(FingerCode),

structural features

(orientation)

Combination (Recursive

neural networks, support

vector machines

99%(32.5%)

Page 18: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

10

제 3 장. 품질평가 및 영상개선

본 장에서는 품질평가 결과를 이용하여 영상의 품질을 적응적으로 개선할

수 있는 방법을 제안한다. 이는 영상의 특성에 따라 지문영상의 품질을 구분한 후

영상개선하는 방법이다. 단순히 품질의 좋고 나쁨을 구분하는데 그치지 않고 구체

적으로 oily한지 dry한지의 특성을 구분함으로써 일률적인 영상개선 모듈 적용 대

신 지문영상의 특성에 따른 적응적인 영상개선 모듈을 구현한다. 이와 같은 적응

적 접근 방식을 통해 보다 특화된 품질평가가 가능하여 영상의 품질 특성에 알맞

은 영상개선 모듈이 적용될 수 있을 것이다. 본 논문에서는 먼저 지문영상으로부

터 품질분석을 위한 다양한 특징을 추출하여 영상들을 클러스터링하고 그 결과를

분석한다. 그 후에 각 특성에 적합한 영상개선을 수행함으로써 보다 좋은 품질의

영상을 얻을 수 있음을 확인한다. 실험은 NIST DB 4와 인하대학교 신호 및 정보

공학 연구실의 DB를 이용한다.

본 논문에서 제안하는 영상개선 방법은 그림 6과 같다. 입력장치로부터 획

득한 지문영상의 품질평가를 위해 다양한 특징을 추출한다. 일반적인 인식시스템

에서 매칭을 위해 추출하는 특징과는 달리 여기에서 특징은 방향성 정보를 기반

으로 추출한다. 추출된 특징을 클러스터링 방법을 통해 유사한 특징을 가진 영상

끼리 모으고, 이 결과를 바탕으로 각 클러스터가 어떠한 특징 분포를 이루고 있는

지 분석한다. 품질분석이 완료되면, 그에 적합한 영상개선 모듈을 적용한다.

Feature Extraction

Quality Clustering

Oily

Dry

Neutral

Valley Enhancement

RidgeEnhancementInput Image Enhanced Image

그림 6. 영상개선 과정 개요

Page 19: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

11

영상품질 특성에 적응적인 영상개선 모듈은 크게 두 가지로 구분할 수 있다.

본 논문에서 초점을 맞추고 있는 그룹은 oily 영상과 dry 영상이다. Oily 영상의

경우 골이 가늘며 부분적으로 끊어진 부분이 존재하기 때문에 이러한 골을 확장

하는 작업이 필요하다. 이와 반대로, dry 영상은 융선이 부분적으로 많이 끊어져

있기 때문에 융선 상에 존재하는 하얀 점들을 제거하는 융선개선 작업을 수행한

다[Ikeda2002].

3.1 특징 추출

본 논문에서는 표 2에서 보는 바와 같이 총 5개의 특징을 이용하여 영상의

특성을 파악한다. 영상에서 명암값의 평균(M) 및 분산(V), 융선 방향성의 연속성

정도(O), 융선과 골 두께 비율(R), 지문의 선명도를 나타내주는 블록 방향성 차(B)

등을 추출한다.

영상의 평균과 분산은 명암값을 이용하여 아래와 같이 계산한다. 평균은

영상의 전체적인 명암의 높낮이 정보를 알려줄 수 있으며, 분산은 영상 전체 명암

값의 균일성 정도를 파악할 수 있다.

∑∑

∑∑−

=

=

=

=

−=

=

1

0

1

0

2

1

0

1

0

)),((1

),(1

N

i

M

j

N

i

M

j

MeanjiINM

Variance

jiINM

Mean (3-1)

여기서 입력영상은 MN × 크기이며 ),( jiI 는 영상의 ),( ji 번째 픽셀의 명암값을

의미한다.

Page 20: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

12

표 2. 영상 품질분석에 사용할 특징

특징 정의 측정 의도

평균(M) 명암값의 평균 영상의 전체적인 명암도

측정

분산(V) 명암값의 분산 영상의 명암값의 고른 정

블록 방향성 차이(B) 블록 당 방향성 차이

의 평균 융선과 골의 선명도 차이

융선과 골 두께의

비율 (R)

융선과 골 두께

비율의 평균

전체 영상에서의 융선과

골 두께의 변화도 측정

방향성 변화도(O)

블록에서의 방향성을

이용, 가로 세로 방향

으로 방향성 차이의

합을 구함

방향성 변화의 합으로써

전체 융선의 연속성 정도

를 측정

P51 P41 P31 P21 P11

P61 P52 P42 P32 P22 P12 P84

P62 P83

P71 P72 C P73 P74

P82 P63

P81 P13 P23 P33 P43 P53 P64

P14 P24 P34 P44 P54

그림 7. 9 × 9 마스크[Galton1892]

블록 방향성 차이는 영상을 동일한 크기의 블록으로 나눈 후, 다음과 같이

계산할 수 있다[Karu1996]. 그림 7의 마스크를 이용하여 블록의 중심 픽셀 C에

대해 slit 합 8,...,1, =iSi 을 계산한다.

Page 21: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

13

|)(| minmax

8

1

SSSumdifferenceldirectionablock

PSi

iji

−=

=∑= (3-2)

ijP 는 방향 i의 j번째 픽셀의 명암 값을 말하며, maxS 와 minS 은 각각 slit 합의

최대값과 최소값을 의미한다. maxS 의 방향에는 골 픽셀이 놓여있으며, minS 의

방향에는 융선 픽셀이 놓인다. 따라서 블록 방향성 차이가 클수록 융선과 골 간

구분이 뚜렷함을 의미하므로 해당 블록은 품질이 좋다고 할 수 있다.

융선과 골 두께의 비율 역시 블록 단위로 계산한다[Lim2002]. 각 블록의

융선 방향의 수직인 방향에 놓여있는 픽셀의 명암값을 이용하여 계산할 수 있다.

각 블록에서 구해진 융선 두께와 골 두께를 이용하여 각 블록의 융선과 골

두께의 비율을 구한 후, 전체 영상에서 이 값의 평균을 얻는다.

방향성 변화도는 블록 방향성을 이용하여 방향성의 변화를 축적한 값이다.

방향성 정보는 다음과 같이 계산한다[Karu1996].

1) 지문영상을 ωω × 크기의 블록으로 나눈다.

2) Sobel 연산자를 이용하여 각 픽셀의 gradient ),( jix∂ 와 ),( jiy∂ 를

계산한다.

3) 각 블록의 방향성을 다음과 같은 식을 이용하여 계산한다[Rao1990].

=

∂∂=

∂∂=

+

−=

+

−=

+

−=

+

−=

∑ ∑

∑ ∑

),(),(

tan21),(

)),(),((),(

),(),(2),(

1

2

2

2

2

22

2

2

2

2

jiVjiV

ji

vuvujiV

vuvujiV

x

y

wi

wiu

wj

wjv

yxy

wi

wiu

wj

wjv

yxx

θ

(3-3)

Page 22: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

14

여기서 ),( jiθ 는 ),( ji 번째 픽셀을 중심으로 하는 블록의 방향성과 수직인 값이

다. 본 논문에서는 블록 크기를 모두 16=ω 으로 하였으며, 이렇게 추출된 특징

값들은 실험에 사용하기 위해 특징 별로 0에서 1사이의 값으로 정규화하였다.

3.2 클러스터링

앞서 언급했듯이, 지문영상은 크게 dry, neutral, oily 영상으로 구분할 수

있다. 본 논문에서는 지문영상을 특성에 따라 dry, neutral, oily로 분류하기 위해

지문영상이 가지고 있는 특징을 사용한다. 위에서 구한 5개의 특징을 기반으로

지문영상들을 Ward의 클러스터링 알고리즘[Ward1963]으로 클러스터링한다.

cutting

그림 8. 계층적 클러스터링의 덴드로그램: 점선은 Mojena의 값[Mojena1977]에

따른 cut-off 결과

Ward 알고리즘은 계층적 클러스터링의 한 방법으로 모든 데이터가

초기에는 독립적인 클러스터로 시작하여 가장 유사한 클러스터끼리 병합하는

방식으로 진행된다. 이 방법은 덴드로그램을 이용하여 클러스터의 계층적인

구조를 쉽게 시각화할 수 있어 널리 사용된다(그림 8). Ward 방법은 클러스터

내부의 제곱합을 기반으로 유사도를 계산한다. 모든 데이터가 하나의 클러스터가

될 때까지 클러스터링을 진행한다. 클러스터 l 에 속하는 k 개의 특징을 가진

Page 23: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

15

d 번째 샘플을 ),...,,( 21 kldldldld xxxX = , ln 은 클러스터 l 의 샘플 수라 하면,

클러스터 l 의 제곱합 lS 는 아래와 같이 정의할 수 있다.

∑∑= =

−=ln

i

k

j

jl

jldl xxS

1 1

2)( (3-4)

여기서 ∑=

=ln

i

jli

l

jl x

nx

1

1으로 각 클러스터의 j번째 특징의 평균을 의미한다.

클러스터 l 과 m 을 병합하기 위해서는 아래의 lmS∆ 이 모든 클러스터

중에서 최소가 되어야 한다.

2

1

)( jm

k

j

jl

ml

mllm xx

nnnn

S ∑=

−+

=∆ (3-5)

이 때, 병합된 클러스터의 제곱합은 lmmllm SSSS ∆++= 과 같이 계산할

수 있다.

본 논문에서는 NIST DB 4를 이용하여 앞서 구한 5개의 특징을 가진

5차원의 데이터 2000개를 클러스터링한다. 또한 적절한 클러스터의 수를

결정하기 위해 아래와 같이 Mojena의 cut-off 값[Mojena1977]을 사용한다.

hshValuesMojena α+=' (3-6)

여기서 h 는 모든 클러스터의 덴드로그램 높이의 평균이며, hs 는 높이의 표준

편차를 나타낸다. α 값은 상수값으로 Milligan과 Cooper[Milligan1985]에 따르면

25.1=α 일 때 클러스터링의 성능이 가장 좋다고 한다. 본 논문에서도

25.1=α 로 하여 클러스터의 개수를 정하였다. 클러스터링 결과, 유사한

특징들을 가진 데이터들이 모이게 되며 각 클러스터의 특징 분포를 분석하여

최종적으로 지문영상의 특성을 파악한다. 본 논문에서 초점을 맞추고 있는 부분은

Page 24: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

16

dry 영상과 oily 영상들이 가지고 있는 특징 분포이다.

3.3 적응적 영상개선

일반적으로 사용하는 영상 영상개선 과정으로 영상평활화(smoothing)가

있다[Galton1892]. 이는 dry 영상 처리시 융선 위에 있는 흰 점들을 제거하는

것은 가능하지만, 융선의 두께가 주위 융선보다 얇은 부분은 끊어질 수 있다.

마찬가지로 oily 영상은 골에 있는 검은 잡음들이 제거되면서 골의 두께가 매우

얇은 부분은 아예 사라져버리는 문제가 있다. 그림 9에서 볼 수 있는 것처럼

(a)와 (c)는 각각 dry와 oily 영상이며 두 영상에 똑같이 평활화를 적용한 결과가

(b)와 (d)이다. Dry 영상에 평활화를 적용한 경우, 융선 위에 있는 흰 점들은

사라지지만 매우 가는 융선의 경우 오히려 흐릿해져서 윤곽이 불분명해진다.

(a) (b)

(c) (d)

그림 9. 일반적인 필터링 적용 결과: (a)와 (c)는 각각 dry와 oily영상, (b)와 (d)는

(a)와 (c)에 평활화를 적용한 결과

따라서 일률적인 필터링을 사용하는 것보다 영상의 특성을 구분하여 그에

적합한 영상개선을 수행하면 좋을 것이다. 본 논문에서는 그림 10과 같이 각 영

상의 특성에 맞는 영상개선을 수행한다[Ikeda2002]. 즉, dry 영상에는 융선개선

을 하고 oily 영상에는 골개선 작업을 수행한다.

Page 25: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

17

습한 영상 평활화 세선화 확장연산

영상 1

침식 연산

영상 1의 반전

And

AndOr

골 개선된 영상

건조한 영상 평활화 세선화 확장연산

Or

융선 개선된 영상

그림 10. 영상특성에 따른 영상개선

본 영상개선 작업은 원영상을 이진영상으로 변환하여 이진화된 영상을 기반

으로 진행된다. Gray 영상을 기반으로 하는 경우, 이진화 영상보다 정보를 손실할

가능성은 낮지만 처리 시간이 더 오래 걸리는 단점이 있다. 본 논문에서는 이진영

상 기반의 모폴로지 기법의 조합을 이용하여 빠른 영상개선 작업을 진행한다. 각

영상 특성에 따른 영상개선 작업은 다음과 같다.

1) Dry 영상의 융선개선: 융선의 골격을 추출하여 융선 상에 존재하는 흰 점

들을 제거함과 동시에 융선의 구조 유지가 가능하다.

A. 원영상에 블러링 적용 - 잡음 제거를 위해 블러링을 적용한다.

B. 세선화 작업 수행 – 융선의 골격을 추출한다.

Page 26: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

18

C. 세선화 영상을 확장

D. 원영상과 C의 확장된 영상에 or 연산을 수행 – 원영상의 검은 픽셀과

융선의 중심 골격을 확장시킨 영상을 결합함으로써 융선의 구조를 유지

하면서 흰 점들만을 제거할 수 있다.

2) Oily 영상의 골개선: 골개선 작업은 융선개선 작업보다 약간 복잡하다. 골

이 특정 임계치보다 가는 부분을 탐지해내는 단계가 필요하기 때문이다. 세선

화 과정에서 임계치보다 가는 융선만을 추출함으로써 너무 붙어있는 융선이

있는 부분은 세선화에서 제거한다.

A. 원영상에 블러링 적용: 매우 가늘고 끊어진 골은 제거한다.

B. 세선화 작업 수행: 융선의 골격을 유지한다.

C. 세선화 영상을 확장: 골이 매우 가는 부분을 제외한 나머지 부분의 융

선과 골의 구분이 명확한 영상을 얻을 수 있다.

D. 원영상과 C의 확장된 영상에 and 연산 수행: 원영상의 검은 픽셀과 C

영상의 검은 부분을 합성함으로써 융선 간격이 너무 좁지 않은 부분의

융선 구조를 찾아낸다.

E. 원영상을 침식시킨 영상과 C영상의 inverse 영상에 and 연산 수행

F. D영상과 E영상에 or 연산 적용: 두 영상의 검은 픽셀들을 결합

함으로써 골개선된 영상을 얻을 수 있다.

Page 27: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

19

제 4 장. 지문분류

특정인의 지문이 어떤 분류에 속하는 지를 결정하는 것은 지문분류를 대형

지문 데이터베이스에서 인덱스로 사용할 수 있어 매칭 시간을 단축할 수 있다. 대

부분의 지문인식시스템은 DB의 크기가 작은 경우(1000개 이하의 지문영상)에는

약 97%의 정확성을 나타내지만 DB의 크기가 증가함에 따라 인식율은 떨어지게

된다[Chang2002]. 또한 인식시스템의 처리 속도도 감소하게 된다. 자동 지문 분

류 시스템이 현실적으로 매우 중요한 컴포넌트라 할 수 있다. 이는 데이터베이스

에 있는 모든 지문 영상들을 미리 정의된 분류 기준에 의해 수 개의 작은 부분으

로 나누어 인식 속도와 정확성 문제를 해결할 수 있다.

지문은 지문의 융선과 골, 특이점(singular point)이라 불리는 중심점(core)

과 삼각주(delta)의 개수와 위치에 따라 분류되며, 지문분류에 대한 최초의 과학적

연구는 1892년 Galton이 지문은 loop, arch, whorl 등의 3종류로 분류하였고

[Shelock1993], 그 후에 E. R. Henry경이 Galton 분류에서 loop를 left loop와

right loop로 세분화하고, tented arch를 추가하여 5종류로 분류하였다

[Henry1900] (그림 11).

자연인의 지문은 대체로 그림에서와 같이 arch는 중심점과 삼각주가 없고,

loop와 tented arch는 하나의 중심점과 삼각주를 가지는데 특히 tented arch는 중

심점과 삼각주가 수직으로 연결된다. Left loop는 중심점이 있는 loop가 삼각주의

왼쪽에 있으며, right loop는 loop가 삼각주의 오른쪽에 있다. Whorl은 두 개의 중

심점과 삼각주를 가지는 것이 특징이다.

Page 28: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

20

(a) Arch (b) Tented Arch

(d) Right Loop (e) Whorl(c) Left Loop

그림 11. 지문의 5개 클래스

4.1 기존의 핑거코드 추출

핑거코드 방법은 그림 12와 같이 지문에서 중심점을 찾은 후 이를 중심으로

48개의 섹터를 만들고 각 섹터에 속한 영상을 다음 식을 이용해서 정규화시킨다.

Page 29: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

21

중심점 찾기 섹터화 정규화

가보 필터링 특징벡터형성

그림 12. 핑거코드 추출 과정

−×−

>−×

+

=

otherwiseV

MyxIVM

MyxIifV

MyxIVM

yxN

i

i

ii

i

i

,)),((

),(,)),((

),(2

00

20

0

(4-1)

0M : 원하는 평균값

0V : 원하는 분산값

iV : 섹터의 분산값

),( yxNi : 정규화된 픽셀값

이렇게 정규화된 영상에 4방향(0°, 45°, 90°, 135°)의 가보(Gabor) 필터를

통과시켜서 그림과 같은 영상을 얻는다. 그림 12처럼 4방향의 가보 필터를 지문

영상에 적용시키면 가보가 방향성과 주파수 특성을 갖는 대역필터이므로 가보의

방향과 주파수 대역에 맞는 부분은 증폭되고 그렇지 않은 부분은 감쇄된다. 가보

필터를 통과시킨 영상을 그림과 같이 각각 48개의 섹터로 나누어 섹터별로 표준

편차(식)를 구해서 핑거코드를 생성한다. 섹터별 표준편차는 해당 섹터가 가보 필

Page 30: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

22

터의 방향과 주파수 대역에 맞으면 융선과 골 간의 구분이 뚜렷해져서 커지고 맞

지 않으면 영상이 왜곡되어 적어진다. 이러한 특성을 이용해서 웨지-링의 각 섹터

마다 표준편차 값은 방향 특성과 주파수 특성을 나타낼 수 있다.

∑ −=iK

iii

i MyxCK

F 2)),((1θθθ (4-2)

),( yxCiθ : θ 방향의 가보 필터링 후 i번째 섹터의 (x,y)좌표에서의 영상 값

θiM : θ 방향의 가보 필터링 후 i번째 섹터의 평균 영상 값

iK : i번째 섹터의 픽셀 수

θiF : θ 방향의 가보 필터링 후 i번째 섹터의 표준 편차 값

이와 같이 계산된 핑거코드는 지문 분류에 사용할 특징 벡터로 사용된다.

대부분의 핑거코드를 이용한 분류에서 가보 필터의 방향성은 계산에 상당한 시간

이 소요되기 때문에 임의로 방향성을 정하여 테스트를 진행하였다. 본 장에서는

임의로 방향성을 선택하는 것이 아니라 보다 분류에 적합한 정보를 찾기 위해 유

전자 알고리즘을 이용하여 방향성을 선택한다.

4.2 GA 기반 특징 선택

본 논문에서는 지문분류에 적합한 정보를 선택하기 위해 가보 필터의 최적

의 방향성을 찾고자 유전자 알고리즘을 이용하여 방향성을 선택하는 방법을 제안

한다.

4.2.1 유전자 알고리즘

유전자 알고리즘은 다수의 개체를 동시에 진화시켜 가면서 최적의 해를 찾

는 효과적인 탐색 알고리즘이다[Goldberg1989]. 이는 다윈(Darwin, Charles)의

기본원리인 자연선택, 적자생존, 돌연변이, 교차 등의 개념과 멘델(Mendel,

Greger)의 유전학적 연구결과로부터의 개념을 의사결정문제 해결에 사용한다. 자

연계의 유전자와 진화의 원리에 착안한 유전자 알고리즘은 처음에는 홀란드

(Holland, H.)에 의해 컴퓨터 프로그램이 다윈적 의미에서 진화할 수 있는 지를

Page 31: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

23

실험하기 위해 개발되었으나 기존의 최적화 기법으로 해결하기 어려웠던 복잡한

문제를 해결할 수 있는 탐색 기법임을 알게 되었다. 즉, 유전자 알고리즘은 기존

의 복잡한 수리적 모형을 단순화 시킬 수 있으며 비선형적이거나 불연속적인 제

약식과 목적식을 해결하는 데에 어려움이 없다. 따라서 매우 어려운 조합 최적화

문제, 휴리스틱 탐색 등에 많이 적용되고 있다.

다른 탐색 기법과 비교하여 유전자 알고리즘은 복수 개의 잠재해들로 이루

어진 해의 모집단(Popualtion)을 이용하기 때문에 좋은 해를 빨리 선택할 가능성

이 높다고 할 수 있다. 이 때 좋은 해의 이용능력과 해공간의 탐색 능력이 잘 조

화되어야 하는데 좋은 해의 이용능력을 강조하면 조기 수렴하는 경향이 있고, 해

공간의 탐색 능력을 강조하면 임의 탐색에 가까워질 수 있다.

그림 13은 일반적인 유전자 알고리즘의 동작과정을 보여준다. 먼저 진화를

시킬 집단 내 개체의 유전자 정보를 초기화한다. 초기화된 집단 내 개체의 적합도

를 계산한 후, 다음 세대의 집단을 구축하기 위해 현 세대의 집난 내에서 우수한

개체들을 선택하게 된다. 선택된 우수한 개체들의 유전 정보 일부를 여러 가지 유

전 연산자들을 이용하여 교환하거나 새로운 값으로 바꾸어 준다. 진화를 통해 얻

어진 개체들이 일정 조건을 만족하면 진화를 마친다.

Page 32: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

24

시작

초기집단 생성

적합도 평가

선택, 재생

교배, 돌연변이

적합도 평가

종결조건

Yes

No

그림 13. 유전자 알고리즘의 동작 과정

유전자 알고리즘은 염색체(Chromosome)라고 하는 유전자 개체의 형태로

의사결정 대안을 표현하고 적합도 함수의 타당성을 측정하는 반복적 절차이다. 여

기서 대안을 세대라고 하는 알고리즘의 반복을 통해 자손을 생성하기 위해 조합

되며, 그 자손을 새로운 대안이 되고 부모와 자식 세대로부터 적합도가 높은 개체

의 집합이 살아남아 다음 세대의 자손을 생성하는 부모가 되며, 자손은 재생

(Reproduction), 교차(Crossover), 돌연변이(Mutation)라고 하는 유전 연산자를

통해서 생성된다. 그림 14와 15는 교차와 돌연변이 연산자를 적용한 예를 각각

Page 33: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

25

보여준다.

그림 14. 교차 연산자의 예

그림 15. 돌연변이 연산자의 예

유전자 알고리즘은 선택, 교차, 돌연변이 등의 연산자를 계속적으로 사용하

여 개체의 적합도를 개선하여 나가는데, 유전자 알고리즘의 이와 같은 휴리스틱

규칙의 적용과정은 국부 해가 아닌 전역 해로의 수렴을 가능하게 한다.

4.2.2 특징추출

지문영상에 가보 필터를 정확히 일치시킴으써 실제의 융선과 골 구조는 강

하게 강조될 수 있으며, 이렇게 강조된 융선과 골이 지문영상을 효과적으로 표현

하게 된다. 특징선택에 사용하기 위한 전체 특징 집합을 구성하기 위해, 먼저 중

심점 찾기, 섹터 분할, 정규화, 가보 필터링, 특징 벡터 계산 등의 과정을 진행한

다[Prabhakar2001].

먼저 중심점을 찾는 과정은 다음과 같다.

Page 34: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

26

1) 2.4.1장에서 방향성 변화도 값을 위해 계산한 ),( jiθ 를 이용한다(블록

사이즈는 16ⅹ16으로 하여 계산하였다).

2) θ 의 사인 값으로 구성된 영상( Ε )을 구한다.

)),(sin(),( jiji θ=Ε (4-3)

3) 중심점을 나타낼 레이블 영상 Α 를 초기화 한다.

4) Ε 의 각 픽셀 ),( ji 에 대해, 그림 16에서처럼 영역을 구분한 후, 다음

식과 같이 계산하여 레이블 영상을 구성한다. 반원의 반지름은 블록의

크기( 16=ω )와 동일하다.

∑∑ Ε−Ε=Α21

),(),(),(RR

jijiji (4-4)

R1 R1

R2

그림 16. 레이블 영상을 계산하기 위한 영역 구분

5) 레이블 영상에서 최대값을 가지는 부분이 중심점이다.

이 방법은 대부분의 지문 클래스에서 정확하게 중심점을 찾아내지만, arch

타입의 영상에서는 부정확한 경우가 존재한다. 다른 타입에 비해 arch 타입은 굴

곡이 심한 부분이 확연하게 드러나지 않기 때문에 중심점을 정확히 찾아내기 어

렵다.

두 번째로, 중심점을 중심으로 관심영역을 섹터 iS 로 분할한다.

}1,1,),2()1(|),{( 1 MyNxTbrTbyxS iiiii ≤≤≤≤<≤+<≤+= +θθθ

Page 35: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

27

))/()((tan

,)()(

),/2()mod(,div

1

22

cc

cc

i

i

xxyy

yyxxr

kkikiT

−−=

−+−=

×==

−θ

πθ (4-5)

여기서, ),( cc yx 는 중심점을 나타내며, b는 각 밴드의 두께, k는 각 밴드가

가지는 섹터의 개수이다. B를 밴드의 수라 할 때, i는 0부터 1−× kB 까지의 인덱

스를 가진다. B는 영상의 크기 및 해상도와 매우 밀접한 관련이 있는 파라미터라

할 수 있다. 본 논문에서는 b=30, B=5, k=16으로 결정하여 총 80개의 섹터를 분

할하였다.

섹터 분할 후에는 4.1에서 기술한 바와 같이 정규화를 거친 후, 가보 필터를

통과시킨다. 여기서는 가보 필터를 0도~180도까지 10도 간격으로 영상에 적용하

여 각 영상에 대해 18개 방향성 정보를 모두 추출하여 핑거코드를 얻는다. 이렇

게 얻은 정보를 바탕으로 분류에 가장 적합한 방향성 정보를 선택하고자 한다.

4.2.3 특징선택

유전자 알고리즘과 신경망을 이용하여 최적의 방향성 집합을 선택한다. 선

택된 정보를 이용하여 최종 분류에 사용한다. 제안하는 특징선택 방법은 그림 17

과 같다.

80 dimensional feature vectors

Feature Selection

dir 1

dir2

dir 18

18 sets

Classification

1

1

0

18 bits chromosome

{A, T, L, R, W}

그림 17. 유전자 알고리즘 기반 특징 선택

Page 36: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

28

이진 스트링 구조로 선택된 특징조합을 나타내는데 그림에서 볼 수 있듯이,

비트 값이 1이면 해당 특징을 사용하는 것이고, 0이면 해당 특징을 사용하지 않음

을 의미한다. 선택된 특징 조합을 GA 염색체를 통해 얻어서 이를 신경망으로 평

가하여 적합도 값으로 사용한다. 특징 조합의 수는 아래 수식과 같이 계산되는데,

상당히 많은 경우의 수를 가지고 있기 때문에 모든 경우를 평가해보는 것은 어렵

다. 따라서 최적화 문제에 적합한 GA를 사용한다.

ff

f

nn

kkn C 2

1

==∑=

수특징조합의 (4-6)

( fn : 전체 특징의 수)

본 논문에서 비트 스트링의 길이는 18로, 18개 방향성 중에서 최적의 조합

을 찾는 것이 목적이다. 18개 방향성의 특징 정보를 모두 추출해야 하는 시간이

상당히 많이 필요하지만, 이 특징 선택 결과를 토대로 분류에 적합한 특징만을 온

라인 시스템에서 추출하여 사용한다면 성능 향상에 많은 기여를 할 것이다.

4.3 분류

지문 자동 분류는 5개의 지문 클래스 간 차이가 크지 않은 경우가 많고, 한

클래스에 속하는 지문끼리도 영상에 따라 차이점이 존재하기 때문에 상당히 어려

운 문제라 할 수 있다. 이러한 분류 문제를 보다 단순히 하기 위해, 5 클래스 분

류 문제를 10개의 이진 클래스 문제로 분해하여 해결하고자 한다

[Prabhakar2001]. 사용할 분류기는 현재 가장 널리 연구되고 있는 support

vector machine(SVM)과 신경망이며, 앞서 제안한 방법으로 선택된 특징 집합을

분류기 입력으로 사용한다.

Page 37: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

29

L, R

L, W

L, A

L, T

R, W

R, A

R, T

W, A

W, T

A, T

Support Vector Machines

Neural Network

그림 18. 분류기 결합 방법

Support vector machine(SVM)은 Vapnik이 고안한 것으로, 이진 분류 문제

해결을 위한 학습 알고리즘이다. 데이터들의 입력공간에서 positive 및 negative

샘플들 간의 분리 마진이 최대가 되도록 결정 경계를 최적화한다[Vapnik1995].

Ni RX ∈ 이 샘플 데이터(벡터), }1,1{−∈iY 이 해당 레이블일 때, M 개의 학습

데이터 ),( ii YX 에 의한 결정 경계면(hyperplane)은 다음과 같이 정의된다.

∑=

+=M

iiii bXXkYXf

1),()( α (4-7)

(.)k 는 커널 함수, )(Xf 는 X 의 멤버쉽 함수이다. 최적의 결정 경계면을

찾는 것은 위 식을 만족하는 0이 아닌 모든 iα (support vector)와 바이어스 b를

찾는 것이라 할 수 있다. 커널 함수로는 선형함수, RBF 등이 있다[Vapnik1995,

Chrkssky1998].

신경망은 출력층에서 발생하는 에러에 의해 뉴런들 간의 연결 강도를 반복

적으로 조정하는 순방향 다층퍼셉트론(multilayer perceptron, MLP)이다

[Lipp1987]. 이 방법은 안정적인 학습 능력과 뛰어난 일반화 능력으로 현재까지

가장 널리 사용되고 있는 기계 학습 방법의 하나이다.

그림 18과 같이, 먼저 10( 25C ) SVM을 이용하여 지문의 5개 클래스 중 2

Page 38: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

30

개씩 조합한 10개의 이진클래스 문제에 대해 학습한다. 10개의 1차 분류 결과를

다시 신경망의 입력으로 하여 2차 분류를 진행한다.

Page 39: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

31

제 5 장. 실험 및 결과

5.1 실험환경

지문영상의 품질특성 분석을 위해 사용한 데이터는 NIST DB

4[Watson1992](DB1)와 인하대학교 신호 및 정보공학 연구실에서 수집한 지문영

상[Kang2003](DB2)을 이용하였다. DB1은 8비트의 흑백 지문영상으로 512×512

크기이다. 하나의 손가락에 대해 두 번의 영상을 2000쌍의 지문에 대해 얻었기

때문에 총 데이터 수는 4000개이다. DB2는 DB1과 마찬가지로 흑백 영상이며 크

기는 248×292이다. DB2는 제안한 방법을 적용한 영상에서 minutiae가 제대로

추출되는지를 확인하기 위해 사용하였다. 실험은 NIST DB의 절반인 2000개의 영

상을 이용하여 클러스터링하여 얻은 규칙으로 남은 2000개 영상에 대해 적응적

영상개선을 수행한다.

지문 분류를 위해 사용한 데이터는 앞서 언급한 NIST DB 4이다. 이 데이터

는 left loop (L), right loop (R), whorl (W), arch (A), tented arch (T) 등 5개의

지문 클래스별로 구분이 되어있으며 절반은 학습 데이터로, 나머지 반은 테스트

데이터로 이용하였다. 이 중에서 중심점이 제대로 추출되지 않은 영상은 제거한

후 이용하였다.

5.2 적응적 영상개선

5.2.1 실험결과

먼저 ward 알고리즘을 이용한 클러스터링 결과를 기반으로 지문영상의

특성을 분석해보았다. NIST DB 2000개의 영상으로부터 앞서 정의한 5개의

특징을 추출한 후, 클러스터링한 결과는 그림 19와 같다. 상위 클러스터 30개를

덴드로그램에 나타내었고, Mojena의 규칙을 이용하여 결정한 클러스터의 수는

5이다. 그림 20에서 5개의 특징이 각 클러스터 내에서 어떻게 분포하고 있는지를

확인할 수 있다. 5개의 클러스터 중 4번 클러스터는 dry, 5번 클러스터는 oily를

나타내며 나머지 세 개의 클러스터는 neutral 영상들로 구성되어 있다.

Page 40: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

32

그림 19. Ward 알고리즘을 이용한 지문영상 클러스터링 결과

Page 41: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

33

1 2 3 4 50.8

1.0

1.2

1.4

1.6

1.8

2.0

2.2

2.4

2.6

R-V

Rat

io

Cluster No.1 2 3 4 5

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Orie

ntat

ion

Cha

nge

Cluster No.

1 2 3 4 5

0.0

0.2

0.4

0.6

0.8

1.0

Bloc

k D

irect

iona

l Diff

eren

ce

Cluster No.

1 2 3 4 5

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Mea

n

Cluster No.1 2 3 4 5

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Varia

nce

Cluster No.

그림 20. 각 클러스터의 특징 분포

Page 42: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

34

그림 21는 클러스터링 결과를 규칙으로 분석한 것으로 총 23개의 규칙을

찾을 수 있었다. 여기서 확인할 수 있듯이 융선 두께가 골 두께보다 큰 경우는

oily 클러스터에 속함을 알 수 있다. Dry 영상의 경우, 융선과 골 두께의 비율과

평균이 다른 클러스터와 차이가 남을 알 수 있다. 또한 본 논문에서는 규칙에

사용된 특징의 빈도 수를 이용하여 지문영상 특성분석에 사용된 5개 특징의

사용빈도를 계산해보았다. 표 3에서 볼 수 있듯이, 융선과 골 두께 비율, 평균,

블록 방향성 차이, 방향성 변화도, 분산 순으로 높은 사용빈도를 나타내었다.

융선과 골 두께 비율이 가장 많이 사용된 특징으로 분석되었는데, 이는

일반적으로 사람의 눈으로 지문영상의 특성을 파악할 때 사용되는 기준과 동일한

특징이었다.

IF ((B < 0.041) and (R >= 2.17))

Then Oily Cluster

ELSE IF ((V <0.24) and (2.14 <= R < 2.17) and (B < 0.29))

Then Oily Cluster

ELSE IF ((V < 0.39) and (O >= 0.21) and (B < 0.33) and (R < 1.73))

Then Dry Cluster

ELSE IF ((M >= 0.54) and (B < 0.12) and (V >= 0.39) and (O >= 0.21) and (R < 1.73))

Then Dry Cluster

ELSE Neutral Cluster

그림 21. 클러스터링을 통해 분석한 규칙

표 3. 각 특징의 사용빈도

특징 사용빈도

평균(M) 0.67

분산(V) 0.20

블록 방향성 차이(B) 0.37

방향성 변화도(O) 0.36

융선과 골 두께 비율(R) 1.00

Page 43: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

35

그림 22는 각 클러스터를 대표하는 영상의 예를 보여준다. (a)~(c)는 oily

클러스터, (d)~(f)는 neutral 클러스터, (g)~(i)는 dry 클러스터를 각각 보여준다.

이처럼 유사한 특성을 가진 영상끼리 동일한 클러스터로 모였음을 확인할 수

있다. 이러한 분석을 통해 얻어진 결과를 이용하여 oily 영상에는 골을 개선하는

작업을, dry 영상에는 융선을 개선하는 작업을 각각 적용해보았다. 또한 이러한

적응적 개선 방법과 비교하기 위해 동일한 영상에 일반적으로 사용되는 필터링

기법인 평활화를 적용해보았다. 그림 23에서 볼 수 있듯이, 전통적인 필터링을

적용한 영상보다 oily와 dry를 구분하여 각 특성에 적합하게 필터링한 영상이

눈으로 보기에도 품질이 좋음을 확인할 수 있다.

그림 22. 클러스터링 결과의 예

Page 44: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

36

그림 23. 적응적 영상개선 결과: (a)와 (d)는 각각 습한 영상과 건조한 영상(원영

상), (b)와 (e)는 (a)와 (d)에 각각 일반적인 필터링을 적용한 결과, (c)와 (f)는 (a)

와 (d)에 각각 적응적 필터링을 적용한 결과

이를 보다 정량적으로 평가하기 위해 두 가지 방법으로 품질을

측정해보았다. 먼저 위에서 사용한 특징 중, 영상의 블록 당 방향성차이를 평균한

값을 이용하여 품질의 고저를 판단해보았다[17]. 지문영상의 품질이 좋고 나쁨을

눈으로 평가할 때, 융선과 골이 선명히 잘 구분되는지 여부가 기준이 되기[5]

때문에 블록 당 방향성 차이가 클수록 좋은 영상이라 할 수 있다. 그림 24에서

보듯이, 영상의 특성에 대한 정보없이 획일적인 필터링 모듈을 적용했을 때에는

블록 방향성 차이 값이 146~147 정도인 반면, 적응적 필터링 모듈을 적용한

경우, 그 값이 평균의 두 배 정도 증가했음을 확인할 수 있다. 따라서 적응적

필터링을 통해 지문의 융선과 골이 선명히 구분되었다고 볼 수 있다.

Page 45: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

37

(b) Dry Images:Enhancement with adaptive filtering

(a) Oily Images:Enhancement with adaptive filtering

그림 24. 영상개선에 따른 블록방향성차(영상개선도)

두 번째로, 추출된 minutiae를 이용하여 품질을 측정해보았다. 궁극적으로

인식시스템은 올바른 minutiae가 추출되어야 하므로 영상의 품질을 평가하는 데

있어 minutiae를 기반으로 하는 평가가 보다 정확하다고 할 수 있다. 일반적인

필터링과 적응적인 필터링을 각각 적용한 영상에서 minutiae를 추출하여

올바르게 추출된 minutiae와 잘못 추출된 minutiae, 추출되지 않은 minutiae의

개수를 이용하여 다음과 같이 영상의 품질을 측정할 수 있다.

ufccindexquality

++=

단,

c: 올바르게 추출된 minutiae의 수

f: 잘못 추출된 minutiae의 수

u: 추출되지 않은 minutiae의 수

기준이 되는 minutiae(true minutiae)는 전문가에 의한 수작업으로 추출하여

알고리즘을 통해 추출된 minutiae와 비교하였다. 품질 분석을 통해 다양한 품질을

가진 영상 50개를 선정하여 품질을 측정한 결과 일반적인 필터링을 거친

Page 46: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

38

영상보다 적응적 필터링을 거친 영상에서 품질이 높음을 확인할 수 있었다. 표

4는 영상에 대한 quality index 계산 결과를 보여준다. 50개의 영상 중에서 10개

데이터에 대한 품질 측정 값의 변화와 전체 데이터에 대한 평균값을 보여준다.

표에서 볼 수 있듯이, quality index 값이 적응적 필터링을 적용하였을 때

향상되었음을 확인할 수 있다. 이는 영상 품질에 따라 적응적으로 필터링을

적용한 경우, 잘못 추출되는 minutiae의 수가 줄면서 올바르게 추출되는

minutiae의 수가 증가하여 전체적으로 영상의 품질이 좋아졌음을 의미한다.

실제로 이 결과가 유의한지를 분석하기 위해 paired t-test를 실시해보았다. 표

5에서 볼 수 있듯이 99% 신뢰수준에서 동일한 영상집단에 다른 필터링 방법을

적용한 후의 품질차이가 유의함을 확인할 수 있다.

표 4. Quality index 측정 결과

Image # Conventional Filtering Adaptive Filtering

1 0.16 0.37

2 0.25 0.27

3 0.0 0.25

4 0.35 0.40

5 0.33 0.56

6 0.27 0.41

7 0.22 0.45

8 0.11 0.18

9 0.32 0.41

10 0.08 0.32

Mean 0.15 0.22

Variance 0.01 0.02

표 5. Paired t-test 결과

평균 표준오차 t-값 Pr > |t|

0.0714 0.013 5.49 <0.0001

Page 47: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

39

그림 25와 26은 품질분석을 통한 적응적 필터링을 통해 영상이 개선된

예를 보여준다. 그림 25는 dry 영상에서 일반적인 필터링과 적응적인 필터링을

각각 적용하였을 때 추출된 minutiae를 나타낸다. (a)와 (c)는 일반적인 필터링을,

(b)와 (d)는 융선개선 필터링을 적용한 결과이다. (a)와 (c)에서는 끝점으로 잘못

추출된 minutiae가 dry 영상 특성에 맞는 필터링을 적용하여 분기점으로

올바르게 추출되었다((b)와 (d)). 그림 26은 oily 영상에서 추출된 minutiae를

보여주는데 일반적인 필터링을 적용한 영상에서는 (a)와 (c)에서 볼 수 있듯이,

융선이 너무 붙어 있어서 분기점으로 잘못 추출되거나 아예 다 연결되어버리는

경우가 많았다. 하지만 oily 특성에 맞게 골개선 작업을 진행한 결과, 올바른

minutiae가 추출됨을 확인할 수 있었다((b)와 (d)).

(a) (b)

(c) (d)

그림 25. dry 영상에 대한 필터링 적용 예: (a)와 (c)는 일반적인 필터링 적용 결

과. (b)와 (d)는 융선개선 필터링 적용 결과

Page 48: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

40

(a) (b)

(c) (d)

그림 26. oily 영상에 대한 필터링 적용 예: (a)와 (c)는 일반적인 필터링 적용 결

과. (b)와 (d)는 골개선 필터링 적용 결과

제안한 필터링 방법이 온라인 인식시스템에서 실용적이기 위해서는 수 초

안에 수행되어야 할 필요가 있다. 표 6은 영상특성 분석을 위한 특징추출 과정과

필터링 과정의 처리 시간을 보여준다.

표 6. 적응적 영상개선 방법의 수행시간(초): Pentium 4, 2GHz PC

M & V B O R Preprocessing Total

0.001 0.141 0.063 0.047 0.301 0.553

5.3 지문분류

5.3.1 특징 선택 결과

분류에 사용할 데이터는 모두 4000개이었으나, 특징을 추출하는 단계에서

시간이 상당히 많이 소요되는 문제점이 있어서 데이터의 절반인 2000개만을 이용

하였다. 지문 영상 한 장에 대해 필터링하는데 약 2분 정도가 소요되기 때문에

4000개의 데이터를 모두 필터링하는 것은 쉽지 않았다.

특징선택을 위한 유전자 알고리즘의 기본 환경 변수는 표 7과 같이 설정하

Page 49: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

41

였다. 유전 연산자는 1점 교차와 룰렛휠 선택을 사용하였으며, 신경망은 오류를

줄이기 위해서 두 번 학습한 뒤 좋은 값을 선택하도록 하였다.

표 7. 실험 환경 변수

유전연산 변수 값 신경망 변수 값

집단의 크기

선택율

교차율

돌연변이율

15

0.8

0.8

사용안함

학습율

모멘텀

최대 반복수

최소 오류

0.3

0.5

1500

0.02

표 8은 유전자 알고리즘이 발견한 적합도(신경망 분류율)이 높은 방향성 조

합을 보여준다. 상위 10위 안에 있는 특징조합 간 적합도 차이가 크지 않기 때문

에 가장 많이 선택된 방향성 4개를 이용하여 최종 분류에 사용하였다. 방향성을

4개로 선택한 이유는 특징 조합 결과를 분석해 본 결과, 4개 이상으로 분류한 경

우 분류율이 4개를 선택했을 때와 거의 변함이 없었기 때문이다. 선택된 방향성은

10°, 50°, 100°, 130°이다. 기존 연구에서 선택된 방향성은 0°, 45°, 90°, 135°로

유전자 알고리즘을 통해 선택된 조합과 거의 유사하다고 할 수 있다. 따라서 이

결과를 통해 지문분류에 사용할 가보 특징에는 더 이상의 추가적인 가보 필터링,

다시 말해 위의 4가지 이외의 다른 방향성을 고려하지 않아도 됨을 확인할 수 있

다.

표 8. 특징 선택 결과

순위 특징조합(방향성)

1 10, 20, 100, 160

2 10, 50, 110, 130, 150

3 40, 60, 120, 130, 160

4 50, 60, 70, 100, 170

5 20, 90, 100, 160

Page 50: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

42

5.3.2 단일 분류기

분류기 결합과의 성능 비교를 위해서 위에서 선택된 특징을 이용하여 단일

분류기로 분류를 시도해보았다. 실험에 사용한 신경망은 40개의 뉴런을 가진 은

닉층 한 개와 320개의 뉴런으로 이루어진 입력층, 5개의 출력값을 가진 출력층으

로 구성되어 있다. SVM은 LIBSVM 패키지를 이용하여 실험하였으며, 다양한 커

널을 이용한 결과 polynomial 커널을 사용할 때 가장 좋은 성능을 보였다. 표 9

는 본 연구에서 실험한 평균 분류율을 보여준다. 표 9에서 확인할 수 있듯이, 동

일한 데이터에 대해 가보 필터 특징을 이용하여 연구한 결과와 거의 유사한 성능

을 보여줌을 확인할 수 있다.

표 9. 단일 분류기의 분류율

분류기 분류율(기존연구 분류율)

신경망 87.0% (86.4%)

SVM 86.7% (86.1%)

5.3.3 분류기 결합

단일 분류기 SVM과 신경망을 결합하는 목적은 2단계 분류를 이용한 분류

성능 향상에 있다. 이진 분류에서 좋은 성능을 보이는 SVM을 이용하여 5개의 클

래스 중 두 개씩 짝을 이루어 SVM이 각각에 대해 이진 분류를 할 수 있도록 하

였다. 즉, left loop (L)와 right loop (R)를 구분할 수 있는 SVM은 L과 R로 레이

블되어 있는 데이터만을 이용하여 학습된다. 이렇게 학습된 10개의 SVM 결과를

신경망으로 결합한다. 그 결과, 최종 분류율은 약 89%로 기존의 연구결과(90%)와

거의 차이가 없었다. 표 10은 분류기 결합 결과를 보여준다.

표 10. 분류기 결합 결과 - Confusion matrix

Assigned Class True

Class L R W A T

Page 51: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

43

L 183 8 4 2 0

R 0 186 3 4 5

W 3 0 187 3 4

A 1 1 2 202 17

T 6 3 8 36 132

본 연구에서는 유전자 알고리즘으로 지문분류에 적합한 특징 조합을 선택해

보고자 하였다. 원래 기대했던 결과는 기존 연구에서 임의로 선택한 방향성 4개보

다 더 적은 방향성을 이용하여 유사한 결과를 내는 것이었으나 유전자 알고리즘

으로 선택된 방향성은 동일한 4개의 방향성 조합이었다. 제안하는 바가 기존 연구

를 개선하지는 못했으나 임의로 선택되었던 특징조합을 유전자 알고리즘이라는

효과적인 해 탐색 알고리즘을 도입하여 방향성 조합 선택에 과학적인 증거를 제

시했다는 데 의미를 부여할 수 있겠다.

5.4 인식률

마지막으로 제안한 두 가지 방법을 적용하여 최종 인식률 향상을 확인해 보

았다. 그림 27에서 볼 수 있듯이, 기존의 방법보다 제안하는 방법을 이용한 경우

의 성능이 더 좋음을 알 수 있다. 그림의 ROC에서, 동일한 FAR에 대해 FRR 값

이 약간 더 높게 나타났을 뿐 아니라 EER의 경우도 기존 방법의 경우 약 0.082

인 반면, 제안하는 방법은 약 0.07로 0.01정도의 성능 차이를 확인할 수 있었다.

Page 52: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

44

0

10

20

30

40

50

60

70

80

90

100

0 5 10 15 20 25

False Acceptance Rate (%)

Genuin

e A

ccepta

nce R

ate

(%

)

기존 방법

제안하는 방법

그림 27. Receiver Operating Curves: 세로축은 1-FRR (False Reject Rate)

Page 53: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

45

제 6 장. 결론 및 향후 연구

지문인식은 생체인식분야에서 상당히 많은 연구가 진행되어 온 분야이다.

오랜 기간 연구 결과를 바탕으로 실제 범죄 수사나 출입통제 등에 실제 널리 사

용되고 있다. 본 논문에서는 대규모 지문인식시스템이 가지고 있는 문제점을 파악

하여 이를 개선, 전체 성능을 향상시키고자 하였다.

먼저 일반적으로 인식시스템의 앞부분에서 진행되는 영상개선 단계가 상당

히 획일적으로 이루어지기 때문에 영상개선이 제대로 이루어지지 못하는 경우가

많다는 문제점이 있다. 따라서 기존에 이루어지는 품질평가 단계에서 영상의 특성

을 보다 세밀하게 파악하여 oily 영상인지, dry 영상인지에 따라 필터링을 다르게

적용하여 그 개선 정도를 확인해보았다. 블록 방향성 차이와 minutiae 추출 정도

를 이용한 quality index 등 두 가지 측정 지수로 일반적인 필터링과 적응적인 필

터링 방법을 각각 비교한 결과 제안한 적응적 필터링 방법이 훨씬 성능이 좋음을

확인할 수 있었다.

두 번째로, 지문분류 문제에서 유전자알고리즘 기반의 특징 선택 및 분류기

결합 방법을 제안하였다. 기존의 가보 필터를 적용한 핑거코드 방법은 가보 필터

의 방향성을 임의로 정하여 특징을 추출하였기에 본 논문에서는 분류에 적합한

가보필터의 방향성을 찾아내기 위해 유전자 알고리즘을 이용하였다. 그 결과, 기

존 연구 결과와 매우 유사한 결과를 얻었지만, 효율적인 탐색 알고리즘인 유전자

알고리즘을 이용하여 특징 조합 선택에 좋은 본보기를 제시했다고 할 수 있겠다.

마지막으로 제안한 두 가지 방법을 이용하여 최종 인식률도 향상했음을 확인할

수 있었다.

본 논문에서 제안하는 방법이 기존의 방법보다 좋은 성능을 보이지만 아직

개선해야 할 부분이 많이 있다. 우선 영상개선 부분에서는 이미 정해져 있는 데이

터를 이용하여 학습과 테스트를 실시하였지만 실제 시스템은 온라인으로 사용되

는 것이고, 그에 따라 항상 데이터베이스는 변하기 마련이다. 현재 제안하는 방법

은 데이터베이스에 의존적이기 때문에 데이터가 바뀌면 그에 따라 새로 학습을

해야 하는 단점이 있다. 따라서 데이터에 독립적으로 사용할 수 있는 일반적인 규

칙을 유도해내야 할 필요가 있다. 또한 지문 분류에 있어서도 본 논문에서는 분류

를 위한 특징 선택 부분에 초점을 맞추었지만, 최근 많이 연구되고 있는 분류기

결합을 통해 보다 정확한 분류율 획득에 대한 연구가 더 진행되어야 할 것이다.

Page 54: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

46

참고문헌

[Bolle1999] R. Bolle, S. Pankanti and Y.-S. Yao, “System and Method

for Determining the Quality of Fingerprint Images,” US

Patent Number, US 596356, 1999.

[Chang2002] J.-H. Chang and K.-C. Fan, “A New Model for Fingerprint

Classification by Ridge Distribution Sequences,” Pattern

Recognition, No. 35, pp. 1209-1223, 2002.

[Chrkssaky1998] V. Chrkassky and F. Mulier, Learning from Data- Concepts,

Theory and Methods, New York: John Wiley & Sons, 1998.

[Galton1892] F. Galton, Finger Prints, Macmillan, London, 1892.

[Goldberg1989] D. E. Goldberg, Genetic Algorithms in Search, Optimization

and Machine Learning, Addison Wesley, 1989.

[Henry1900] E. R. Henry, Classification and Uses of Fingerprint, London:

rout-ledge, 1900

[Hong1998] L. Hong, Y. Wan and A. K. Jain, “Fingerprint Image

Enhancement: Algorithm and Performance Evaluation,”

IEEE Transaction on Pattern Analysis and Machine

Intelligence, vol. 20, no. 8, pp. 777-789, August 1998.

[Ikeda2002] N. Ikeda, M. Nakanishi, K. Fujii, T. Hatano, S. Shigematsu,

T. Adachi, Y. Okazaki and H. Kyuragi, “Fingerprint Image

Enhancement by Pixel-Parallel Processing,” 16th

International Conference on Pattern Recognition, vol. 3, pp.

752-755, August 2002.

[Jain1999] L. C. Jain, U. Halici, I. Hayashi, S. B. Lee, and S. Tsutsui,

Intelligent Biometric Techniques in Fingerprint and Face

Recognition, CRC Press, 1999.

[Jain2001] A. K. Jain, S. Pankanti, S. Prabhakar and A. Ross, “Recent

Advances in Fingerprint Verification,” 3rd International

Conference on Audio- and Video-Based Person

Authentication, pp. 182-191, Sweden, June 2001.

Page 55: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

47

[Kang2003] H. Kang, B. Lee, H. Kim, D. Shin, and J. Kim, “A Study on

Performance Evaluation of Fingerprint Sensors,” The 4rd

International Conference Audio- and Video-based

Biometric Person Authentication (AVBPA 2003), pp. 574-

583, June 2003.

[Karu1996] K. Karu, and A. Jain, “Fingerprint Classification,” Pattern

Recognition, vol. 29, no. 3, pp. 389-404, March 1996.

[Lim2002] E. Lim, X. Jiang and W. Yau, “Fingerprint Quality and

Validity Analysis,” IEEE International Conference on Image

Processing (ICIP 2002), vol. 1, pp. 22-25, September 2002.

[Lippman1987] R. P. Lippman, “An Introduction to Computing with Neural

Nets,” IEEE ASSP Magazine, pp. 4-22, April, 1987.

[Milligan1985] G. W. Milligan and K. C. Cooper,, “An Examination of

Procedures for Determining the Number of Clusters in a

Data Set,” Psychometrika, vol. 50, pp. 159-179, 1985.

[Mojena1977] R. Mojena, “Hierarchical Grouping Methods and Stopping

Rules: An Evaluation,” Computer Journal, vol. 20, pp. 353-

363, 1977.

[Prabhakar2001] S. Prabhakar, “Fingerprint Classification and Matching

Using a Filterbank,” Ph. D. Dissertation at MSU, 2001.

[Rao1990] A. Rao, A Taxonomy for Texture Description and

Identification, New York, NY: Springer-Verlag, 1990.

[Ratha1996] N. K. Ratha, K. Karu, S. Chen, and A. K. Jain, “A Real-Time

Matching System for Large Fingerprint Databases,” IEEE

Transaction on Pattern Analysis and Machine Intelligence,

vol. 18, no. 8, pp. 799-813, August 1996.

[Ratha1999] N. K, Ratha and R. M. Bolle, “Fingerprint Image Quality

Estimation,” IBM Computer Science Research Report RC

21622, 1999.

[Shen2001] L. L. Shen, A. Kot, and W. M. Koo, “Quality Measures of

Fingerprint Images,” The 3rdInternational Conference

Page 56: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

48

Audio- and Video-based Biometric Person Authentication

(AVBPA 2001), pp. 182-271, June 2001.

[Shelock1993] B. G. Shelock and D. M. Monro, “A Model for Interpreting

Fingerprint Topology,” Pattern Recognition, vol. 26, no. 7,

pp. 1047-1055, 1993

[Vapnik1995] V. N. Vapnik, The Nature of Statistical Learning Theory,

New York: Springer, 1995.

[Ward1963] J. H. Ward, “Hierarchical Grouping to Optimize an Objective

Function,” Journal of the American Statistical Association,

vol. 58, no. 301. pp. 236-244, 1963.

[Watson1992] C. I. Watson and C. L. Wilson, NIST Special Database 4,

Fingerprint Database. U. S. Nat'l Inst. of Standards and

Technology, 1992.

Page 57: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

49

ABSTRACT

Fingerprint Image Enhancement and Classification for Robust Automatic Fingerprint Identification System

Yun, Eun-Kyung Dept. of Computer Science

The Graduate School Yonsei University

The fingerprint identification system is roughly consisting of three parts. The first part

is a feature extraction which includes the enhancement process of the fingerprint

image (preprocessing) and feature extraction process. The second is a searching

process which selects some candidates from database, and sorts them by similarity

between an input fingerprint and them. The last is a matching which verifies the

sameness of candidates. The processing time is one of the most important things in

automatic fingerprint identification system based on large databases. If the system

loses several minutes in verifying or identifying, it is not a robust system no matter

how accurate it performs. Therefore we have to consider the speedy with accuracy of

the system.

This paper proposes two improved methods in preprocessing process and

classification process for whole performance enhancement. The first one is an

adaptive preprocessing in order to solve the existing problems of uniform image

enhancement. Accurate minutiae extraction from input fingerprint images is one of the

critical modules in robust automatic fingerprint identification system. However, the

performance of a minutiae extraction is heavily dependent on the quality of the input

fingerprint images. Accordingly in order to improve the whole performance of the

system, image enhancement algorithm is required. It seems quite probable that the

low quality images are obtained in real world. To solve this problem, much effort has

been made on the image enhancement algorithm over the past years. If the

Page 58: 대규모 지문인식시스템을 위한 - Yonsei Universitysclab.yonsei.ac.kr/publications/Papers/thesis/ekyoon.pdf · 2007-03-16 · vi 국문요약 대규모 지문인식시스템을

50

preprocessing is performed according to the fingerprint image characteristics in the

image enhancement step, the system performance will be more robust. The proposed

method is an adaptive preprocessing one, which extracts 5 features (the mean and

variance of gray values, block directional difference, orientation change level, and

ridge-valley thickness ratio) from the fingerprint images and analyzes image quality

with Ward’s clustering algorithm, and enhances the images with respect to

oily/neutral/dry characteristics. Experimental results using NIST DB 4 and Inha

University DB show that clustering algorithm distinguishes the image quality

characteristics well. In addition, the performance of the proposed method is assessed

using quality index and block directional difference. The results indicate that the

proposed method improves both the quality index and block directional difference.

The second one is a feature selection based on a genetic algorithm to improve

fingerprint classification performance. The existing gabor filter-based FingerCode

method was processed by selecting filter’s direction arbitrary. This paper uses a

genetic algorithm for selecting filter’s directions which improves fingerprint

classification accuracy. At last, this paper evaluates the whole identification system

using the two suggested methods. Experimental results show that the performance of

the system is significantly improved. In particular, the proposed method reduced the

false reject rate while maintaining the same false accept rate.

Keywords: fingerprint identification system, quality analysis (check), image

enhancement, fingerprint classification, clustering, genetic algorithm