(19) 한민 특허청(KR)

(12) 등 특허공보(B1)

(45) 공고 2017 04월28

(11) 등 10-1731626

(24) 등 2017 04월24

(51) 특허 (Int. Cl.)

G06F 17/30 (2006.01)

(52) CPC특허

G06F 17/30327 (2013.01)

G06F 17/30961 (2013.01)(21) 원 10-2016-0111407

(22) 원 2016 08월31

심사청 2016 08월31

(56) 행 술 사문헌

US07467116 B2*

US20160155069 A1*

KR1020160143512 A*

KR101469136 B1*

*는 심사 에 하여 문헌

(73) 특허

고 학 산학 단

울특별시 안암 145, 고 학 (안암동5가)

(72)

걸

울특별시 강동 고 131, 122동 1503 (암사동, 강동 캐슬 스트아 트)

동

울특별시 진 나루 56 32, 215동 2303( 동, 2단지아 트)

(74) 리

등 ,

체 청 항 수 : 6 항 심사 : 경

(54) 칭 트리 앙상블 한 보 측 시스

(57) 약

처리 듈, 학습 듈, 측 듈, 스 포함하는 트리 앙상블 한 보

측 시스 한 트리 앙상블 한 보 측 개시 다. 트리 앙상블

한 보 측 학습 한 수집하는 수집 단계, 상 트스트랩

(뒷 에 계 )

도 - 도1

등록특허 10-1731626

- 1 -

샘플링하여 훈 샘플링 지 않 검 하는 트스트랩 샘플링 단계, 상 훈

에 KFDA 하는 KFDA 단계, 샘플링 지 않 상 검 하여 검 수행하고 커

라미 하는 커 라미 단계, 상 커 라미 에 사결 트리 생

하는 사결 트리 생 단계, 합 규칙 하여 어도 상 사결 트리 병합하여, 트리

앙상블 생 하는 앙상블 생 단계, 신규 하고 상 트리 앙상

블 하여 상 신규 클래스 라 (class label) 측하는 단계 포함한다.

지원한 가연 개 사업

과 고 F16SN26T4601

처

연 리 문 한 연 재단

연 사업 BK21플러스사업

연 과 물 야에 빅 운 사업

여 1/2

주 고 학 산학 단

연 간 2016.03.01 ~ 2017.02.28

지원한 가연 개 사업

과 고 1711040094

처 미래창 과학

연 리 문 한 연 재단

연 사업 개 연 지원

연 과 빅 스마트 리 한 프리 티브 에 리틱스 개

여 2/2

주 고 학 산학 단

연 간 2016.06.01 ~ 2017.05.31

공지 :

등록특허 10-1731626

- 2 -

청

청 항 1

트리 앙상블 한 보 측 시스 에 트리 앙상블 한 보 측 에

어 ,

학습 한 수집하는 수집 단계;

상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘플링 지 않 검

하는 트스트랩 샘플링 단계;

상 훈 에 KFDA(Kernel Fisher Discriminant Analysis) 하는 KFDA 단계;

샘플링 지 않 상 검 하여 검 수행하고 커 라미 하는 커

라미 단계;

상 커 라미 에 사결 트리(Decisoon Tree, Di) 생 하는 사결 트리 생 단계;

합 규칙 하여 어도 상 사결 트리 병합하여, 트리 앙상블 생 하는 앙상

블 생 단계;

신규 하고 상 트리 앙상블 하여 상 신규 클래스 라

(class label) 측하는 단계; 포함하는 트리 앙상블 한 보 측 .

청 항 2

1항에 어 ,

트스트랩 샘플링 단계, KFDA 단계, 커 라미 단계, 사결 트리 생 단계 복

하여 L 개 사결 트리(D1, D2, ... , DL) 생 하는 단계 포함하는 트리 앙상블

한 보 측

청 항 3

1항에 어 ,

상 합 규칙 다수결(majority voting) 트리 앙상블 한 보 측

청 항 4

학습 한 수집하고, 상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘

플링 지 않 검 하는 처리 듈,

상 훈 에 KFDA(Kernel Fisher Discriminant Analysis) 하고, 샘플링 지 않 상 검

하여 검 수행하고 커 라미 하여, 상 커 라미 에 사결

트리(Decisoon Tree, Di) 생 하고, 합 규칙 하여 상 사결 트리 병합하여, 트리 앙상블

생 하는 학습 듈,

상 트리 앙상블 하여 신규 클래스 라 (class label) 측하는 측 듈 포

함하는 트리 앙상블 한 보 측 시스 .

청 항 5

4항에 어 ,

상 학습 듈 L 개 사결 트리(D1, D2, ... , DL) 생 하 ,

등록특허 10-1731626

- 3 -

상 처리 듈 각각 사결 트리 할 마다 새 게 트스트랩 샘플링 수행하여 상 훈

상 검 생 하는 트리 앙상블 한 보 측 시스 .

청 항 6

4항에 어 ,

상 합 규칙 다수결(majority voting) 트리 앙상블 한 보 측 시스 .

술 야

본 개 에 실시 는 트리 앙상블 한 보 측 시스 에 한 것 ,[0001]

욱 상 하게는, 트 닝 트스트랩 샘플링하고 변수들 랜 하게 쪼개어 브 만든 후, 브

에 KFDA 하고 검 통해 커 라미 하여 사결 트리 생 하고 각각 사결

트리 병합하여 앙상블 생 하고, 하여 보 하고 측하는 시스 에 한

것 다.

경 술

본 시뮬 실 실에 생 는 ( 보) 에 한 것 , 다양한 사[0002]

(instance) 특 (feature) 갖는 클래스 라 (class label) 하게 측하는 에 한 것

다.

과거 들 수 변수(variable) 갖는 경우가 많았 문에 [0003]

알고리 도 한 측/ 결과 득할 수 었다. 그러나 ICT (sensor) 술 달

하여 공 나 공학 야에 는 수 수천에 달하는 변수 가진 들 생 시 하 다.

다양한 사 (instance) 특 (feature) 갖는 클래스 라 (class label) 하게 측하고 [0004]

하는 다양한 트리(tree) 알고리 들 지만, 변수가 가할수 측 도가 어지는 경우가 많다.

는 변수가 가할수 차원 가 한 문 등 에 어 움 생하고, 복

한 문에 공간(input data space)에 알고리 하는 어 움 문

에, 사 (instance) 클래스 라 (Class label) 하게 측하 어 다. 라 변수 수

지 않 도 하게 사 (instance) 클래스 라 (class label) 측하는 알고리 필 하다.

내

해결하 는 과

본 루고 하는 술 과 는 많 수 변수 가진 복 한 에 어 각 사[0005]

(instance) 클래스 라 (class label) 하게 측하는 것 다.

과 해결 수단

본 실시 에 트리 앙상블 한 보 측 학습 한 수집[0006]

하는 수집 단계, 상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘플링 지

않 검 하는 트스트랩 샘플링 단계, 상 훈 에 KFDA(Kernel Fisher Discriminant

Analysis) 하는 KFDA 단계, 샘플링 지 않 상 검 하여 검 수행하고

커 라미 하는 커 라미 단계, 상 커 라미 에 사결 트리

(Decisoon Tree, Di) 생 하는 사결 트리 생 단계, 합 규칙 하여 어도 상 사결

트리 병합하여, 트리 앙상블 생 하는 앙상블 생 단계, 신규

하고 상 트리 앙상블 하여 상 신규 클래스 라 (class label) 측하는

단계 포함한다.

본 실시 에 트리 앙상블 한 보 측 시스 학습 한 수[0007]

집하고, 상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘플링 지 않 검

등록특허 10-1731626

- 4 -

하는 처리 듈, 상 훈 에 KFDA(Kernel Fisher Discriminant Analysis)

하고, 샘플링 지 않 상 검 하여 검 수행하고 커 라미 하여,

상 커 라미 에 사결 트리(Decisoon Tree, Di) 생 하고, 합 규칙 하여 상

사결 트리 병합하여, 트리 앙상블 생 하는 학습 듈, 상 트리 앙상블

하여 신규 클래스 라 (class label) 측하는 측 듈 포함한다.

과

본 실시 에 트리 앙상블 한 보 측 시스 변수가 많 고차원[0008]

에 하여 보다 하게 측할 수 는 과가 다.

또한, 본 실시 에 트리 앙상블 한 보 측 시스 KPCA LDA[0009]

하여 KFDA 하여 앙상블 다양 (diversity) 향상시키는 과가 다.

도 간단한

본 상 한 에 는 도 보다 해하 하여 각 도 상 한 공 다.[0010]

도 1 본 실시 에 트리 앙상블 한 보 측 시스 능 블럭도 다.

도 2는 본 실시 에 트리 앙상블 한 보 측 프 워크 도시한

다.

도 3 본 실시 에 트리 앙상블 한 보 측 하 한

도 다.

도 4는 본 실시 에 트리 앙상블 하여 시뮬 수행하 한

시 도 다.

도 5는 본 실시 에 트리 앙상블 하여 도 4 시뮬 한

결과 도시한 다.

도 6 본 실시 에 트리 앙상블 생 하 한 시 수도 드(Pseudo

code) 다.

실시하 한 체 내

본 에 개시 어 는 본 개 에 실시 들에 해 특 한 또는 능 단지[0011]

본 개 에 실시 들 하 한 시 것 , 본 개 에 실시

들 다양한 태들 실시 수 본 에 실시 들에 한 지 않는다.

본 개 에 실시 들 다양한 변경들 가할 수 고 여러 가지 태들 가질 수 므 실시[0012]

들 도 에 시하고 본 에 상 하게 하고 한다. 그러나 는 본 개 에 실시

들 특 한 개시 태들에 해 한 하 는 것 아니 , 본 사상 술 에 포함 는 든 변경,

균등물, 또는 체물 포함한다.

본 에 사 한 어는 단지 특 한 실시 하 해 사 것 , 본 한 하 는 [0013]

도가 아니다. 단수 문맥상 하게 다 게 뜻하지 않는 한, 복수 포함한다. 본 에 ,

"포함하다" 또는 "가지다" 등 어는 본 에 재 특징, 숫 , 단계, 동 , , 또는

들 합한 것 재함 지 하 는 것 지, 하나 또는 그 상 다 특징들 나 숫 , 단계, 동 ,

, 또는 들 합한 것들 재 또는 가 가능 미리 하지 않는 것 해 어야

한다.

다 게 지 않는 한, 술 거나 과학 어 포함해 여 사 는 든 어들 본 [0014]

하는 술 야에 통상 지식 가진 에 해 해 는 것과 동 한 미 가진다.

사 는 사 에 어 는 것과 같 어들 술 문맥상 가지는 미 치하는 미

갖는 것 해 어야 하 , 본 에 하게 하지 않는 한, 상 거나 과도하게 식

미 해 지 않는다.

등록특허 10-1731626

- 5 -

KPCA는 Kernel PCA(Principal Component Analysis) 수행하는 알고리 , 다양한 커 사 하여[0015]

비 (non-linear data structure) 해하는 도움 다. PCA는 본 산

한 보 하는 향 수직 새 운 (basis) 찾는 다. 통해 차원

하 도 하고, 새 운 (basis) 특질 사 하 도 한다. KPCA는 시 커 매핑(kernel

mapping) 없 커 트릭(kernel trick) 하여 (input data) 커 특징 공간(kernel

feature space) 매핑(mapping) 한다. 공간(input space)에 는 비 (non-linear) 고, 비

리 (non-separable) 가, 커 특징 공간(kernel feature space)과 같 고차원(high-dimensional) 경

우에는 리 가능 다.

LDA(Linear Discriminant Analysis)는 각 클래스(Class)에 하는 들 간 산(within-class scatter)[0016]

하 각 클래스간 산(between-class scatter) 하는 프 (projection) 찾는 알고

리 다. LDA는 트 닝 (Training data) 통하여 프 (projection) 찾고, 스트

(Test data)에 하여 스트 (Test data) 클래스(Class) 측하게 다.

본 에 특징 하고 각 사 (instance) 클래스 라 (Class label) 하게 측[0017]

하 하여, KFDA(Kernel Fisher Discriminant Analysis) (Mika, S. (2003). Kernel fisher

discriminants. PhD thesis, University of Technology, Berlin.) 한다. KFDA는 KPCA 마찬가지 커

(kernel) LDA 수행하는 알고리 다. KFDA는 KPCA LDA 합과 하게 치한다. , KFDA

는 클래스(Class) 보 하여, 커 특징 공간(kernel feature space) 상에 리 가능한

갖는 프 (projection) 찾는 다.

, 도 1 참 하여, 본 실시 에 트리 앙상블 한 보 측 시스 에 [0018]

해 상술한다. 도 1 본 실시 에 트리 앙상블 한 보 측 시스 능

블럭도 다. 도 1 참 하 , 트리 앙상블 한 보 측 시스 (10) 수집하고

샘플링하는 처리 듈(100), 수집 학습하여 트리 앙상블 ( ) 생 하는 학습

듈(200), 신규 에 하여 앙상블 하여 사 (instance) 클래스 라 (Class

label) 측하는 측 듈(300), 스(800) 포함한다.

본 에 사 는 '- ' 또는 ' 듈' 라 함 본 술 사상 수행하 한 하드웨어 상[0019]

하드웨어 동하 한 프트웨어 능 , 결합 미할 수 다. 컨 , 상 '- ' 또는 '-

듈' 드 상 드가 수행 한 하드웨어 리 스 리 단 미할 수 ,

드시 물리 연결 드 미하거나 한 하드웨어 미하는 것 아니다.

트리 앙상블 한 보 측 시스 (10) 처리 듈(100) 트스트랩 샘플링 (11[0020]

0) 포함한다.

트스트랩 샘플링 (110)는 원 (original data) 트스트랩 샘플링(Bootstrap sampling)하여 훈 [0021]

(training data, TD) 샘플링(sampling) 지 않 검 (validation data, VD) 한다. 람직

하게는 원 (original data)에 하여 훈 (TD) 75% 트스트랩 샘플링(bootstrap sampling)

한다.

트스트랩 샘플링 (110)는 KFDA 하고 사결 트리(Decision Tree) 할 마다 새 트스트[0022]

랩 샘플링 수행하고 훈 검 생 한다. 트스트랩 샘플링(bootstrap sampling) 후, 변

수들 랜 하게 쪼개어 K개 브 (subset) 만든다.

학습시킬 사 는 트스트랩 샘플링 변수들 랜 하게 쪼개어 만드는 브 들 통해 앙상[0023]

블 다양 (diversity) 크게 향상시킬 수 다.

트리 앙상블 한 보 측 시스 (10) 학습 듈(200) KFDA (210), 검 (220),[0024]

사결 트리 생 (230), 앙상블 생 (240) 포함한다.

KFDA (210)는 트스트랩 샘플링(bootstrap sampling) 결과 생 훈 (training data)에 KFDA[0025]

한다. 사 함수(Radial Basis Function, RBF) 커 사 하여 KFDA 할 수 다. KFDA

하여 얻어진 프 (projection pattern) 새 게 얻어진 LDs(linear discriminants) 평행하

문에 트리(Tree) 앙상블 사 하 에 아주 합하다.

검 (220)는 샘플링 지 않 검 (validation data) 하여 검 수행하고 커 라미[0026]

등록특허 10-1731626

- 6 -

한다.

사결 트리 생 (230)는 커 라미 에 사결 트리(Decisoon Tree, Di) L(L 2 상[0027]

연수) 개 생 한다.

앙상블 생 (240)는 L 개 사결 트리(D1, D2, ... , DL) 병합하여 트리 앙상블 [0028]

생 한다. 사결 트리 병합하는 사 하는 합 규칙(fusion rule) 다수결(majority voting) 수

다.

트리 앙상블 한 보 측 시스 (10) 측 듈(300) 측 (310) 포함한다.[0029]

트리 앙상블 한 보 측 시스 (10) 측 듈(300) 클래스 라 (class label) 측[0030]

는 신규 아 학습 듈에 생 트리 앙상블 하여 각 클래

스 라 (class label) 측한다. 측 결과 스(800)에 하고 할 수 다.

스(800)는 학습 하여 수집 룰 한다. 또한, 수집 트스트랩 샘플링한 트[0031]

닝 검 할 수 다. 또한, 트 닝 에 KFDA 한 결과, 검

하여 커 라미 , 앙상블 할 수 다. 또한, 신규 에 한 측 결

과 할 수 다. 본 에 스라 함 , 각각 스에 는 보 하는

프트웨어 하드웨어 능 결합 미할 수도 다.

어 듈(미도시) 트리 앙상블 한 보 측 시스 (10) 동 어한다. ,[0032]

처리 듈(100), 학습 듈(200), 측 듈(300), 스(800) 동 어할 수 다.

는 달리, 트리 앙상블 한 보 측 시스 (10) 각 듈 별도 치 수도

다. , 각각 치별 어 듈 각각 비할 수 다.

하, 도 2 내지 도 6 참 하여, 본 실시 에 트리 앙상블 한 보 측[0033]

시스 한 트리 앙상블 한 보 측 에 하여 살펴보도 한다.

도 2는 본 에 트리 앙상블 한 보 측 프 워크 도시한 도 고, 도[0034]

3 도 1에 도시한 트리 앙상블 한 보 측 시스 한 트리 앙상블

한 보 측 하 한 도 다.

도 2 도 3 참 하 , 트리 앙상블 한 보 측 수집하고 샘플링하는[0035]

처리 단계(S100), 수집 학습하여 트리 앙상블 ( ) 생 하는 학습 단계

(S200), 신규 에 하여 앙상블 하여 사 (instance) 클래스 라 (Class

label) 측하는 측 단계(S300) 포함한다.

, 트리 앙상블 한 보 측 시스 처리 듈(100) 학습 한 [0036]

(original data) 수집한다(S110).

다 , 트리 앙상블 한 보 측 시스 처리 듈(100) 원 (original[0037]

data) 트스트랩 샘플링(Bootstrap sampling)하여 트 닝 (training data, TD) 샘플링(samplin

g) 지 않 검 (validation data, VD) 한다(S120). 람직하게는 원 (original data)에

하여 트 닝 (training data, TD) 75% 트스트랩 샘플링(bootstrap sampling) 한다. ,

트 닝 검 는 KFDA 하고 사결 트리(Decision Tree) 할 마다 새 게 생

다. 트스트랩 샘플링(bootstrap sampling) 후, 변수들 랜 하게 쪼개어 K 개 브 (subset) 만든

다. 학습시킬 사 는 트스트랩 샘플링 변수들 랜 하게 쪼개어 만드는 브 들 통해

앙상블 다양 (diversity) 크게 향상 다.

트스트랩 샘플링(bootstrap sampling) 결과 생 훈 (training data)에 KFDA 한다(S210).[0038]

람직하게는 사 함수(Radial Basis Function, RBF) 커 사 하여 KFDA 한다. KFDA

통해 얻어진 프 (projection pattern) 새 게 얻어진 LDs(linear discriminants) 평행하

문에 트리(Tree) 앙상블 사 하 에 아주 합하 , 보다 나 측 능

공할 수 다.

다 , 샘플링 지 않 검 (validation data) 하여 검 단계 수행하고 커 라미[0039]

한다(S220).

등록특허 10-1731626

- 7 -

들어, 함수 가 아래 식과 같 , 함수 하는 변 행 (w), , 클래스 내 [0040]

산 하 클래스 내 산 하는 변 행 (w) 한다. , 는 매핑 함수 미한

다.

[0041]

, [0042]

,[0043]

[0044]

[0045]

다 , 커 라미 에 사결 트리(Decisoon Tree, Di) 생 한다(S230). , 사결 트리[0046]

(Decisoon Tree, Di) 통해 에 학습 다.

트스트랩 샘플링 통하여 새 게 생 트 닝 (training data)에 KPCA LDA 결합한 KFDA가 [0047]

고, 검 (validation data) 커 라미 하고, 에 사결 나무

(Decisoon Tree, Di) 생 하는 단계 복하여(S120-S230 또는 S210-S230), L(L 2 상 연수) 개

사결 트리(D1, D2, ... , DL) 생 한다.

다 , 합 규칙(fusion rule) 통하여 L 개 사결 트리(Decisoon Tree, Di) 병합하여(S240), 트리 [0048]

앙상블 생 한다(S250). 람직하게는, 사결 트리 병합 하여 사 하는 합 규칙(fusion

rule) 다수결(majority voting) 수 다.

다 , 클래스 라 (class label) 측 는 신규 는다(S310).[0049]

신규 에 하여 학습 단계(S200)에 생 트리 앙상블 각 클래스 라[0050]

(class label) 측한다(S320).

도 4는 트리 앙상블 하여 시뮬 수행하 한 시 도 고, 도[0051]

5는 도 4 시뮬 한 결과 도시한 다.

도 4 (a)는 개 나 (two spiral) 시뮬 고, 도 4 (b)는 circle in a square[0052]

시뮬 다. 도 5는 도4 시뮬 5-묶 차 검 (5-fold cross

validation) , 앙상블 사 50 하여 Bagging, Adaboost, Random Forest, Rotation Forest

KFDA 하여 시뮬 결과 다. 도 5 참 하 , 본 에 ㄸ KFDA 하는 경

우, 들(Bagging, Adaboost, Random Forest, Rotation Forest)에 비하여 도(accuracy)가 고,

차(standard error)가 낮 것 할 수 다. 특 , 나 (two spiral) 에 보다 한

측 능 보 다.

도 6 본 실시 에 트리 앙상블 생 하 한 시 수도 드(Pseudo[0053]

code) 다. X는 훈 (training data), Y는 클래스 라 , L 개수(죽, 앙상블 사 ), K는

브 (subset) 개수라고 할 앙상블 (Ensemble Classifier) 만들 해 , 75% 트스트랩 샘플

링(bootstrap sampling)하여 훈 ( ) 생 하고 변수들 랜 하게 쪼개어 K개 브 (subset)

만든다. , 는 i 째 사결 트리 하여 샘플링한 j 째 브 훈 미한다.

등록특허 10-1731626

- 8 -

게 만들어진 브 (subset)에 KFDA(Kernel Fisher Discriminant Analysis) 하고 샘플링 지 않

( ) 한 검 (validation) 통해 커 라미 ( ) 찾 , L 개 사결 나무

(Di) 생 하고 결합하여 앙상블 생 한다. 다 , 신규 사 (instance)에 하여 앙상블

하여 클래스 라 측 수행한다.

본 도 에 도시 실시 참고 었 나 는 시 것에 과하 , 본 술 야 통상[0054]

지식 가진 라 다양한 변 균등한 타 실시 가 가능하다는 해할 것 다. 라 , 본

진 한 술 보 는 첨 등 청 술 사상에 해 해 야 할 것 다.

100 : 트리 앙상블 한 보 측 시스[0055]

100 : 처리 듈 200 : 학습 듈

300 : 측 듈 800 : 스

도

도 1

등록특허 10-1731626

- 9 -

도 2

도 3

등록특허 10-1731626

- 10 -

도 4

도 5

도 6

등록특허 10-1731626

- 11 -