20150602화 자연어언처리와 은닉마코프모델 연구실 세미나 발표 류용호

184
NLP & HMM (Natural Language Processing and Hidden Markov Model) 자연언어처리와 은닉마코프모델 - Yongho Ryu-

Upload: yongho-ryu

Post on 11-Aug-2015

46 views

Category:

Science


4 download

TRANSCRIPT

Page 1: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

NLP & HMM (Natural Language Processing and Hidden

Markov Model) 자연언어처리와 은닉마코프모델

- Yongho Ryu-

Page 2: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

NLP process

① Morphological Analysis 형태소 분석

② Syntactic Parsing 구문 분석

③ Semantic Analysis 의미 분석

④ Discourse Analysis 담화 분석

Page 3: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

Page 4: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

Page 5: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

Page 6: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the

Page 7: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the

determiner 한정사

Page 8: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue

determiner 한정사

Page 9: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue

determiner 한정사

adjective 형용사

Page 10: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue

determiner 한정사

adjective 형용사

noun 명사

Page 11: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue

determiner 한정사

adjective 형용사

noun 명사

verb 동사

Page 12: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue bank

determiner 한정사

adjective 형용사

noun 명사

verb 동사

Page 13: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue bank

determiner 한정사

adjective 형용사

noun 명사

noun 명사

verb 동사

Page 14: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue bank

determiner 한정사

adjective 형용사

noun 명사

noun 명사

adjective 형용사

verb 동사

Page 15: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue bank

determiner 한정사

adjective 형용사

noun 명사

noun 명사

adjective 형용사

verb 동사

verb 동사

Page 16: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue bank closed

determiner 한정사

adjective 형용사

noun 명사

noun 명사

adjective 형용사

verb 동사

verb 동사

Page 17: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue bank closed

determiner 한정사

adjective 형용사

noun 명사

verb 동사

noun 명사

adjective 형용사

verb 동사

verb 동사

Page 18: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① Morphological Analysis 형태소 분석

• The blue bank closed.

the blue bank closed

determiner 한정사

adjective 형용사

noun 명사

verb 동사

noun 명사

adjective 형용사

adjective 형용사

verb 동사

verb 동사

★ HMM

Page 19: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 20: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

② Syntactic Parsing 구문 분석

Page 21: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

② Syntactic Parsing 구문 분석

• Dongsuk saw Jihwan with a telescope.

Page 22: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

② Syntactic Parsing 구문 분석

• Dongsuk saw Jihwan with a telescope.

(Parsing tree)

Page 23: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

② Syntactic Parsing 구문 분석

• Dongsuk saw Jihwan with a telescope.

Dongsuk saw Jihwan with a telescope.

saw … with a telescope. Jihwan

saw with a telescope.

(Parsing tree)

Page 24: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

② Syntactic Parsing 구문 분석

• Dongsuk saw Jihwan with a telescope.

Dongsuk saw Jihwan with a telescope.

saw Jihwan with a telescope

Jihwan with a telescope.

(Parsing tree)

Page 25: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 26: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

③ Semantic Analysis 의미 분석

Page 27: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

③ Semantic Analysis 의미 분석

• Fruit flies like a banana.

Page 28: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

③ Semantic Analysis 의미 분석

• Fruit flies like a banana.

like as a preposition?

Page 29: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

③ Semantic Analysis 의미 분석

• Fruit flies like a banana.

like as a preposition?

like as a verb?

Page 30: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 31: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

④ Discourse Analysis 담화 분석

Page 32: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

④ Discourse Analysis 담화 분석

• Mary eats apples.

She likes them.

Page 33: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

④ Discourse Analysis 담화 분석

• Mary eats apples.

She likes them.

She = Mary

Them = apples.

Page 34: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 35: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

Page 36: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

Page 37: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

the blue bank closed

determiner 한정사

adjective 형용사

noun 명사

verb 동사

noun 명사

adjective 형용사

adjective 형용사

verb 동사

verb 동사

Page 38: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

det. adj.

• Corpus

Page 39: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

Page 40: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

Page 41: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

Page 42: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

Page 43: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

Page 44: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

Page 45: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

Page 46: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.0

Page 47: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

Page 48: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

Page 49: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

Page 50: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

Page 51: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

Page 52: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

Page 53: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

Page 54: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

Page 55: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

Page 56: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

Page 57: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

Page 58: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

Page 59: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

Page 60: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

Page 61: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

Page 62: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

Page 63: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01

Page 64: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• Corpus

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01

Page 65: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 66: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

the blue bank closed

determiner 한정사

adjective 형용사

noun 명사

verb 동사

noun 명사

adjective 형용사

adjective 형용사

verb 동사

verb 동사

Page 67: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01

Page 68: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

Page 69: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

Page 70: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

Page 71: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

Page 72: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

Page 73: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. v. n.

Page 74: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. v. n.

Page 75: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

Page 76: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

Page 77: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

Page 78: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

Page 79: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

Page 80: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

Page 81: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

Page 82: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

Page 83: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 t = 1 t = 2 t = 3

det.

adj.

n.

v.

Page 84: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det.

adj.

n.

v.

Page 85: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0

n. 0

v. 0

Page 86: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1

n. 0

v. 0

Page 87: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5

n. 0

v. 0

Page 88: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5 * .4

n. 0

v. 0

Page 89: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5 * .4 = .2

n. 0

v. 0

Page 90: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5 * .4 = .2

n. 0 1

v. 0

Page 91: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5 * .4 = .2

n. 0 1 * .5

v. 0

Page 92: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5 * .4 = .2

n. 0 1 * .5 * .4

v. 0

Page 93: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5 * .4 = .2

n. 0 1 * .5 * .4 = .2

v. 0

Page 94: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0

adj. 0 1 * .5 * .4 = .2

n. 0 1 * .5 * .4 = .2

v. 0

Page 95: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2

n. 0 1 * .5 * .4 = .2

v. 0

Page 96: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2

n. 0 1 * .5 * .4 = .2

v. 0

Page 97: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2

n. 0 1 * .5 * .4 = .2

v. 0

Page 98: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .6

n. 0 1 * .5 * .4 = .2

v. 0

Page 99: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2

v. 0

Page 100: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2

v. 0

Page 101: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8

v. 0

Page 102: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0

Page 103: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2

Page 104: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01

Page 105: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2

Page 106: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 107: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 108: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 109: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 110: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 111: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 112: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 113: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 114: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 115: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096

v. 0 .2 * .01 *.2 = .004

Page 116: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096

v. 0 .2 * .01 *.2 = .004

Page 117: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01

v. 0 .2 * .01 *.2 = .004

Page 118: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0

v. 0 .2 * .01 *.2 = .004

Page 119: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004

Page 120: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096

Page 121: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9

Page 122: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6

Page 123: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

Page 124: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

Page 125: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

Page 126: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

Page 127: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

Page 128: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

Page 129: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

Page 130: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

=> The : det.

Page 131: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

=> The : det. , blue : adj.

Page 132: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

=> The : det. , blue : adj. , bank : n.

Page 133: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

HMM

• The blue bank closed.

det. adj.

.5

noun

.5

verb

.2

.8

.01

.01

.01

.9

.01

.01 t = 0

det.

t = 1

adj. n. v.

t = 2

n. adj. v.

t = 3

v. adj.

det. the = 1.

adj. blue=0.4, bank=0.3, closed=0.3

n. blue=0.4, bank=0.6

v. blue=0.2, bank=0.2, closed=0.6

t = 0 (the) t = 1 (blue) t = 2 (bank) t = 3 (closed)

det. 1 0 0 0

adj. 0 1 * .5 * .4 = .2 .2 * .2 * .3 = .012 .096 *.01*.3=.003

n. 0 1 * .5 * .4 = .2 .2 * .8 * .6 = .096 .096 *.01* 0 = 0

v. 0 .2 * .01 *.2 = .004 .096 * .9*.6 =.052

=> The : det. , blue : adj. , bank : n. , closed : v.

Page 134: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 135: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Thank you

감사합니다

Page 136: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 137: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 138: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 139: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 140: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Information retrieval

- Yongho Ryu-

Page 141: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Term-document matrix p.4

Page 142: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Term-document matrix p.41

Too many 0’s (99.8%)

- It’s better to record only the things that occur, that is, the 1 positions.

Page 143: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Inverted index

• Tokens, normalized tokens = words

Page 144: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Inverted index

• Figure 1.4. The core indexing step is sorting this list so that the terms are alphabetical, giving us the representation in p44

Page 145: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Boolean queries

Page 146: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 147: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 148: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

아키텍처는 언 음악이다.

Architecture is frozen music.

- John Bartlett (1820-1905)

Page 149: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

Architecture depends on

order, arrangement,

조화 eurythmy, symmetry,

propriety, and economy.

- Vitruvius (1st century BC)

Page 150: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

행위 Act of building…

결과물 Building …

개념적 구조 Conceptual structure …

- Oxford English Dictionary (Contemporary)

Page 151: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① 분해 Decomposition

② 생략 Omission

Page 152: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

아키텍처는 단순한 그림?

Architectures are just pictures?

Page 153: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

① 요소 Elements

② 관계 Relationships

Page 154: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

집① House

- 뼈대 Structure

- 냉난방 통로 Heating & air conditioning - 전기설비 Electrical system

- 배관 설비 Plumbing …

Page 155: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

집② House

- 크기 Size - 밝기 Brightness

- 에너지효율 Energy efficiency - 동선 Flow patterns

- 유지보수 maintenance …

Page 156: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

집① House

- 뼈대 Structure

- 냉난방 통로 Heating & air conditioning

- 전기설비 Electrical system

- 배관 설비 Plumbing

Page 157: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

집② House

- 크기 Size

- 밝기 Brightness

- 에너지효율 Energy efficiency

- 동선 Flow patterns

- 유지보수 maintenance

Page 158: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

속성들이 서로 부딪힐 때는?

When properties are conflicted?

① 이해당사자 Stakeholders

② 아키텍처 Architecture

Page 159: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 160: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

시스템

System

Page 161: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

시스템

System 19 세기 이전 Before the 19th century

- 생체 시스템 biological systems

- 사회 시스템 social systems

- 생태 시스템 natural systems

- 행성 시스템 planetary systems

Page 162: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

시스템

System 1830년경 circa 1830

대륙간 철도

Intercontinental railroad

Page 163: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

시스템

System 1880년경 circa 1880

전력과 전화의 발명

development of electric power and telephone

Page 164: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

시스템

System 1920년경 circa 1920

AT&T의 시도

an attempt of AT&T

① 형식 Formality ② 규칙 discipline

-> 시스템 디자인

Page 165: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

시스템

System 2차 세계대전 World War 2

2차 세계대전 전에는 삶이 단순했는데, 이후론 시스템이 생겨났다.

Life was simple before WW2, after that we had systems.

Page 166: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

시스템

System

시스템은 물리적, 전기 기계적인 여러 요소가 밀접하게 서로 연결된 집합으로, 특정 기능을 수행하는데, 개

별 요소만으로는 구현 불가능하다.

A system is a set of physical, electromechanical elements so connected as to perform a unique

function not performable by the elements alone.

Page 167: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호
Page 168: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

자, 이제 좀더 살펴봅시다!

Let’s get into more detail!

① 시스템 아키텍처 System architecture

② 엔터프라이즈 아키텍처 Enterprise architecture

③ 소프트웨어 아키텍처 Software Architecture

Page 169: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

The *** architecture of *** is the structures, which comprise *** elements, the externally visible properties of the elements, and the relationships among them.

*** enterprise | system | software

Page 170: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

The *** architecture of *** is the structures, which comprise *** elements, the externally visible properties of the elements, and the relationships among them.

*** enterprise | system | software

Page 171: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

The *** architecture of *** is the structures, which comprise *** elements, the externally visible properties of the elements, and the relationships among them.

*** enterprise | system | software

Page 172: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

The *** architecture of *** is the structures, which comprise *** elements, the externally visible properties of the elements, and the relationships among them.

*** enterprise | system | software

Page 173: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

The *** architecture of *** is the structures, which comprise *** elements, the externally visible properties of the elements, and the relationships among them.

*** enterprise | system | software

Page 174: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

맥락 속에서 디자인하라!

Always design a thing by considering it in its next larger

context.

- Gottlieb Eliel Saarinen (1873-1950)

Page 175: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

디자인 계층 Design hierarchy

Page 176: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

개념적 무결성(일관성)

Conceptual integrity

시스템은 언제나 같은 방법으로 같은 동작을 해야 한다.

The system should do the same things in the same way throughout.

Page 177: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

개념적 무결성(일관성)

Conceptual integrity

시스템은 언제나 같은 방법으로 같은 동작을 해야 한다.

The system should do the same things in the same way throughout.

Page 178: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

선임 아키텍트는..

The lead architect must.. ① 만들어지고 있는 것의 맥락 설정

Establish the context of the thing being built

② 엔터프라이즈, 시스템, 소프트웨어 아키텍처의 경계설정

Define the boundaries of the enterprise, system, and SW architecture

Page 179: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

선임 아키텍트는..

The lead architect must.. ③ 아키텍처 팀의 역할과 책임 설정

Establish the roles and responsibilities of the architecture team

④ 만들어져야 하는 아키텍처디자인 산출물 규정 Define the architectural design artifacts that

must be created

Page 180: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

선임 아키텍트는..

The lead architect must..

⑤ 아키텍처 팀 관리 및 조정

Coordinate the efforts of the architecture team with management

Page 181: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

아키텍트가 되려면

To be an architect,

이처럼 좋은 기술자가 되는 것도 중요하지만

Being a great technologist is a prerequisite,

Page 182: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

충분하지 않습니다!

But not enough!

시장의 판을 보고 비즈니스 전략을 세우는 능력은 필수!

The ability to map market and business strategy is critical!

Page 183: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

자,

Alright,

Page 184: 20150602화 자연어언처리와 은닉마코프모델  연구실 세미나 발표  류용호

10년 뒤, 아키텍트로 우뚝 선 우리의 모습을 기대합니다!

I’m looking forward to seeing us doing well as an architect!