홍은기

INTRODUCTION TO

NATURAL LANGUAGE PROCESSING

1. 자연언어처리란?

2. 형태소분석

3. 구문분석

4. 의미분석

5. 담화분석

6. 상호참조 해결

7. 무형대용어 생략 복원

8. 개체명 인식

CONTENTS

자연언어처리 (Natural Language Processing),

또는 전산언어학 (Computational Linguistics)은

컴퓨터가 인간의 말을 이해하고 인간과 대화하는 것을

목표로 하는 언어학과 컴퓨터과학의 학제간 분야.

자연언어처리란?

자연언어처리의 기초기술:

• 형태소분석 및 품사태깅(POS tagging)

• 구문분석

• 의미분석

• 담화분석

• 상호참조 해결 (Coreference Resolution)

• 무형대용어 생략 복원

• 개체명 인식 (NER, Named Entity Recognition)

자연언어처리란?

자연언어처리의 응용기술:

• 기계번역 (Machine Translation)

• 의견 마이닝 (Opinion Mining)

• 질의응답 시스템 (Q & A System)

• 문서자동요약 (Automatic Summarization)

• 정보검색 (Information Retrieval)

• 정보추출 (Information Extraction)

자연언어처리란?

형태소분석 및 품사태깅

철수는 커피를 마셨다

철수/NNG + 는/JX 커피/NNG + 를/JKO 마시/VV + 었/EP + 다/EF

이것 좀 가져다 주렴

이것/NG 좀/MAG 가지/VV + 어다/EC 주/VX + 렴/EF

형태소분석 및 품사태깅

나는

1. 나/NNP + 는/JX ex) 나는 학생이다 / 나는 짜장면

2. 나/NP + 는/JX ex) 나는 가 다음이다

3. 날/VV + 는/ETM ex) 하늘을 나는 새

4. 나/VV + 는/ETM ex) 땅에서 나는 먹거리

UTAGGER를 이용한 형태소분석 및 품사태깅

NLTK를 이용한 품사태깅

• 구성소(constituent)란?

- 하나의 묶음을 이루는 문장의 성분

• 어떤 단어가 어떤 단어에 더 가까울까?

Ex) 저는 순한 맛으로 해주세요.

1. 저는 순한 / 맛으로 / 해주세요

2. 저는 / 순한 맛으로 / 해주세요

3. 저는 / 순한 / 맛으로 해주세요

구문분석

• Non-terminal Symbols

S → NP VP

NP → Noun | Det Noun | Noun PP | Det Noun PP

VP → Verb | Verb NP | Verb PP | Verb CP

PP → Preposition NP

CP → Complementizer S

• Terminal Symbols

Noun → man | king | telescope

Det → a | an | the

Verb → saw | liked | wanted

Preposition → in | on | from

Complementizer → that

문맥자유문법의 구성

S

NP VP

Det N V NP PP

The man saw Det N P NP

the king with Det N

a telescope“남자는 망원경을 이용해 왕을 보았다.”

구문분석

S

NP VP

Det N V NP

The man saw Det N PP

the king P NP

with Det N

a telescope“남자는 망원경을 들고 있는 왕을 보았다.”

구문분석

NLTK를 이용한 구문분석

NLTK를 이용한 구문분석

Bird et al. (2009). Natural Language Processing with Python. O'Reilly

김진우. (2004). 언어, 이론과 그 응용. 탑출판사

울산대 UTagger

(http://nlplab.ulsan.ac.kr)

참조