fsnlp ch.3 linguistic essentials

tokyotextmining #3

FSNLP Chapter 3

Linguistic Essentials@hitoshi_ni

本章のねらい

• FSNLPを読み進めるにあたり、必要とされる言語学由来の概念、用語を知っておくこと

2010/11/07 2tokyotextmining #3

目次1. Part of Speech and Morphology

– 品詞、形態論、屈折、派生、複合1. Phrase Structure

– 句構造文法、依存関係1. Semantics and Pragmatics

– 上位語、下位語、類義語– 構成性原理

1. Other Areas


1. PART OF SPEECH AND MORPHOLOGY

品詞と形態論

概要

• 品詞–単語を性質で分類したもの–名詞、動詞、形容詞、副詞など

• 形態論–単語の変化 (dog, dogs)などを扱う–品詞と密接に関係する


品詞 (Part of speech)

• 言語学者が、統語的、意味的に同じような動きをする単語をグループ化したもの

• 重要な 3つの品詞– 名詞 (Noun) 人物，動物，概念，物体– 動詞 (Verb) 文中における動作を表現– 形容詞 (Adjective) 名詞の性質を表現

• 品詞の判定方法 (Substitution test)

2010/11/07 tokyotextmining #3 6

The one is in the corner.

sadintelligentgreenfat…

品詞の分類Open word class語彙範疇

(lexical category)

Closed word class機能範疇

(functional category)

名詞、動詞、形容詞、副詞

限定詞 (determiner: a, an, the)

前置詞 (preposition: to, on, in, of)

•メンバーが多い•新しいメンバーが加わる

•メンバーが少ない•メンバーは固定的


形態論• 単数形 (dog)と複数形 (dogs)に示されるような語の変化を扱い、品詞と密接に関係する

• NLPにおいて重要である• 自然言語においては次々と新しい語が発生してくる

• コンピュータは常に、新しい、未知の語と遭遇する可能性がある

• その場合も、既知の語と、語の変化の仕組みがわかっていれば新しい語の性質を推測できる


主な形態的な変化Inflection屈折

Derivation派生

Compounding複合

• 原形に概ね規則的に接辞を付与する

• 単数や複数，時制，人称などを表現する

• 品詞や意味を大きく変えない

• あまり規則的ではない• 品詞や意味が大きく変化する

• 2個以上の単語が新しい語を構成する

• 分割して書かれていても 1語として発音される

• dog, dogs• eat, eats, ate, eaten

• teach, teacher• weak, weaken• wide, widely

• tea kettle, disk drive• mad cow disease


品詞と形態論

名詞名詞動詞動詞

形容詞形容詞

teach

weak

weaken

teacherteachers屈折（数）

派生（名詞・動詞）

派生（動詞・形容詞）

形態論

taught屈折（時制）


品詞

名詞• 名詞

– 人、動物、物など世界に存在する物体を表す• 名詞の屈折の原因

– 数：単数、複数• Dog, dogs

– 性：女性、男性、中性• 英語では失われたが、 3 人称単数代名詞 (she, he, it) がある

– 格：主格、対格、所有格• 主語、目的語など文中の機能によって変化する• ‘英語では s が所有を表現する


代名詞• 談話中の際立った対象を示すため変数のような働きをする

• 代名詞の屈折– 格：主格、対格、所有格など


人称・性主格対格所有格

一人称 I Me My

二人称 You You Your

三人称・男性 He Him His

三人称・女性 She Her Her

三人称・中性 It It Its

限定詞 (Determiner)

• 名詞に伴って出現–名詞の参照を特定– 冠詞 (Article)

• the : 既に言及されたもの，一意に決定されるもの• a, an : これまで言及されていないもの

– 指示詞 (Demonstrative)• this, that


形容詞

Suffixing Periphrastic phrase

原級 rich, trendy intelligent

比較級 richer, trendier more intelligent

最上級 richest, trendiest most intelligent

• 名詞に伴って出現• 名詞の性質を表現• 限定用法 (Attributive)

– 名詞の前につく (red moon)

• 叙述用法 (Predicative)– 名詞の後につく (moon is red)

• Agreement– Articleや adjectiveと名詞の格、性、数などが一致すること

• Comparative, Superlative– 下記参照


動詞• 動作や行動、状態を表現する• 以下の４つの形態を持つ

– 原形 : walk– 三単現 : walks– 動名詞・現在分詞 : walking– 過去形・過去分詞・受動分詞 : walked

• 基本的には接尾辞を規則的に付与 (s, ing, ed)するが、不規則に変化する場合もある– Drive, drove, driven– Take, took, taken


不定詞・進行形・動名詞• 不定詞 (infinitive): 他の品詞の働きをする

– to 不定詞• She likes to walk.

– 原形不定詞（助動詞の後、使役動詞の時など）• She shouldn’t walk. • She helped me walk.

• 進行形 (progressive): 進行中の事柄をあらわす• She is walking.

• 動名詞 (gerund): 動詞がいくらか名詞の性質を得ているもの

• Walking is fun.


分析的言語と総合的言語

• 分析的言語 (Analytic language)–文法を表す際に屈折でなく機能語を用いる言語の特徴

• 総合的言語 (Synthetic language)–文法関係を表す際に屈折を用いる言語の特徴


英語の場合• 機能語を利用 (Analytic)

– 助動詞を用いて表現– be: 進行形　 have: 完了形　 will: 未来形– Periphrastic form（迂言系）ともいう– ”直接表現しない（助動詞を使う）ため“迂言– フランス語などは未来形を屈折で表現（＝直接表現している＝迂言形でない）

• 屈折を利用 (Synthetic)– 接尾辞を追加– -s: 複数形　 -ed: 過去形　 -ing: 進行形


法助動詞

• 法 (mood)を表現するための助動詞• 可能、仮定、願望、要求など

– Should• You should spend more time with your family.

– May• He may or may not come to the meeting.

– Can• With her abilities, she can do whatever she wants to.


動詞によって示される特徴示される特徴示す方法（接尾辞あるいは助動

詞）

人称一人称、二人称、三人称接尾辞 : walks

時制現在、過去、未来接尾辞 : walked

助動詞 : will

相進行形、完了形接尾辞 : waking

助動詞 : have

法可能、仮定、願望、要求助動詞 :can

態受動態、能動態接尾辞 :taken


副詞• 副詞 (adverb)

– 動詞や形容詞を修飾する• 形容詞から派生する• This painting is absolutely wonderful.• 形容詞から派生しないものもある• She often travels to Las Vegas.

• Degree adverb (Quantifier): 程度の副詞（数量詞）– 動詞ではなく形容詞や副詞を修飾する

• 形容詞を修飾する• A very unlucky event


前置詞 (preposition)

• 前置詞 (preposition)– 空間的な関係を表現する

• In the glass, on the table, over their head

• 不変化詞 (particle)– 句動詞（動詞＋前置詞）中の前置詞のこと

• Don’t give in to him.– 動詞と前置詞を単純に足した意味にならない

(unpredictable)• She ran up a hill.• She ran up a bill.

– 字面どおりの意味と比喩的な意味がある


接続詞 (conjunction)

• 等位接続詞 (coordinating conjunction)– 同じカテゴリにある二つの語や句を結合する

• Husband and wife [noun]• She bought or leased the car. [verb]• She bought her car, but she also considered leasing it. [sentences]

• 従位接続詞 (subordinating conjunction)– 文や節 (clause)を接続する

• She said that he would be late. [proposition]（主張）• She complained because he was late. [reason]（理由）• If [condition]（条件） , although [concession] （譲歩） , before

[temporal] （時制）など– 補文標識 (complementizer)

• She said that he would be late.• 青字が補文，赤字が補文標識


形態論

• 単語には品詞がある• 単語の形態の変化には屈折や派生、複合がある

• 単語の形態の変化には、規則的なものと不規則的なものがある


2. PHRASE STRUCTURE句構造

概要

• 単語の並びに関する規則を扱う• 単語と文の間にある文法的単位とその種類を扱う

• FSNLP Ch.3のメイン


統語論 (syntax)

• 単語は無茶苦茶に並んでいるわけではない

• 言語は単語の並びに関して制約を持っている

• 句 (phrase)–単語が組織されたもの

• 統語論 (syntax)–語順の規則や制約、句の構造を扱う

• 構成素 (constituent)–特定の単語の系列が一塊の「構成素」となって、何らかの文法的役割を担っていると考える


構文木


caught

VBD NP

NP VP

S

That

the with

a

PP

IN NP

名詞句名詞句

動詞句動詞句前置詞句前置詞句

• 単語の列（文）は、階層的な構造を持っていると考える• 1つ以上の単語から構成されている、単語と文の間にある単位が句• 特に、名詞を中心に構成されているものを名詞句、動詞を中心に構成されているものを動詞句、前置詞を中心に構成されているものを動詞句という

文文

DT

man

NN

DT NN

butterfly DT NN

net

緑字：品詞赤字：単語

句の種類• 主辞 (head)

– 句の中心• 名詞句 (Noun Phrase) NP

– 動詞に動作や状態を表現される

– 限定詞、形容詞句、主辞（名詞）、前置詞句、関係詞節といった構成素が組み合わさって出現

• 前置詞句 (Prepositional Phrases) PP – 全ての他の主要な句の中で出現

– 空間的、時間的性質を表現

• 動詞句 (Verb Phrase) VP– 動詞を主辞として、動作や状態を表現

– 動詞を中心として、前置詞句などを伴って出現

– 統語的に動詞に係るほとんど全ての要素の組織できる

• 形容詞句 (Adjective Phrases) AP– 形容詞が主辞である句– 名詞の性質などを表現


語の並びに関する規則• 語順で意味が変わる

– Mary gave peter a book. – Peter gave Mary a book.

• 平叙文 (Declaratives)– The children should eat spinach.

• 命令文 (Imperatives)– Eat spinach!

• 疑問文 (Interrogatives)– Should the children eat spinach?

• 明らかに規則的に元の文を書き変えている


書き換え規則 (Rewrite rules)


レキシコン (Lexicon)

• 書き換え規則 : 左辺が右辺に書き換えられる• レキシコン : Categoryから対応する単語に書き換えられる部分• 文脈自由文法 (Context-free grammars): 書き換えはカテゴリのみに依存

Manning, C. D., Schutze, H. Foundations of Statistical Natural Language Processing. MIT Press, 1999. pp.97 (3.39) より引用

書き換え規則と構文木の導出


Manning, C. D., Schutze, H. Foundations of Statistical Natural Language Processing. MIT Press, 1999. pp.97,98 (3.39) (3.40) (3.41) (3.42) (3.43) より引用

文脈自由であるということは？

• 文脈自由 (context-free)– 文脈 (context) と無関係–ナンセンスな文が許容される– The cake ate the children.


再帰性 (recursivity)

• 書き換え規則には任意の回数繰り返すことのできる部分がある– NP -> NP PP; PP-> IN NP

• 再帰性こそが一つの開始記号 (start symbol)が無数の単語に拡張可能な理由


非局所依存(Non-local dependencies)

• 非局所依存– 統語的依存関係がある二つの語の間に他の語が割り込むことが可能なこと

• Subject-verb agreement はその一つの例– 主語と動詞の間で、数を一致させなければならないこと

– ○The women who found the wallet were given a reward.– ×The women who found the wallet was given a reward.


依存関係 (Dependency)

• 文を、要素間の依存関係の集合と考える• Sue watch the man at the next table.• “Sue” と “ the man” は “ watching” という

出来事の依存要素 (dependent) と考える• “at the next table” は the man の依存要素


Sue watch the man at the next table

項と意味役割・文法役割

• 動詞が必須とする依存要素を項(argument) という–他動詞の場合、少なくとも主語と目的語が必要

• 項は以下の 2つの観点から記述できる• 意味役割 (semantic role):

–動作主、受動者、道具、目標など• 文法役割 (grammatical role)

–主語、目的語など2010/11/07 38tokyotextmining #3

主語と目的語

• 主語 (subject): 全ての動詞は主語を持つ• 目的語 (object): 多くの動詞は目的語を持つ• 主語と目的語は態によって変わるが、意味役割は不変


項 She gave him the book文法役割主語間接目的語直接目的語意味役割動作主受領者受動者

依存要素の分類

• 項 (Arguments)–主語、目的語など動詞の中心的な要素で、必須

– NPがほとんど（まれに PPや VP）– Subject でない項は補語 (Complements) という

• 付加語 (Adjuncts)–動詞との結びつきが弱い–動作や状態の時間や場所を示す

• She saw a Woody Allen movie yesterday.• She saw a Woody Allen movie in Paris.2010/11/07 tokyotextmining #3 40

下位範疇化 (Subcategolization)

• 動詞がある特定の補語を取ることを、下位範疇化という– 動詞 “ bring “ には目的語が不可欠– このことを「動詞 “ bring” は “ object” を下位範疇化する」という言い方をする

• 下位範疇化フレーム (Subcategorization frame)– 動詞が補語を取るパターンには、頻出するものがある

– 例えば “ know” や “ think” は文を下位範疇化する– I know (that) she likes you.


選択選好 (Selectional preferences)

• 選択制限 (Selectional restrictions) ともいう• 下位範疇化フレームのような統語的なものではなく、意味的に、ある種の動詞はある種の項を補語として取りやすい

• 例えば “ bark” （吠える）の主語は “ dog” でなければ少々おかしい


X バー理論 (X’ theory)

• 一般に、句は、主辞 (Head) に対して規則的に補語、付加語、指定部 (Specifier) が付与されて構成されると考え

る

• 補語は付加語より先に主辞に付くと考えるため、 “ of France” と “ with gray hair” を逆にはできない2010/11/07 tokyotextmining #3 43

The

president of Ｆrance

with gray hair

N’

N’

PP

NP

Det

PP

N

補語補語

付加語付加語指定部指定部

構文解析 (Parsing)

• 書き換え規則を使って、単語列から構文木(parse tree) を得ること

• NLPの最重要タスクの一つ


The children ate

the cake

AT

NNS VBDAT

NN

NP

NP VP

S

統語的曖昧性 (syntactic ambiguity)

• ある程度網羅的な書き換え規則を与えられた場合、与えられた単語列から大量の構文木を作ることができる

• 一体どれが正しい構文木なのか？• そこで、確率文脈自由文法 (Probabilistic Context-

Free Grammar) の出番となる（ 11章、 12章）


付加の曖昧性 (attachment ambiguity)


• “The children ate the cake with a spoon”• PP “with a spoon” を付与する場所に対して、 2つの解釈が可能

Manning, C. D., Schutze, H. Foundations of Statistical Natural Language Processing. MIT Press, 1999. pp.108 Figure 3.2 より引用

袋小路文 (Garden path sentence)

• 統語的曖昧性の代表的な例• “The horse raced past the barn fell.”• “The horse raced past the barn” までは、 “ raced” が動詞だと考えている

• しかし、最後に “ fell” が出てくるので、これまでの仮説を棄て、 “ fell” を動詞、 “ raced past

the barn” を関係節と解釈する• 話言葉では，イントネーションなどが誤解を防いでくれる


構文解析の失敗

• うまく解析できない場合1. 生成の規則が網羅されていない2. 非文 (Ungrammatical) である– *Slept children the.

• 非文ではないが，辻褄が合わないもの– #Colorless green ideas sleep furiously.– #The cat barked.– 意味的、語用論的、文化的なおかしさ


統語論

• 単語は規則的に並んでいる• 文は階層的な構造を持っている• 階層的な構造を陽に記述した書き換え規則を用いて、文を構文解析することができる


3. SEMANTICS AND PRAGMATICS意味論と語用論

概要

• 単語の意味• 文の意味• 談話の意味


意味論

• 単語、構文、談話の意味に関する研究

• 個別の単語の意味に関する研究– 語彙意味論 (Lexical semantics)

• 個別の単語が結合された文あるいは更に大きな単位の意味の研究


語彙意味論• 個別の単語と他の単語との間の関係• 上位・下位関係 (Hypernymy)

– 上位語 (Hypernym) 下位語 (Hyponym)

• 対義語 (Antonyms)• 部分・全体関係 (part-whole relation)

– 部分 (Meronym) 全体 (Holonym)

• 類義語 (Synonyms)• 同表記異義語 (Homonym) 多義語 (Polyseme)

– Homonym は、表記が同じだが意味がまったく異なるもの（ Bankの銀行と土手）、 Polyseme は若干意味的なつながりがあるもの（ Branchの支局と枝）

– 語義曖昧性解消 (Word Sense Disambiguation) の対象2010/11/07 tokyotextmining #3 53

構成性原理 (Compositionality)

• 構成要素の意味から一定の手続きに従って全体の意味が決定される

• 自然言語は従わない• コロケーション (Collocations)

– 部分の意味の和から全体の意味が推測できない（ 5章をお楽しみに）

• 慣用句 (Idiom)– 部分の意味と全体の意味がまったく無関係

• スコープ (Scope)– 数量詞が適用される範囲– 解釈によって意味が変わってしまい、コンテキストから判断するしかない


談話

• 談話 (discourse)–単語、文の次の単位

• 談話分析 (discourse analysis)–テキスト中の文の間の関係を検討

• 例示 (example)• 詳述 (elaboration)• 更新 (restatement)

– 照応関係 (anaphoric relations)


語用論

• 語用論 (pragmatics)–世界と言葉の相互関係を研究–談話分析は語用論に含まれる

• 照応関係の解決には世界知識が必要

–統計的自然言語処理においてはまだまだ未開拓

• データが少ない


4. OTHER AREAS

言語学の他の分野• 音声学 (phonetics)

– 子音 (consonants) 母音 (vowels) 音調 (intonation)

• 音韻論 (phonology)• 社会言語学 (sociolinguistics)

– 社会と言語の関係• 歴史言語学 (historical linguistics)

– 言語の歴史的な変遷• 言語類型論 (linguistic typology)• 言語獲得 (language acquisition)• 心理言語学 (psycholinguistics)• 数理言語学 (mathematical linguistics)


まとめ1. 品詞と形態論

– 品詞– 屈折と派生

1. 句構造– 句構造文法– 依存関係– 句構造の曖昧性

3. 意味論と語用論– 意味論

• 単語の間の関係• 構成性原理

– 語用論• 談話分析• 照応


参考文献• 言語処理学会（編） . 言語処理学辞典 . 共立出版 , 2009.

– 訳語は特にこれを参考にした• Manning, C. D., Schutze, H. Foundations of Statistical Natural Language

Processing. MIT Press, 1999.• 益岡 , 田窪 . 基礎日本語文法 . くろしお出版 , 1992.

– NLPer必携の一冊！• 益岡 , 仁田 , 郡司 , 金水 . 文法（岩波講座言語の科学） . 岩波書店

, 1997.• 松本 , 影山 , 永田 , 齋藤 , 徳永 . 単語と辞書（岩波講座言語の科学） . 岩波書店 , 1997.

• 長尾 , 中川 , 松本 , 橋田 , Bateman. 言語の数理（岩波講座言語の科学） . 岩波書店 , 1999.


お疲れ様でした


fsnlp ch.3 linguistic essentials

Technology