12 月 08 日構文解析 入力文（記号列）が与えられたとき，

文法によってその文を解析し，その構造を明らかにする

構文木（一郎が速いボールを軽々と投げた）

一郎　　が　　速い　　ボール　　を　　軽々と　　投げた

名詞　助詞　形容詞　名詞　　助詞　副詞　　　動詞

後置詞句　　　　名詞句　　　　　　　　　動詞句

後置詞句動詞句

文

CYK アルゴリズム チョムスキーの標準形の文脈自由文法

を対象とした構文解析法 チョムスキーの標準形

A→BC 　（ A,B,C∈Vn) A→a (A∈Vn, a∈V ｔ）

X→aB はチョムスキーの標準形ではないが　　 X→AB, A→a に分解できるX→ABC はチョムスキーの標準形ではないが　　 X→AY, Y→BC に分解できる

チョムスキーの標準形の例「急いで走る一郎を見る」

(1) s→pp v (2) s→adv vp (3) vp→pp v (4) vp→adv v (5) np→vp n (6) np→v n (7) np→np p (8) pp→n p

(9) adv→ 急いで

(10) n→ 一郎 (11) p→ を (12) v→ 走る (13) v→ 見る

CYK 構文解析の概要

１．急いで

２．走る

３．一郎

４．を

５．見た

１．急いで ２．走る　３．一郎　４．を　５．見た

T2,5T2,2 T2,3 T2,4

T3,5

T4,5

T5,5

T2,5: 走る一郎を見たT2,2: 走る | T3,5: 一郎を見たT2,3: 走る一郎 | T4,5 を見たT2,4: 走る一郎を | T5,5 見た

T1,5

T2,5T1,4

T1,3 T2,4 T3,5

T1,2 T2,3T3,4 T4,5

T1,1 T2,2T3,3 T4,4 T5,5

急いで 走る 一郎 を 見た

　　　　 T2,5 までの部分木T1,5

T2,5T1,4

T1,3 T2,4 T3,5

T1,2 T2,3T3,4 T4,5

T1,1 T2,2T3,3 T4,4 T5,5

急いで 走る 一郎 を 見た

T1,5

T2,5T1,4

T1,3 T2,4 T3,5

T1,2 T2,3T3,4 T4,5

T1,1 T2,2T3,3 T4,4 T5,5

急いで 走る 一郎 を 見たT1,5

T2,5T1,4

T1,3 T2,4 T3,5

T1,2 T2,3T3,4 T4,5

T1,1 T2,2T3,3 T4,4 T5,5

急いで 走る 一郎 を 見た

T2,5: 走る一郎を見た

T2,2: 走る | T3,5: 一郎を見た T2,3: 走る一郎 | T4,5 を見た

T2,4: 走る一郎を | T5,5 見た

CYK アルゴリズム1. A→a の形の規則を用いて主対角線上の要素を求め

る． for i=1 to N

Ti,i={A|A→wi}

2. A→BC の形の規則を用いて２番目以降の対角線上の要素を求める

for k=1 to N-1 for i=1 to N-k

3. であれば， は開始記号 S から導出可能

},,|{ ,1,1

, kijijii

k

jkii TCTBBCAAT

NTS ,1 nww 1

CYK 構文解析表

１．急いで

２．走る

３．一郎

４．を

５．見た

１．急いで ２．走る　　３．一郎　４．を　　５．見たadv→ 急いで

v→ 走る

n→ 一郎

p→ を

v→ 見た

vp→adv v

np→v n

pp→n p

np→vp n

pp→np p

pp→np p

vp→pp vs→pp v

vp→pp vs→pp v

vp→pp vs→pp vs→adv vp

文脈自由文法に基づく構文木

急いで　走る　一郎　を　見た　　急いで　走る　一郎　を　見た

adv v n p v 　　 adv v n p v

vp

np

pp

s

np

pp

vp

s

意味解析 与えられた文から，妥当な語の意味と意

味関係を明らかにし，意味構造を生成する

意味構造 意味解析に用いる知識 意味解析手法 コーパスによる訳語選択

意味構造 格構造

格：文を構成する要素（語や句）が述語に対して果たす役割

表層格（構文的） 構文木から表層的に決まる格 ガ格，ヲ格，ニ格

深層格（意味的） 表層だけでは決まらない Fillmore の深層格

動作主格，経験者格，道具格，対象格，源泉格，目標格，場所格，時間格

格構造の例

John opened the door. The key opened the door. The door opened.

The door was opened by John.

open open open

the door the doorthe doorJohn the key

動作主格 対象格対象格 対象格 道具格

John opened the door with the key.

open

the doorJohn the key

動作主格 対象格 道具格

open

the doorJohn

動作主格 対象格

述語論理式 一階述語論理

John opened the door.

))(door),John(open( xxx

概念依存構造

John gave the man a book.

John ATRANS

John

bookmanP O R

過去時制 対象 受益者の関係

抽象的なものの移動

意味解析に用いる知識 選択制限 スクリプト 電子化辞書

選択制限 文の意味的妥当性を規定するため辞書中に記述

された，単語間の共起関係に関する意味的制約 例：目の下にくまが出来た．　　　　「くま」の意味→動物の熊，目の下の

陰　　　　動物は目の下には出来ないので　　　　目の下に「熊」が出来たわけではない

スクリプト 典型的な事象例を一つの枠の中にまとめた記憶構

造．人間が日常行っている定型化された行動を，時間の流れに沿った事象の連鎖で表現したもの

例：レストランスクリプト 客がレストランに入り，料理を注文し，食事をし，支払

いをして，レストランをでる間の行動を記述する レストランで　「誤って皿を割ってしまった」の皿はひ

ざの皿ではなくて料理を盛り付ける皿であると推測できる

電子化辞書 意味解析には体系的かつ網羅的に語彙の上位・下位

関係や制約を記述した知識ベースが必要 既存の辞書を電子化

対訳辞書，英英辞書，シソーラス，類語辞典，分類語彙表 利用例：語釈文中に現れる単語を利用する語の曖昧性解消

法 言語処理用に構築された辞書

EDR の辞書，オントロジー辞書， WordNet 利用例：語と語の関係（上位・下位関係などを利用）

意味解析手法

コーパスによる訳語選択 ある言語における単語を別の言語のど

の単語で表現するか 例： paper→ 紙，新聞，論文

DMAX 訳語選択法 GDMAX 訳語選択法

訳語選択用コーパス パラレルコーパス

ある言語の文（原文）と他言語の対訳文から構成されるコーパス

例： Unix の man page ，天声人語とその対訳

大量収集：困難 コンパラブルコーパス

分野やトピックを共有しているある言語のコーパスと他言語のコーパス

例：各国の新聞記事 大量収集：比較的容易

コンパラブルコーパスを用いた訳語選択 DMAX 訳語選択法（ Double MAXimize

法） GDMAX 訳語選択法（ Generalized Doubl

e MAXimize 法）

DMAX 訳語選択法（ Double MAXimize 法）

アイディア：ある言語コーパスにおいて最大の共起頻度をもつ二つの単語に着目し，その二つの単語の訳語候補が複数ある場合，正しい訳語はコンパラブルなコーパスにおいても最大の共起頻度を有する

訳語選択例：裁判官のコートとネクタイ

ネクタイ

コート

裁判官

tie

coatcourt

judge

日本語コーパス単語共起頻度

英語コーパス単語共起頻度

日英対訳辞書

50

1010 10

10

10

50

80

GDMAX 訳語選択法（ Generalized Double MAXimize法）

クロス言語情報検索で検索要求の単語から適切な訳語を得るための手法

第 2回　レポート締め切り　 12 月 15 日10:30

CYK アルゴリズムを使って「急いで走る一郎を見た」を構文解析す

るプログラムを作成せよ 説明つきプログラム 結果 考察