All-words task @ SemEval/Senseval

北陸先端科学技術大学院大学

白井清昭

タスク一覧Senseval-2(2001) All words task (Czech, Dutch, English, Estonian)

Senseval-3(2004) All words task (English, Italian)

SemEval(2007) Coarse-grained English all-words

English Lexical Sample, English SRL and English All-Words Tasks

SemEval-2(2010) All-words Word Sense Disambiguation on a Specific Domain

SemEval 2013 The Coarse-Grained and Fine-Grained Chinese Lexical Sample and All-Words Task

SemEval 2015 Multilingual All-Words Sense Disambiguation and Entity Linking

Senseval-2, English (2001)タスク

語義の定義: WordNet 1.7 PennTreebank II 5000 instances

type の数は不明

Senseval-2, English (2001)結果

ベースライン 0.57 WordNetの第1語義

参加システムの詳細は不明

Senseval-3, English (2003)タスク

語義の定義: WordNet 1.7.1 PennTreeBank(2文書), Brown Corpus(1文書) 2081 target instances

type の数は不明 Inter-annotator agreement: 72.5%

Senseval-3, English (2003)結果

unofficial baseline0.609 / 0.624

WordNetの第1語義 ベースラインを上回るのは教師あり機械学習のみ

-S: supervised -U: unsupervised

LS, SRL, AW (2007)English Lexical Sample, English SRLand English All-Words Tasks タスク(all-words)

語義の定義: WordNet 2.1 PennTreebank (3500 words) 465 target words (type) 動詞とその項の主辞(名詞)が対象

SRLと同じ対象にしたいため Inter-annotator agreement: 72%(V), 86%(N)

(coarse-grained)

LS, SRL, AW (2007)結果

教師なし機械学習は苦戦

LS, SRL, AW (2007)考察

過去のSensevalと比べて結果が悪い Senseval-2 69%, Senseval-3 65.2%, 今回 59%(best systemの比較) 対象語における動詞の割合が高いため

Coarse-grained English (2007)タスク

語義の定義: ODE(Oxford Dictionary of English) WordNetの語義をODEの粗い語義にマッピング

5文書: WSJ (3), Wikipedia (1), 伝記(1) 5377 words / ドメインが異なる文書を混ぜている

2269 target instances Typeの数は不明

平均語義数 3.06 (cf. WordNet 6.18) Inter-annotator agreement: 93.80%

SemEval(2007)の別のAll-words taskよりも高い

Coarse-grained English (2007)Wall Street Journal Wikipedia 伝記

Coarse-grained English (2007)

labeled data WordNet

unlab

eled

data

train

ing

MFS

bac

koff

1234 ✓✓✓✓

✓✓✓✓

Specific domain (2010)タスク

特定ドメイン(環境問題)を対象としたAW-WSD 領域適応も考慮

語義の定義: WordNet 4ヶ国語のコンパラブルコーパス

WS=weakly supervised (ラベル付きコーパス+他の知識の併用)S=supervised KB=knowledge-based ※MFSはSemCorコーパス

を利用(ドメインが違う)

Specific domain (2010)考察

正解率は全体的に低め 教師あり、半教師あり学習が優勢 知識ベースシステムは、対象ドメインのバックグランドテキストを利用することで向上 教師あり学習+領域適応の有効性は不明

領域適応を試したのはBLC20SemcorBackgroundのみで、MFSと大差ない

ベストシステムは対象ドメインの少量のタグ付きコーパスと知識ベースシステム(バックラウンドテキスト+WordNet)の組み合わせ

Specific domain (2010)考察(Chinese, Dutch, Italian)

参加者が少ない Chinese=2, Dutch=1, Italian=1

全て知識ベースシステム おそらく語義タグ付きコーパスがない

DutchとItalianではMFSより良い ChineseではMFSより悪い

Multilingual WSD&EL (2015)タスク

WSDとEntity Linkingの混合 語義の定義: BabelNet 2.5.1

WordNet, Wikipedia, Wiktionary, OmegaWiki, Wikidata, Open Multi WordNet

3言語(English, Italian, Spanish)のパラレルコーパス 4つの文書(医療2、数学1、社会問題1) 1200 target instances / 言語

うち固有名詞は 80 instance 対象語は明示しない

参加システムは対象語を検出する必要がある

✓

✓

✓✓

✓

✓

✓ ✓

✓✓✓

✓

✓

✓ ✓

S

US,L

US,PUS,PPRUS,PPR

US,PPR

US

US,LUS,LUS,L

WS

USUSUS

S=supervised US=unsupervisedP=parallel corpus PPR=personalized PageRankL=Lesk-like

WS=weakly supervisedBabelNet first sense

US,PPRUS,PPRUS,PPR

US,PUS,L

US,PPRUS,PPRUS,PPR

US,PUS,LUS,LUS,LUS,L

US=unsupervised P=parallel corpus PPR=personalized PageRankL=Lesk-like

Multilingual WSD&EL (2015)考察

英語ではベースライン(BabelNet first sense)より悪い 有望なアプローチ

semantic signature Personalized PageRank (名詞、固有名詞) Lesk-like algorithm (動詞、形容詞)

参加者の多くは教師なし機械学習 DFKIのみが教師ありで、しかも英語タスクだけに参加 教師あり機械学習は多言語対応が困難

まとめAll-words taskでも教師あり機械学習が有望

語義タグ付きコーパスがあれば 教師なしはMFSよりも悪い

ただし、MFSも語義タグ付きコーパスが必要