KB + Text => Great KBな論文を多読してみた

Koji Matsuda (@conditional)

1※ 各ページの図は元論文からの引用です。

KB + Text => Great KB な論文たち1. Connecting Language and Knowledge Bases with Embedding Models for

Relation Extraction, Weston+, EMNLP 20132. Knowledge Graph and Text Jointly Embedding, Wang+, EMNLP 20143. Representing Text for Joint Embedding of Text and Knowledge Bases,

Toutanova+, EMNLP 20154. Representation Learning of Knowledge Graphs with Entity Descriptions,

Xie+, AAAI 2016 (2 月 )5. Text-Enhanced Representation Learning for Knowledge Graph, Wang and

Li, IJCAI 2016 (7 月 )6. Distributed representation learning for knowledge graphs with entity

descriptions, Fan+, Pattern Recognition Letters, 2016/097. Knowledge Representation via Joint Learning of Sequential Text and

Knowledge Graphs, Wu+, https://arxiv.org/abs/1609.070758. WebBrain: Joint Neural Learning of Large-Scale Commonsense

Knowledge, Chen+, ISWC 2016 (10 月 ?)9. Joint Representation Learning of Text and Knowledge for Knowledge

Graph Completion, Han+, https://arxiv.org/pdf/1611.04125v1.pdf

2

赤字は筆頭著者が精華大所属の論文（グループは一つじゃないらしい…）

KB + Text => Great KB• 知識グラフ (Freebase) に書いてある知

識を、テキストを使って「増強」する–知識ベースに書いていない知識を予測する

3Wikipedia, NYTClueWeb(FACC1)

FreebaseWordNet

知識の埋め込みTransE or RESCAL

メンションの埋め込みCNN, RNN etc

もっと凄い知識ベース

知識ベース

テキスト

input

output

+ 融合

準備 : Knowledge Graph• 知識ベースをグラフとして表現

– ノード : エンティティ , エッジ : 関係の種類• 知識 : (head, relation, tail)

– (Washinton, CapitalOf, USA)– (Barack Obama, gender, Male)

• 個別の知識をつなぎあわせるとグラフになる– Knowledge Graph と呼ばれる– Freebase, WordNet…

準備 : Ditributed Knowledge Representation

• Knowledge Graph のエンティティ／関係をベクトル空間に埋め込む– 応用 : テキストからの関係抽出 , 知識ベースの拡

充 ( 欠けたタプルを予測 )– TransE [Bordes+, 2013]

– TransH [Wang+, 2014]• head を適当な空間に射影してから relation を足す

– TransR [Lin+, 2015]• エンティティをリレーションの空間に写像

準備 : データセット / 評価について

• Knowledge Base Completion の評価に用いられる標準的データセット : FB15k

• 評価– KBC: エンティティ (head, tail) 予測、関係予測

• (h, r, ?) : head, relation が与えられたもとで tail を予測• 評価指標 : MRR, Top N Acc(%)

– 三つ組分類 : (h,r,t) が与えられたときに それが KB に含まれるか否か : Acc, AUC

– テキストからの関係抽出 : P-R Graph, AUC 6

その他 : FB20k [Xie+ AAAI2016]　ゼロショット実験向けFB15k-237 [Toutanova 2015]　関係の種類を 237 に絞ったもの

• Relation Extraction に KB 由来の情報を使う– head と tail が与えられたときに r という関係を

持つかどうかのスコア関数に KB 由来の情報を導入

Connecting Language and Knowledge Bases with Embedding Models for

Relation ExtractionWeston+ EMNLP 2013

7

メンション , relation ペアのスコア関数 ( 学習する )

TransE

h,t を含む全ての m に対して和

NYT からの関係抽出問題において、テキストのみを用いるベースラインに対して性能向上 ( 赤線 -> 黒線 )

Knowledge Graph and Text Jointly Embedding Wang+, EMNLP 2014

8

• TransE の確率化 : pTransE• 単語間の関係モデル

• アラインメントモデル• Joint で最適化

Wikipedia から学習

結果 : out-of-kb エンティティに対しても推論ができるようにいくつかよくわからないところがある論文だが…

softmax にのせただけ

Representing Text for Joint Embedding of Text and Knowledge

Bases Toutanova+, EMNLP 2015

• DistMult モデル– TransE ではなく、 RESCAL というモデルがベー

ス• f(h, r, t) = rT (h t)⦿

• 係り受けパスを CNN で　ベクトル空間に埋め込む• 実験 : FB15k 上での予測– テキスト : EL が適用済みのコーパス FACC1

• 2.7M relation– テキストの併用： MRR で 2 ポイント程度改善

• 効果はかなり小さいと思う 9

Representation Learning of Knowledge Graphs with Entity Descriptions

Xie+, AAAI 2016

• Freebase 内のエンティティの説明をエンコードに使うモデル : DKRL–知識グラフの埋め込み　は TransE–エンコードは CNN

• エンティティが KB に含まれていなくても、説明文さえあれば推論できる (Zero-shot)– FB20k という新しいデータを作って実証

10

Distributed representation learning for knowledge graphs with entity

descriptionsFan+, Pattern Recognition Letters 2016/09

• 前の論文とやっていることは同じ– head, tail の description を埋め込む–全体が浅い確率モデルになっている• あるエンティティから description が生成される

確率モデル

11

h

w1

前の論文と比較して、パラメータが少なく、性能も良い(↑ これが主な貢献 )

Text-Enhanced Representation Learning for Knowledge Graph

Wang and Li, IJCAI 2016

• EL 済みのコーパス→エンティティの周辺文脈の表現を学習

–文脈の埋め込み：重み付き平均

–エンティティの埋め込みとの統合 : 線形変換

12

文脈の埋め込みに変換行列をかけて、TransE の表現を足す

結果： 1-to-N, N-to-1 の関係推定が性能向上

Knowledge Representation via Joint Learning of Sequential Text and

Knowledge GraphsWu+, arXiv 2016/09

13

• エンティティに言及している文はエンティティの理解に役立つ–一般に複数ある–が、ゴミも混ざるので Attention で排除• 定義文っぽいものに強く Attend するイメージ

Joint Representation Learning of Text and Knowledge for Knowledge Graph

CompletionHan+, arXiv 2016/11

• [Toutanova+ 2015] と同様–係り受けパスではなく、関係パタンに CNN• 係り受け解析は Web テキストに対してはよく失

敗するので、 shallow な方がよいという主張–テキストは distant supervision で獲得• head, tail を両方含んでいる文から知識獲得

14関係分類タスク on NYT : テキストのみ使うベースラインより性能向上

まとめKB埋め込み Text埋め込み 結合 評価

Weston+ EMNLP 2013

TransE(4M ent)

関係予測モデルNYT コーパス

Composite Score 関係抽出 on NYT+FB

Wang+ EMNLP2014

pTransE Freebase( 巨大 )

Skip-gram/Wikipedia

アラインメントモデル

+Composite Score

三つ組分類 ,関係抽

出 ,Analogy

Toutanova+ EMNLP2015

DistMult(RESCAL)

FB15K係り受けパス

+CNNEL 済み

ClueWeb12(FACC1)

Composite Score KBC on FB15k

Xie+AAAI2016

TransEFB15K

CNNFreebase のDescription

Composite Score KBC on FB15k & Zeroshot(FB20k)

Wang and LiIJCAI2016

Trans*FB15k / WN

キーワード抽出 & 平均

エンティティ空間に線形写像

KBC多対多の関係Wu+

arXiv 2016/09TransEFB15k

リファレンス文LSTM+Attention

(Wikipedia)

Composite Score KBC/ 三つ組分類

Han+arXiv 2016/11

TransEFB15k

関係パタン +CNNNYT+distant supervision

Composite Score KBC on FB15k 関係分類 on NYT

15赤字 : 面白かったので精読したい論文