bilingual correspondence recursive autoencoders for statistical machine translation @小町研...

Bilingual  Correspondence  Recursive  Autoencoders  for  Sta7s7cal  

Machine  Transla7on   Jinsong  Su,  Deyi  Xiong,  Biao  Zhang,  Yang  Liu,  

 Junfeng  Yao  and  Min  Zhang      

Proceedings  of  the  2015  Conference  on  Empirical  Methods  in  Natural  Language  Processing    

紹介者 叶内 晨  (@shin_kan0)    @小町研  EMNLP読み会2015  

この論文について

•  SMTのために句対の分散表現を同時に学習  

•  子ノードの構造を揃えて，対応した子ノード同士のエラーを 小化  – アライメントに忠実な句対の分散表現を学習  – 2言語の異なるレベルの意味対応を獲得  – 中英  SMT  の State-­‐of-­‐the-­‐art  を達成  

F   E ^ ^ ? ? 原言語 目的言語 ? ?

関連研究：分散表現の句への適応

•  Recursive  AutoEncoder  で句を表現[Socher+  10]  

•  2言語の句をRAEで表現  – SMTの並べ替えモデルに応用[Li+  13]  •  A  Neural  ITG  Reordering  Model  

– SMTの翻訳モデルに応用[Zhang+  14]  •  Bilingually-­‐constrained  Recursive  Auto-­‐encoder    

Bilingually-constrainedRecursive Auto-encoder

f   e e’:  対応していない句

今まで

[Zhang+  14]

問題点: 句と句の内部構造を考慮していない

今まで

アライメント  

•  句対全体としては分散表現で対応している  •  nf1,  nf2,  ne  は，それぞれ対応していない  •  中身を対応させたら，より良い句対になるのでは？

Bilingual  Correspondence  Recursive  Auto-­‐encoder  (BCorrRAE)

提案手法

アライメント  

•  各ノードの句と対応する句を探す  •  複数対応するときは 小のものを選択  

•  全ての句対を記憶(SAC  node)  •  句対ごとに学習  

逆方向もやる

0-­‐2  2-­‐1  3-­‐0  

エラーの計算方法

①  

②  

③  

④

①句を作ったときの RAE  の Reconstruc7on  Error  ②2言語で対応していないノード  (non-­‐SAC)  への罰則                  (Consistency  Error)  ③2言語で対応しているノード  (SAC)  の類似具合    

 (Cross-­‐Lingual  Reconstruc7on  Error  )  ④正則化項  

α=  0.12,  β  =  0.63,  γ  =  0.25

②Consistency  Error  

Inc→

cns→

cns→

•  句がcnsであるほどエラーが少ない

③Cross-­‐Lingual  Reconstruc7on  Error  

a.  ベクトルを目的言語側に飛ばす  b.  その子ノードを生成  c.  目的言語側のベクトルとの差が誤差

a.

b.

c.

実験設定

•  翻訳機：log-­‐linear  framework  [Och  and  Ney  02]  1.  rule  transla7on  probabili7es  in  two  direc7ons  2.  lexical  weights  in  two  direc7ons  3.  targets-­‐side  word  number  4.  phrase  number  5.  language  model  score  (SRILM  5gram)  6.  Score  of  maximal  entropy  based  reordering  model  (MEBTG)  7.  proposed  feature    

•  DataSets  –  Train:  FBIS  corpus  and  Hansards  part  of  LDC2004T07  corpus    

•  1M  parallel  sentences  (25M  Chinese  words,  29M  English  words)    –  Dev:  MT05  –  Test:  MT06,  MT0    

実験結果(BLEU)

句の翻訳結果の例

•  意味は類似した句が対応  

•  SRC側とTGT側の文法は必ずしも一致せず  

•  句の意味が類似しつつ，アライメントに矛盾しないような句が対応  

まとめ

•  SMTのための木構造の同時句分散表現を学習  

•  子ノードの構造を揃えて，対応した子ノード同士のエラーを 小化  – アライメントに忠実な句対の分散表現を学習  – 2言語の異なるレベルの意味対応を獲得  – 中英  SMT  の State-­‐of-­‐the-­‐art  を達成