20170203the effects of data size and frequency range on distributional semantic models

The Effects of Data Size and Frequency Range on Distributional Semantic ModelsMagnus Sahlgren and Alessandro Lenci, Proceedings of the 2016 Conference on EMNLP, pp.975-980, 2016図や表は論⽂より引⽤

⽂献紹介

2017.02.03⾃然⾔語処理研究室修⼠2年髙橋寛治

概要Distributional Semantic Models(DSMs)の調査データサイズの異なるコーパス処理対象の語の頻度

分かったことニューラルネットワークはデータ量が⼩さいと弱いデータ量が⼩さい時は、特異値分解(SVD)

今後の課題として、モデルの組み合わせなどを考慮The Effects of Data Size and Frequency Range on Distributional Semantic Models

はじめにDSMsは⾔語処理でよく使う⼿法• 次元削減• 類似度計算

モデルの選択は、あまり重要視されない本稿で下記を調べるデータ量に対する性能低頻度語に対する性能

The Effects of Data Size and Frequency Range on Distributional Semantic Models

Distributional Semantic Models(DSM)

実験で⽤いるモデル• 単純な共起モデル（PMI）• ⾏列モデル（SVD）• ランダムインデクシング• ニューラルネットワークモデル（word2vec）


実験ukWaCコーパス:16億語共起:パラメータは揃える（±2単語）ukWaCの共起は400万×400万、まず5万次元に削減TSVD：200次元，ISVD：2800次元(200-3000)RI：2000次元、CBOW,SGNS：200次元

ベンチマーク同義語選択問題2種類（精度で評価）類似度・関連度タスク3種類（スピアマンの順位相関係数）



データサイズによる⽐較

⼩さいコーパスニューラルネットが弱い特異値分解が強い

※⼩さいコーパスは⽐較が難しいかもしれない4択だとランダムでも25%

ISVDが全体的に良い単純な共起以外では、劇的な差があるわけではない

ニューラルネットデータサイズが⼤きくなればなるほど性能が良くなる


データサイズによる⽐較

スコアの平均

頻度による⽐較頻度別で⽐較⾼頻度(1,387)、中頻度(656) 、低頻度(350) 、混ぜたもの(3458)


スコアの平均。10億語ですべて学習

頻度による⽐較ISVDMEDIUM, MIXEDで良い



頻度による⽐較ニューラルネットベースのモデル頻度が⾼ければ⾼いほど良い



頻度による⽐較中頻度に強いCO, PPMI, TSVD, ISVD



頻度による⽐較ニューラルネットだが、低頻度に強い場合もCBOWが低頻度で最も強い



まとめDSMへのデータサイズおよび頻度の影響調査ニューラルネットは⼩さいデータに弱いそれ以外のDSMは⼩さいデータ向きISVDが頑健であった

モデルの使い⽅としての今後の課題頻度ごとに別のモデルを⽤いる頻度およびデータ量に合わせて、パラメータ調整


20170203the effects of data size and frequency range on distributional semantic models

Data & Analytics