“Why Should I Trust You?”Explaining the Predictions of

Any Classifier論文紹介

Twitter:@UMU____

何の論文か？

• 機械学習は，入力と出力の関係性を学習し，入力から出力を予測する．

• 「なぜこの予測をしたのか？」予測の根拠

• 「学習した関係性は正しいのか？」モデルの正しさ

• 現在ある機械学習モデルのほとんどはこのような問いに答えられず，使用者から見ると“ブラックボックス”．

入力 出力

何の論文か？

この論文は，モデルによらない

• 予測に対する解釈可能な根拠を提示する“LIME”

• モデルが利用する複数の代表的な根拠を提示して，モデルを説明する“SP-LIME”

を提案．

入力 出力

根拠

何の論文か？

予測の根拠の提示やモデルの説明を行うことで，

• 機械学習による予測を信頼性を高めること

• より良い機械学習モデルを選択すること

• 信頼できない機械学習モデルを改善すること

• また，なぜ信頼できないのかを理解すること

ができるようになる．

説明の流れ

題名の論文について大まかに説明していきます．（少し内容を変更したところがあります）

１．モデルの不信頼性の事例紹介

２．[根拠の提示]“ＬＩＭＥ”の仕組み

３．[モデル説明]“ＳＰ－ＬＩＭＥ”の仕組み

４．モデルの信頼性確認の事例紹介

不信頼性の事例紹介

• ２つのモデルがある（左右）．

• どちらも，与えられた文書が“キリスト教(Christianity)”の話か“無神論(Atheism)”の話かを判別するモデル．

• Accuracy(教師データと予測が一致する割合)は，右のモデルが高い．

• では，実際の環境(in the wild)では，右を活用すべき？

不信頼性の事例紹介ＬＩＭＥによる予測の根拠

不信頼性の事例紹介

• 左のモデルの予測の根拠として挙げられているもの

God mean anyone this Koresh through

• 右のモデルの予測の根拠として挙げられているもの

Posting Host Re by in Nntp

• “Posting” “Host” “Re”はキリスト教にも無神論にも関係ない！

実は，Postingと書かれた文書が無神論の文書に局在(99%)

→“leakage”と呼ばれる現象．

“ＬＩＭＥ”の仕組み

• 予測の信頼性を高めるために予測の根拠を提示する”LIME”

• 根拠提示器(ex LIME)に求められる性質：

〇解釈可能性 ：提示する根拠が理解できる程度である（複雑すぎない．）

〇局所的忠実性 ：提示する根拠による判別とモデルによる判別が近傍で一致する．

〇モデル非依存性：根拠提示器が特定のモデルに特化しない

“ＬＩＭＥ”の仕組み

• これらの３つの性質を満たすために，LIMEでは，根拠が複雑すぎないよう正規化したうえで，根拠による判別と，モデルによる判別が根拠を知りたい予測の入力の近傍で一致するような根拠を選択する→入力に対する根拠となる．

• 数式化：𝜉 𝑥 = argmin

𝑔∈𝐺𝐿(𝑓, 𝑔, 𝜋𝑥) + Ω(𝑔)

𝑥 ∶ 入力,𝜋𝑥 :近傍重み， 𝑓:モデルによる判別, 𝑔:根拠による判別,

𝐿: 𝑥の近傍で𝑓と𝑔がどれくらい違うか． Ω: 𝑔の複雑さ

“ＬＩＭＥ”の仕組み

𝜉 𝑥 = argmin𝑔∈𝐺

𝐿(𝑓, 𝑔, 𝜋𝑥) + Ω(𝑔)

• 根拠とモデルが関係なくなればなるほどＬが大きくなる

• 根拠が複雑になればなるほどΩが大きくなる．

• πの影響で，ｘから遠いところほどＬに寄与しない．

• ΩにL1ノルムを選ぶため，係数がスパースになる．

※スパース：ほとんどの係数がゼロになること．

• 論文では，gの具体例として線形判別，πの具体例として指数カーネルを用いている．

根拠

係数

“ＬＩＭＥ”の仕組み

LIMEの説明終わり

“ＳＰ－ＬＩＭＥ”の仕組み

• “LIME”によってある予測に対する根拠を提示することができた．

しかし，モデル全体の説明にはなっていない．

• モデル全体（が妥当かどうか）を説明する方法：

沢山の入力-予測の組に対する根拠をみて，根拠が使用者にとって妥当性があるかどうかを調べる．

→時間がかかる．

“ＳＰ－ＬＩＭＥ”の仕組み

→“SP-LIME”:たくさんの根拠からモデルを代表する根拠を自動的に選び出す．

自動で使用者が見るべき根拠を少なくしたい

これは真ん中の根拠と似てるから使用者に見せる必要がない

“ＳＰ－ＬＩＭＥ”の仕組み

• “LIME”によって，根拠（どの要素が判別に寄与するか）がわかった．

• たくさんの根拠を集めると，根拠行列Wができる．

• 根拠行列の1列は，モデルにおいて，ある要素がどの程度判別に貢献しているかを示す．

• 大域的重要性𝐼𝑗 = Σ𝑖𝑊𝑖𝑗 を導入．

（列の総和の平方根）根拠行列．各1行がある入力-予測に対する根拠となる．白はゼロで黒はゼロでない

1行

“ＳＰ－ＬＩＭＥ”の仕組み

• 根拠を複数選んだとき，その全体の重要性ｃは，選んだ根拠に1つでも含まれるゼロでない根拠の要素の大域的重要性𝐼𝑗の総和で計算される．

• 選ぶ根拠の数を一定以下にしたままｃを最大化するような根拠の組を選択する．

→代表的な根拠を抽出した．2行と5行を選んだときは，赤点の列の大域的重要性が総和されるSP-LIMEの説明終わ

り

モデルの信頼性確認の事例紹介

• ハスキーと狼を判別するモデルを作成する．

• 学習データセットを集める際，狼の画像には背景に雪が必ずあるものを，ハスキーの画像には背景に雪が必ずないものを選んで学習させる．

• 入力として雪背景のハスキーを選ぶと，狼と予測された．

→このときの根拠は？

ハスキー

モデルの信頼性確認の事例紹介

• ＬＩＭＥによる根拠

ハスキーと判別した根拠として，背景の雪を選んでいることがわかる．

→データセットの偏りを把握することができた．注：論文中では，機械学習の知識を持つ大学院生が，LIMEによる根拠を提示する前とした後でこのモデルが信頼できるかどうかについて変化するかを示したものです．

まとめ

• 機械学習では，モデルがなぜそのような予測したのかについての根拠の提示，およびモデル全体が信頼できるかについての説明をすることは重要である．

• 根拠の提示をするために，ＬＩＭＥを提案した．

• モデルの説明をするために，ＳＰ－ＬＩＭＥを提案した．

• 根拠の提示とモデルの説明の効果を検証した．