discussion aiの脆弱性について
TRANSCRIPT
2017.02.27
AISECjp #9
Hosted by Isao Takaesu
Discussion
AIの脆弱性について
AIに対する漠然とした懸念
AISECjp
・世界経済フォーラム（WEF）
AIやIoTのような新しいテクノロジは、データの窃盗やビジネスの破壊、産業制御関連への
攻撃を企むサイバー攻撃者に、より大きな攻撃対象の領域を作り出している。
・Interop Tokyo 2016
新しい技術革新が起きたときに、最初はそれを使って何ができるかと夢を追うような議論
がされるが、実際に使われ始めて理解が進むと、セキュリティなどの現実的な議論が始まる。
・人工知能技術戦略会議
(1)生産性、(2)健康、医療・介護、(3)空間の移動、(4)セキュリティという四つのテーマを
産業化ロードマップとして策定。ただし中間まとめ案では、「セキュリティは共通基盤で技
術の進展も激しいので、対象とはしていない」（経産省）
AIに対する具体的な攻撃手法
機械学習モデルの窃取
誤分類の誘発
報酬ハッキング
モデルポイゾニング
機械学習ライブラリのバグを悪用
AISECjp
従来の攻撃手法に加え、AI特有の攻撃手法が存在。
機械学習モデルの窃取
▼参考文献
- Stealing Machine Learning Models via Prediction APIsAISECjp
機械学習モデルへの入出力値を手掛かりに、モデルの計算ロジック
（LRのDecision boundaryなど）を特定し、モデルを複製。
誤分類の誘発
AISECjp
分類器（CNN）への入力画像を（人間には分からないくらいに）
微小に細工することで、CNNの誤分類を誘発。
▼参考文献
- Simple Black-Box Adversarial Perturbations for Deep Networks
original :
perturbed :
（誤分類）
stingray
sea lion
ostrich
goose
jay
junco
water ouzel
redshank
報酬ハッキング
AISECjp
エージェントの学習に使用するポリシー（方策）を操作することで、
最適ではない行動を学習させる。
▼参考文献
- Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
モデルポイゾニング
AISECjp
大量の悪意のあるデータを分類器に学習させることで、決定境界を
最適値から外す（モデルポイゾニング）。
▼参考文献
-現実世界での機械学習によるアノマリ検知システムの構築と回避
機械学習ライブラリのバグを悪用
AISECjp
OpenCV, numpy, scikit-learnなどのライブラリに存在する脆弱性を
利用することで、DoSや制御の乗っ取りなどを行う。
▼参考文献
- The Pursuit of Exploitable Bugs in Machine Learning
AIのビジネス利用例
AISECjp
様々な分野でビジネス利用が進んでいる
・AIが窓口業務の補助
・利用客の多い場所・時間を予測してタクシーを配車
・Jリーグの年間入場者数の予測
・効率的な働き方のレコメンド
・マルウエア検知・侵入検知への利用
・保険査定業務の自動化
・自動運転自動車の開発
・・・
AISECjp
セキュリティを考慮しているか？
議題
AIを使ったサービス・プロダクトは安全か？
機械学習アルゴリズムに欠陥はないのか？
新たな脆弱性はないか？
セキュリティ向上のための啓蒙は？
・・・
AISECjp
参考文献
AISECjp
・Stealing Machine Learning Models via Prediction APIs
https://arxiv.org/abs/1609.02943
・Simple Black-Box Adversarial Perturbations for Deep Networks
https://arxiv.org/abs/1612.06299
・Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
https://arxiv.org/abs/1701.04143
・現実世界での機械学習によるアノマリ検知システムの構築と回避
https://www.slideshare.net/codeblue_jp/by-clarence-chio-code-blue-2015
・ The Pursuit of Exploitable Bugs in Machine Learning
https://arxiv.org/abs/1701.04739
Download “.PDF” version of this document:
≫ https://aisecjp.connpass.com/event/44600/