20171024 dllab#04_pfn_hiroshi maruyama

ディープラーニングよもやま話

10/24, 2017

Preferred Networks, 丸山 宏

Deep Learning Lab

2

AlphaGo Zero：事前知識無しでの学習3時間後 – 人間の初心者と同様、多くの石を取ることに執着

https://deepmind.com/blog/alphago-zero-learning-scratch/

3

19時間後 – 石の死活、厚み、地などの概念を習得

https://deepmind.com/blog/alphago-zero-learning-scratch/

4

70時間後 – 人間を凌駕

https://deepmind.com/blog/alphago-zero-learning-scratch/

5

AlphaGo Zero：40日の学習

https://deepmind.com/blog/alphago-zero-learning-scratch/

音声によるロボットのコントロール

6

https://www.youtube.com/watch?v=_Uyv1XIUqhk&feature=youtu.be&a=

7https://www.youtube.com/watch?v=QwInbilXNOE

8

1,024基のP100を搭載したスーパー・コンピュータを稼働

https://www.preferred-networks.jp/ja/news/pr20170920

9

Chainer V3 / Cupy V2をリリース

（ほとんどのユーザーにとって）後方互換！

高階微分が可能に

— Wasserstein距離を使ったWGAN-GPなどの実装

処理の高速化

— スパース行列のサポート

— GPUメモリ管理の効率化

“seq2seq”サンプル： 12GB 3GB

Assessment PoC Pilot Deployment Maintenance

• お客様の理解度

• ビジネス目標• 機械学習への適合度

• データの入手可能性

：

• データの量・品質は足りているか

• 期待する精度が達成できそうか：

• ビジネスプロセスへの組み込みはうまくいったか

• ビジネス目標は達成できたか：

CP1 CP2 CP3 CP4

• 性能の監視• データ・ドリフトの監視

：

機械学習工学： 典型的なシステム構築サイクル

より探索的

11

機械学習工学の課題

1. 再利用

2. 品質の担保

3. 要求の厳密化

12

Neural Network Exchange Format

訓練

https://www.khronos.org/nnef

ONNX

message ModelProto {

optional int64 ir_version = 1;

:

optional GraphProto graph = 7;

};

message GraphProto {

repeated NodeProto node = 1;

optional string name = 2;

repeated TensorProto initializer = 5;

optional string doc_string = 10;

repeated ValueInfoProto input = 11;

repeated ValueInfoProto output = 12;

repeated ValueInfoProto value_info = 13;

}

message TensorProto {

repeated int64 dims = 1;

optional DataType data_type = 2;

optional Segment segment = 3;

repeated float float_data = 4 [packed = true];

:

optional string name = 8;

}

message NodeProto {

repeated string input = 1;

repeated string output = 2;

optional string name = 3;

optional string op_type = 4;

repeated AttributeProto attribute = 5;

optional string doc_string = 6;

}

Node

Te

nso

r

Te

nso

r

https://github.com/onnx/onnx

14

機械学習工学の課題

1. 再利用

2. 品質の担保

3. 要求の厳密化

機械学習システムは、高金利クレジット！

• CACE (Changing Anything Changes Everything) 原理 – すべてが絡み合っている

• グルーコード、試験的なコード片など、すべてが将来のメインテナスの悪夢につながる

• …

https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf

新しいタイプの脆弱性

16

https://arxiv.org/pdf/1707.08945.pdf

品質指標 –多くの場合プロセス品質指標

http://www.ipa.go.jp/files/000028859.pdf

How “safe” is this car?

… is translated into process metrics

例：どのくらいレビューに時間を割いたか？

第3者による客観的な品質指標の可能性

How “safe” is this car?

非公開の評価用データ

自動化された、第3者による評価

評価

評価結果のみを返す

19

機械学習工学の課題

1. 再利用

2. 品質の担保

3. 要求の厳密化

20

強化学習において、衝突のペナルティを無限大にすると？

動かないクルマ

効用と安全性のバランスを定量的に要件として書き出す必要！

21

IJCAIにおける自律性に関する議論

Keynote by Stuart Russell, “Provably Beneficial AI”

— 人：「コーヒーをとってきて」

— ロボット：スタバへ行き、列に並んでいる他の客を殺してコーヒーをとってくる

— 人の指示は常に不完全

どちらも、最適化問題における「正しい仕様のあり方」の問題を提起

22

11/8 機械学習Xソフトウェア工学

Meetup

1/18-19 情報処理学会ソフトウェア工学研究会ウィンターワークショップ

23

Thank You