ai ガバナンスとオープンソースossforum.jp/jossfiles/oss-20190730.pdf · •dl4j (deep...

22
AI ガバナンスとオープンソース スカイマインド 株式会社 Presales Director 小島克俊

Upload: others

Post on 28-May-2020

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

AI ガバナンスとオープンソース

スカイマインド 株式会社Presales Director 小島克俊

Page 2: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

本日の話題

会社紹介スカイマインドとは

計算処理のリソースAIが現実になってきた背景

AIガバナンスとオープンソースSIの一部になってきたML/DL

Page 3: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

会社紹介スカイマインドとは

Page 4: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

スカイマインド 会社紹介

製品・サービス内容

1. AIプラットフォーム製品の販売、保守

2. AI技術適応、AIガバナンス確立のコンサルティング

3. ソリューションにあわせたトレーニング

本社: サンフランシスコ(2014年創業)

社員: 50+ (過半数はエンジニア)シリーズAラウンドのスタートアップ 日本拠点は2016年設立

https://skymind.ai/jp/

Page 5: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

スカイマインドの製品

有償製品 [ライセンス、保守]

•SKIL (AIプラットフォーム、AIガバナンスの管理製品)

無償製品 [オープンソースソフトウェア]

•DL4J (Deep Learning for Java)

•ND4J (JVMでNumPy計算ライブラリを利用)

•DataVec (ETLツール,データをベクトル形式に)

•Arbiter (機械学習モデルの評価、調節)

Page 6: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

https://skymind.ai/jp/open-source

Page 7: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

SKIL ( Skymind Intelligence Layer )

• AIプラットフォーム、AIガバナンス管理

• CPU、GPUの混成環境での分散処理ができる

激しく変化するツール、ライブラリ、アプリ、分散処理、ストレージに対して常に普遍的なプラットフォームを提供するのがSKIL

ここは普遍的

ツール

分散処理ストレージ

ライブラリ

アプリ

Page 8: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

https://skymind.ai/download

3ヶ月のおためしライセンスを発行します。切れたら再申請いただくと継続利用ができます。

Page 9: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

書籍

詳説 Deep Learning著者: Adam Gibson, Josh Patterson監訳: 本橋和貴翻訳: 牧野聡、新郷美紀出版社: オライリージャパン発売: 2019年 8月ISBN: 978-4-87311-880-2

日本語版 2019年 8月 9日 発売

ずっと技術の世界に首まで浸かっていたいアダムの著書

Page 10: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

計算処理のリソースAIが現実になってきた背景

Page 11: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

ある作業

データ量が多くなるとハードウェアリソースの能力が問われる

例えばここ ツール

分散処理ストレージ

ライブラリ

アプリ

Page 12: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

スーパーコンピュータ(1988年)Cray Y-MP最大 8CPUCPU(32bit)167MHz1CPUあたり512MB

(1984年) Cray X-MP48

(2015年)Raspberry Pi ZeroCPU(32bit)1GHz1CPU / 512MB

Page 13: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

みえないところでテープアーカイブ

LTOの将来規格になるエンタープライズテープ規格の製品があるRAID機器に比較し容量単価、電気代ともに10-100分の1以下

Oracle SL 8500IBM TS 3500

Page 14: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

計算リソースの変化

SPARK、Hadoopの次にくる技術は必ずある

多種のCPU、GP-GPUなどにも対応できる必要がある

さらにその他の演算機器にも適応が必要かもしれない

計算基盤のコア部分を残し、周辺機能に適切に対応する

Page 15: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

現在のベクトル型コンピュータ

クレイ社でつくられていたベクトル型コンピュータと同じ考えでつくられた製品をNEC社が製造している

販売先は気象予測、流体シミュレーション用途が多く、限られていた

NEC SX-Aurora TSUBASA

Page 16: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

AIガバナンスとオープンソースSIの一部になってきたML/DL

Page 17: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

人材の流動性

AIツールの使い方や対処方法が標準化されてくるとノウハウを持つ作業員は所属する組織以外でもそれを活用できる。

Page 18: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

オープンソース製品でビジネス

よくあるオープンソースソフトウェアのかたち

• ソフトウェアライセンスは無償

• ソフトウェアのソースコードは公開し、ボランティアの知恵と興味の力をかりる

• 商用利用ができることがはっきりしたら保守を有償サービスとして提供する(ソフトウェアライセンスは有償の場合あり)

• そのときのパッケージはバージョンなどが固定されている

Page 19: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

RHEL の場合

Fedora (製品のupstream)

RHEL - SC - EPEL (製品サポート)

CentOS (コピー商品)

Page 20: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

パッケージ保守

ライブラリ (TensorFlow, Keras, Pytorch)

Java

Python

Page 21: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec

ノウハウの蓄積、無駄の排除

Skymindが想定するニーズ

モデルヒストリーとインストールされたライブラリの管理

• 分析作業でのノート、モデルは分析担当者が異動しても残る

• 事故の際や新たな試みにおいて過去の経緯が確認できる

• インストール環境の構築ノウハウやバージョン管理ができる

AIガバナンスのためML/DLの標準基盤はSI標準に含まれていく

オープンソース製品でのアプローチは始まったばかり

Page 22: AI ガバナンスとオープンソースossforum.jp/jossfiles/OSS-20190730.pdf · •DL4J (Deep Learning for Java) •ND4J (JVMでNumPy計算ライブラリを利用) •DataVec