dell emc ready solution for ai deep learning with intel · deep learning with intel...

© 2019 by The Enterprise Strategy Group, Inc. All rights reserved.（不許複製・禁無断転載）

機械学習およびディープラーニングのワークロードのパフォーマン

スの向上、TCOの最適化、および使いやすさのシンプル化

シニアアナリスト、Jack Poller

2019年 4月

この ESG技術検証は Dell EMCの委託を受けて作成されたものであり、ESGから使用許諾を受けて配布されます。

Enterprise Strategy Group | Getting to the bigger truth.™

技術検証

Dell EMC Ready Solution for AI：

Deep Learning with Intel

技術検証：Dell EMC Ready Solution for AI：Deep Learning with Intel 2


Contents

はじめに ................................................................................................................................................................................... 3

背景.................................................................................................................................................................................... 3

Deep Learning with Intel................................................................................................................................................. 5

ESG技術検証 ...................................................................................................................................................................... 6

AIモデル開発の促進 .......................................................................................................................................................... 6

数字が持つ意味 ............................................................................................................................................................. 7

インフラストラクチャの拡張性 ............................................................................................................................................ 8

数字が持つ意味 ............................................................................................................................................................. 9

AIプログラムの TCOの改善 ............................................................................................................................................. 10

モデルのトレーニング ....................................................................................................................................................... 10

数字が持つ意味 ........................................................................................................................................................... 12

推論.............................................................................................................................................................................. 12

数字が持つ意味 ........................................................................................................................................................... 14

オンプレミスでの高速ディープラーニング .......................................................................................................................... 14

数字が持つ意味 ........................................................................................................................................................... 15

使いやすさのシンプル化 ..................................................................................................................................................... 17

より大きな真実 ...................................................................................................................................................................... 19

付録 ..................................................................................................................................................................................... 21

ESG技術検証

ESG技術検証の目標は、ITプロフェッショナルにすべてのタイプと規模の企業向けの情報技術ソリューションに関す

る知識や情報を提供することです。ESG技術検証は、購入の意思決定を行う前に実施すべき評価プロセスに代

わるものではなく、新たなテクノロジーへのインサイトを提供するためのものです。ITソリューションの有用な機能の調

査、それらの機能を使用してお客様の実際の問題を解決する方法についての説明、改善が必要な領域の特定を

行うことが目的です。ESG検証チームの専門性に優れた第三者としての見解は、同チームにおける実際のテスト

と、実際に本番環境で製品を使用しているエンドユーザー企業への聞き取り調査に基づいています。



はじめに

この ESG技術検証には、Dell EMC Ready Solutions for AI：Deep Learning with Intelに関する評価を記載しています。

私たちは、ソリューションのパフォーマンス、使いやすさ、および総所有コスト（TCO）を把握することに重点を置きました。フルス

タックのパフォーマンスを検証するために、Token2Token Big Transformer モデルをトレーニングする際に処理された 1秒あたり

のトークン数を測定し、インテルのオープンソースイニシアティブである Nautaが、ディープラーニングモデルのトレーニングをどのよ

うに高速化するかを評価しました。また、Nautaがディープラーニングトレーニングプロセスをどのようにシンプルにし、Deep

Learning with Intelの利用がどの程度の TCO となるかを、業界をリードするパブリッククラウドの AIサービスが同様のタスクを実

行した場合と比較しています。

背景

演算処理の能力および密度の向上、人工知能（AI）プロセッサーの専門化、および新しいアルゴリズムの構築の結果、機械

学習（ML）とディープラーニング（DL）が、概念実証後、企業に直接提供されるようになり、多くの組織が AIプログラムを導

入しています。ESGの調査では、回答者の 59%が 2019年の AI/ML投資が増加することを見込んでいましたが、一方で 31%

の組織が、ITの製品およびサービスで AI/MLを活用することはデータセンターモダナイゼーションの一部であり、そこに今後 12〜

18か月で最も重点的な投資を行う予定であると示唆していました。1

AIの能力を活用しようと目指す組織は、大きな課題に直面しています。ESGアンケート回答者の 35%は、IT インフラストラク

チャのコストを最大の課題としていたほか、29%が IT インフラストラクチャの機能、21%がアプリケーション開発環境を挙げていまし

た（図 1を参照）。2

1 出典：ESG調査レポート『2019 Technology Spending Intentions Survey』（2019年 2月）

2 出典：ESGマスターアンケート結果『Artificial Intelligence and Machine Learning: Gauging the Value of Infrastructure』（2019年 3月）

https://www.esg-global.com/research/esg-research-report-2019-technology-spending-intentions-survey

https://research.esg-global.com/reportaction/aimlmsr/Toc



図 1：AI/MLのコスト、テクノロジー、およびデータに関する課題

出典：Enterprise Strategy Group

このような課題の背後にある要因を考えると、ディープラーニングは多面的で複雑であり、AIの運用化は困難でさまざまな要素

が絡み合う問題で、トレーニングを受けた経験豊富な人材が必要であることがわかります。しかし、このような重要なスキルを持つ

人材は不足しています。

AIの運用化に向けた取り組みは、モデルの正確性向上というニーズのために複雑になっています。より大規模なデータセット、さ

らに多くのハイパーパラメーターチューニング、およびいっそう複雑な AIアルゴリズムによって、インフラストラクチャは大規模化、高

速化、複雑化した、コストのかさむものとなっています。そのため、初期導入コストが低く、サービスが運用コストとして分類されてい

るパブリッククラウドインフラストラクチャが注目を集めています。必要とされているのは、パブリッククラウドサービスと同等またはそ

れ以下の総所有コストで、初期導入をシンプルにしつつも、大規模で非常に複雑な AIモデルに対してもパフォーマンスと拡張性

を提供するオンプレミスインフラストラクチャスタックです。

5%

12%

17%

17%

17%

18%

19%

19%

21%

21%

21%

29%

35%

We haven't experienced any challenges/barriers

Unclear use case applicability

Delayed time to value

Insufficient volume or availability of relevant data

Need better data science tools

Ensuring data governance/privacy

Cost of data or analytics platforms required

Lack of mature or proven technologies

Not enough experienced or trained staff delaying results

Need better application development environments

Insufficient data quality

Need better IT infrastructure capabilities

Cost of IT infrastructure required

AI/MLプロジェクトにおいて、組織が直面している最大の課題や障害は何ですか？

（回答者の割合、N=300、3個まで選択可）




Deep Learning with Intelは、タイムトゥバリューの短縮を目的として設計された、

機械学習およびディープラーニングのための標準化されたインフラストラクチャスタッ

クのセットであり、Dell EMCの Ready Solutions for AIの一部を構成しています。

Deep Learning with Intelは、Dell EMC PowerEdge R740xd マスター/ログイ

ンノード 1台のと、4台の C6000シャーシに搭載した Dell EMC PowerEdge

C6420高密度コンピューティングサーバー16台で構成されるスケールアウトクラス

ターです。各コンピューティングノードは、外部ネットワークおよびインターネットのアク

セス用の 1ギガビット Ethernet接続と、内部トラフィックおよびデータ移動用の 10

ギガビット Ethernet接続の両方と相互接続されています。オプションの Dell EMC

Isilon H600ストレージクラスターでは、40ギガビット Ethernet接続を使用して、

内部の 10ギガビット Ethernetネットワークに接続できます。システム構成の詳細については、付録の表 6を参照してください。

Deep Learning with Intelには、結果を出すまでの時間を短縮できる導入サービスが付属し、ハードウェアおよびソフトウェアの

スタックの包括的なサポートを行う一元化した窓口が用意されています。ハードウェアおよびソフトウェアの検証済みスタックは、

Dell EMC PowerEdgeサーバー、Dell EMC Isilonストレージ、高速ネットワーキング、データサイエンスソフトウェア、AI ライブ

ラリ、AI フレームワークと、事前構成済みの拡張可能でバランスのとれたシステムを組み合わせたものです。

Dell EMCは、このソリューションにインテルのオープンソースイニシアティブである Nautaを統合し、検証しました。Nautaは、

Kubernetes と Dockerのテクノロジーを使用して、マルチユーザーに対応した分散型 DLトレーニングおよびテストコンピューティング

環境を実現する、分散型ディープラーニングプラットフォームです。Nautaでは、DLトレーニングワークフローをシンプル化すると同時

に Kubernetesの機能を活用し、コンテナ化3したアプリケーションの導入、拡張、および管理を自動化しています。Nautaには、コマ

ンドラインインターフェイス（CLI）に加え、Webベースのグラフィカルユーザーインターフェイス（GUI）とディープラーニングのための

可視化ツールスイートである TensorBoard統合の両方が含まれています。これらのインターフェイスは、データサイエンティストの実験

管理ワークロードを合理化および高速化します。Nautaは、一体型モデル検証のバッチとストリーミングの両方をサポートし、カスタマイ

ズ可能なモデルテンプレートを提供して、モデル作成とトレーニングテストをシンプルにしています。

Deep Learning with Intel を導入する組織には、次のようなメリットがあります。

• 迅速な導入 — 組織が、AIスタックに合わせてコンポーネントを選択、構成、統合、チューニングを必要とする状況から脱却

できます。Deep Learning with Intelは、Dell EMC Servicesが導入を行う検証済みシステムであり、AI環境の導入に

かかる時間を数か月から数週間に短縮すると同時に、スキルセットの要件と運用リスクを低減します。

3 コンテナは仮想分離に依存するため、各アプリケーションに対応するすべての仮想マシンで、オーバーヘッドなしにアプリケーションを導入および実行できます。

https://www.intel.ai/introducing-nauta/#gs.2yzgzl

https://kubernetes.io/

https://www.tensorflow.org/guide/summaries_and_tensorboard



• シンプルな構成 — Deep Learning with Intelは、Nautaおよび TensorFlowのディストリビューションで事前構成済み

であり、インテル Xeonスケーラブルプロセッサー向けに最適化された、必須のディープラーニング支援ライブラリが組み込ま

れています。

• 最適化された共有リソースの使用 — Nautaの統合型プラットフォームは、Kubernetesを使用してワークフローの自動オーケス

トレーションを可能にしており、複数回の実験を「自動」でスケジュール設定し、実行できます。そのため、システムパフォーマンス

への影響を最小限に抑えつつ、複数のデータサイエンティストが同じ AIインフラストラクチャスタックを共有できます。

• 迅速な拡張性 — すべての Dell EMC Ready Solutions for AIは、すばやく拡張できるように設計されています。組織で

は、数回マウスをクリックするだけで、クラスターにコンピューティングノードを追加し、演算処理能力を向上させることができま

す。Isilonストレージは、新しいノードを無停止で追加（またはオプションの Isilonスケールアウトストレージクラスター上に

ストレージを拡張）してスケールアウトすることができるため、ストレージパフォーマンスが直線的に向上します。

ESG技術検証

ESGは、Dell EMCの HPCおよび AI イノベーションラボにおいて、Deep Learning with Intelに関する評価とテストを実施し

ました。テストは、ディープラーニングモデルをトレーニングする際のソリューションのパフォーマンスと拡張性を定量化することが目的

でした。また、TCOにおけるメリットの把握と、Nautaがどのようにしてモデル開発ワークフローをシンプル化しているかについても焦

点を当てました。

AI モデル開発の促進

ESG では、ディープラーニングのモデルおよびデータセットのオープンソースライブラリである Google の Tensor2Tensor（T2T）

を使用して、Deep Learning with Intelのパフォーマンス特性を明らかにしました。T2Tに含まれる多くの DL問題の中から、言

語翻訳に注目し、Big Transformerモデルを使用して英語からドイツ語へのニューラルマシン翻訳（NMT）のトレーニングを実

施しました。データセットには文のペアが 450万個含まれ、パフォーマンスは 1秒あたりのトークン処理数で測定しました（1 トーク

ンを 1単語としています）。

T2Tのパフォーマンスは、2種類の構成で測定しました。最初の構成では、コンテナを使用せずに、ベアメタルのインテルハード

ウェアスタックで T2Tモデルのトレーニングを実行しました。2番目の構成では、Deep Learning with Intelのインフラストラクチャ

スタックをフル活用し、Nautaを使用して Kubernetes とコンテナ（コンテナ化）を使い、T2Tモデルのトレーニングを実行しまし

た。各構成では、1、2、4、8、16個のコンピューティングノードを使用して、トレーニングを複数回実行しました。この結果を図 2

および表 1に示します。

https://github.com/tensorflow/tensor2tensor/



図 2：Tensor2Tensor Big Transformerのトレーニング結果


表 1 Tensor2Tensor Big Transformerのトレーニング結果

コンピューティングノード

ベアメタル

1秒あたりのトークン数

Nautaのコンテナ化

1秒あたりのトークン数向上率（%）

1 1,115 1,320 18%

2 2,181 2400 10%

4 4,302 4,320 0%

8 8,478 8,800 4%

16 16,675 16,960 2%


数字が持つ意味

• すべてのテストケースにおいて、ディープラーニングにコンテナを使用したことによるパフォーマンスの低下はありませんでした。

• ほとんどのケースにおいて、コンテナを使用した結果、パフォーマンスが若干向上しました。これは、カーネルコンテキストの切り

替えが最小限に抑えられたこと、および Kubernetesの効率的なスケジューリングアルゴリズムによって導き出された結果で

あると考えられます。

1,1152,181

4,302

8,478

16,675

1,3202,400

4,320

8,800

16,960

0

5,000

10,000

15,000

20,000

1 2 4 8 16

Th

rou

ghp

ut

(To

ken

s p

er s

eco

nd

)

mo

re is

bet

ter

Compute Nodes


Tensor2Tensor Big Transformerモデルトレーニング結果

Bare Metal Nauta Containerized



インフラストラクチャの拡張性

ESGでは、トレーニング結果を使用して、Deep Learning with Intelの拡張パフォーマンスを把握しました。図 3は、システムの

基本パフォーマンスとして 1個のコンピューティングノード構成を使用し、線形外挿法に基づく拡張に対して、Nautaのコンテナ化

による結果をプロットしています。プロットは指数軸を使用しており、この場合は、各区分は前の区分の 2倍の値を示します。結

果は表 2にも記載されています。

図 3：Deep Learning with Intelの拡張性


表 2 Deep Learning with Intelの拡張性

コンピューティングノード線形外挿法に基づく拡張

1秒あたりのトークン数

Nautaのコンテナ化

1秒あたりのトークン数対理論値（%）

1 1,320 1,320 0%

2 2,640 2400 91%

4 5,280 4,320 82%

8 10,560 8,800 83%

16 21,120 16,960 80%


91%

82%

83%

80%

1,024

2,048

4,096

8,192

16,384

32,768

1 2 4 8 16

Th

rou

ghp

ut

(To

ken

s p

er s

eco

nd

)

mo

re is

bet

ter

Compute Nodes


Tensor2Tensor Big Transformer Model

Training Results

Extrapolation of Linear Scaling Nauta Containerized




• Nautaを活用した Deep Learning with Intelでは、ほぼ直線的な拡張がみられ、コンピューティングノードの数が 16倍に

増加した際に理論上の最大スループットの 80%以上を達成しました。

重要性の確認

AIモデルをトレーニングするデータサイエンティストの主な懸念事項は、パフォーマンスと拡張性です。より高速なソリューションに

より、データサイエンティストはさらに多くのハイパーパラメーターを組み合わせた、大規模なデータセットを使用してテストを実施

し、より正確なモデルを作成して、本番環境に対応した AIモデルの統合を高速化できます。

ESGは、コンテナ化とオーケストレーションの活用によって Deep Learning with Intelのパフォーマンスが向上したことを確認し

ました。モデルのトレーニングは Nautaによって最大 18%高速化され、このソリューションでは、コンテナ化された学習モデルを

並列実行する 16個のコンピューティングノードで 1秒あたり 16,960 トークンが処理されました。

Deep Learning with Intelのパフォーマンスは、ほぼ直線的な拡張性を示し、このソリューションでは、トレーニングを 1個から

16個のコンピューティングノードに拡張した際、理論上の最大スループットの 80%以上が達成されました。



AIプログラムの TCOの改善

ESGでは、Deep Learning with Intelの総所有コスト（TCO）を評価しました。また、業界をリードするパブリッククラウドの

AIサービスを使用して、同じ AIワークロードを実行した場合の TCOも評価しています。TCOの比較では、ディープラーニング

モデルのトレーニングとディープラーニングの推論の、2種類のシナリオをモデル化しています。ただし、Deep Learning with Intel

は推論に適していないため、大半の本番環境では、レイテンシーの推論値が期待される値よりも大きくなります。このソリューション

は、モデル推論のテストと検証に使用できます。また、CPUのみを使用するオンプレミスインフラストラクチャと、GPUアクセラレー

ターを使用するオンプレミスインフラストラクチャの TCOを比較しました。

Deep Learning with Intelの TCOモデルは、一般入手が可能な実売価格設定を使用し、ハードウェア、ソフトウェア、サービス、

IT管理、電力、冷却の各コストをモデル化したものです。ハードウェアのコストには、サーバーシャーシ、ラック、ケーブル接続、ネッ

トワークスイッチ、ネットワークケーブル接続を含みました。ソフトウェアのコストには、すべてのインストール済みライセンスソフトウェ

アの年間ライセンス費用を含みました。このソリューションには、オンプレミスでソリューションをインストールして構成するプロフェッショ

ナルサービスが含まれます。IT管理、電力、冷却のコストは、サーバーとネットワークスイッチにかかるコストの 30%になると見積も

り、システムは、1日 24時間、週 7日間稼働すると想定しました。

業界をリードするパブリッククラウドサービスで同様のワークロードを実行するための TCOモデルには、2019年 3月の公開価格

リストを使用しました。このモデルには、演算処理時間、静的データストレージ、クラウドとのデータ送受信、パブリッククラウドデー

タセンターへの直接ネットワーク接続にかかるコストが含まれています。演算処理時間は、1日あたり 12時間、週に 7日間とし

てモデル化されました。データストレージは、10 TBの静的ストレージ、1か月あたり 10 TBの入力、および 1か月あたり 10 TB

の出力を想定してモデル化されました。

モデルのトレーニング

私たちは、まず、ディープラーニングモデルのトレーニングに対する 3年間の TCOを評価しました。Deep Learning with Intel

のモデルには、16個のコンピューティングノード構成をモデル化しました。

パブリッククラウドサービスでは、モデルのトレーニングにかかるコストから Jupyter Notebookを実行するためのコストを除外してい

ます。10個の Notebook インスタンスをモデル化し、10人のデータサイエンティストの同時作業をサポートしました。80個のト

レーニングインスタンスをモデル化しました。各インスタンスには仮想 CPU（物理 CPU コアとほぼ同等）を 8個搭載し、Deep

Learning with Intelの CPU コア 640個に対応させています。表 3 と図 4は、Deep Learning with Intel とパブリッククラウド

サービスの双方のトレーニングにおける、3年間の TCOを比較したものです。



表 3 ディープラーニングモデルのトレーニングの構成と 3年間の TCO

Deep Learning with Intel 業界をリードするパブリッククラウドの AI

サービス

同時作業するデータサイエンティスト 20 10

CPU稼働時間 24時間/日

7日/週

12時間/日

7日/週

CPU コア（Dell EMC）

仮想 CPU（パブリッククラウドサービ

ス）

640 640

メモリ 2,592 GB 2,560 GB

静的ストレージ 100 TB 10 TB

1か月あたりのデータ入力 n/a 10 TB

1か月あたりのデータ出力 n/a 10 TB

3年間の TCO 74万 8,893 ドル 98万 7,077 ドル


図 4：ディープラーニングモデルのトレーニングに要する 3年間の TCO





• ディープラーニングのトレーニングにおいて、Deep Learning with Intelの 3年間の TCOは、業界をリードするパブリックク

ラウドの AIサービスで同様のワークロードを実行する場合よりも 23万 8,000 ドル低減されます。

• ディープラーニングのトレーニングにおいて、Deep Learning with Intelの 3年間の TCOは 24%抑えられるうえ、2倍の

データサイエンティストと 2倍の演算処理時間（1日 12時間に対して 1日 24時間）の作業、および 10倍のストレー

ジ容量（10TBに対して 100TB）を実現しています。

推論

次に、ディープラーニングの推論における 3年間の TCOをモデル化しました。ここでは、サイエンティストが新しいデータでディープ

ラーニングモデルを使用し、推論を実施しています。TCOの計算には、Deep Learning with Intelが推論アプリケーションに適

していないことを示すレイテンシーおよび拡張性の考慮事項は含まれていません。

Deep Learning with Intelの TCOモデルは、4個のコンピューティングノード構成でモデル化し、推論演算処理を高速化する

ためにオプションのハードウェアコプロセッサーを使用しました。

トレーニングシナリオと同様に、パブリッククラウドサービスの 3年間の TCOモデルでは、10個の Notebook インスタンスをモデル

化し、10人のデータサイエンティストの同時作業をサポートしています。パブリッククラウドサービスでは、推論サービスの CPU コ

ア数が公開されない代わりに、浮動小数点演算パフォーマンスが公開されています。私たちは、80個の推論インスタンスをモデル

化しました。各インスタンスには 2 GBのメモリーを搭載し、Deep Learning with Intelの 160個の CPU コアで、演算処理能

力のパリティを維持しています。表 4 と図 5は、Deep Learning with Intel とパブリッククラウドサービスの双方の推論における、

3年間の TCOを比較したものです。



表 4 ディープラーニングモデルの推論の構成と 3年間の TCO

Deep Learning with Intel 業界をリードするパブリッククラウドの

AIサービス



7日/週

12時間/日

7日/週

CPU コア（Dell EMC）

仮想 CPU（パブリッククラウドサービ

ス）

160 n/a

メモリ 768 GB 160 GB


1か月あたりのデータ入力 n/a 10 TB

1か月あたりのデータ出力 n/a 10 TB

3年間の TCO 41万 4,407 ドル 47万 5,308 ドル


図 5：ディープラーニングモデルの推論に要する 3年間の TCO





• ディープラーニングの推論において、Deep Learning with Intelの 3年間の TCOは、業界をリードするパブリッククラウド

の AIサービスで同様のワークロードを実行する場合よりもおよそ 6万 1,000 ドル低減されます。

• ディープラーニングの推論において、Deep Learning with Intelの 3年間の TCOは 13%抑えられるうえ、2倍の演算処

理時間（1日 12時間に対して 1日 24時間）の作業、および 10倍のストレージ容量（10TBに対して 100TB）を実

現しています。

オンプレミスでの高速ディープラーニング

最後に、Deep Learning with Intel と、Deep Learning with Intel と同等のスタックを搭載する高速 GPU構成の 3年間の

TCOを比較しました。これにより、オンプレミスにおけるディープラーニング環境の CPUを GPUに置き換えた場合の TCOへの

影響を把握することが可能になりました。この 2種類の構成の間で演算処理能力のパリティを維持するために、インテルからの情

報と経験的証拠に基づき、GPUに対して 3倍の CPUを構成しました。私たちは、12個のコンピューティングノードの CPU構

成と、GPUアクセラレーター構成を備える 4個のコンピューティングノードをモデル化しました。表 5 と図 6は、2種類の構成にお

ける 3年間の TCOを比較したものです。

表 5 オンプレミスでの高速ディープラーニングの構成と 3年間の TCO

Deep Learning with Intel 同等の高速 GPUインフラストラクチャ

スタック



7日/週

24時間/日

7日/週

CPU コア（Dell EMC） 480 80

メモリ 2,304 GB 768 GB


3年間の TCO 56万 7,938 ドル 86万 3,470 ドル




図 6：オンプレミスでの高速ディープラーニングに要する 3年間の TCO



• ディープラーニングに GPUアクセラレーターを導入すると、同等のパフォーマンスを得るために 29万 5,000 ドルの追加コスト

（34%増）が発生します。



4 出典：ESGマスターアンケート結果『Artificial Intelligence and Machine Learning: Gauging the Value of Infrastructure』（2019年 3月）

重要性の確認

ESGの調査において、インフラストラクチャのコストは、アンケート対象の多くの企業が引き合いに出した AI/MLの課題です。4

そのため、パブリッククラウドの AIサービスが魅力的であることは、初期導入コストが低く、サービスが運用コストとして分類され

ていることからも、意外なことではありません。

ESGは、オンプレミスソリューションである Deep Learning with Intelの 3年間の TCOが、パブリッククラウドの AIサービス

を利用する場合よりも大幅にコストを抑えられると評価しました。ディープラーニングモデルの開発にあたり、Deep Learning

with Intelでは、23万 8,000 ドルを上回る 24%のコスト削減を実現しています。ディープラーニングの推論において、Dell

EMCのオンプレミスソリューションでは、およそ 6万 1,000 ドルとなる 13%のコスト削減を実現しています。

パブリッククラウドの AIサービスにかかるコストは大きく変動する可能性があり、月額の料金は、偶発的なミスに起因して非常

に高額な CPU時間を消費したり、大量のデータを生成したりする予算超過プロセスが発生した場合、驚くほど高くなります。

データサイエンティストの検証は、当初の予想よりも演算処理時間が増え、コストが増大し、予算の前提条件を超過する可

能性があります。一方で、Deep Learning with Intelのオンプレミスソリューションでは、マネージャーと財務会計担当者に既

知の予測可能なコストを提示しています。

https://research.esg-global.com/reportaction/aimlmsr/Toc



使いやすさのシンプル化

ESGは、Deep Learning with Intelが、AI インフラストラクチャスタックの導入をシンプルにし、データサイエンティストが成果を

得るまでの時間を短縮する方法を評価しました。AI インフラストラクチャスタックは複雑であり、大規模な演算処理能力、スト

レージ、およびネットワーキングを備えたハードウェアスタックと、オープンソースとライセンスのソフトウェアの組み合わせを統合するソ

フトウェアスタックから構成されます。AIソリューション全体に適切なコンポーネントを選択、統合、およびチューニングするには、AI

の専門知識とシステムおよび統合に関する専門知識の両方が必要です。

Deep Learning with Intelは、必要なすべてのソフトウェア、コンピューティング、ストレージ、ネットワーキングハードウェアを提供

しており、このソリューションには、Dell EMCプロフェッショナルサービスによるオンサイトでのインストールと構成が含まれます。した

がって、IT部門とデータサイエンティストは、オペレーティングシステム、AI ライブラリ、オーケストレーション、管理ソフトウェアのイン

ストールと構成の複雑で時間のかかる作業をスキップして、数週間から数か月分の労力を節約できます。

Deep Learning with Intelは、データサイエンティストのディープラーニング開始プロセスをシンプルにする、Nautaプラットフォー

ムと統合されています。図 7に示すように、Nautaを使用した場合、データサイエンティストは従来の AI インフラストラクチャで使

用されるマルチステッププロセスを行うのではなく、システムにログインし、テンプレートパラメーターを指定して、ディープラーニングの

トレーニングジョブを送信します。Nautaでは、自動化とオーケストレーションを行う Kubernetesを使用して、トレーニングジョブ

を実行し、出力を収集して、Nauta GUIまたは TensorBoardでユーザーに結果を提供します。可視化ツールによって、データ

サイエンティストは、いっそう簡単に出力を解釈し、ディープラーニングモデルを調整できるようになります。

図 7：従来の AIインフラストラクチャと Deep Learning with Intelの作業工数




ハイパーパラメーターチューニング（ディープラーニングアルゴリズムに最適なハイパーパラメーターセットの選択）は、データサイ

エンティストに共通のタスクです。ハイパーパラメーターは、その値を学習プロセスの制御に使用するパラメーターです。従来のハイ

パーパラメーターチューニング方式は、パラメータースイープです。これは、全数検索であり、すべてのパラメーターの組み合わせを

テストし、最適なモデルを生成するパラメーターセットを選択するものです。この方法論では、データサイエンティストが各組み合わ

せに対してジョブスクリプトを作成し、ジョブを送信して、結果を収集してから、最適な組み合わせを決定する必要があります。

Nautaでは、Kubernetes を使用し、根気のいるハイパーパラメーターチューニング作業の自動化とオーケストレーションを実行で

きます。データサイエンティストは、各ハイパーパラメーターに期待される範囲を含めたファイルを 1個作成し、ジョブを送信するの

みです。Nauta は、ハイパーパラメーターの組み合わせのセット全体を自動的に計算し、各組み合わせに対してジョブを実行して、

結果を収集してから、TensorBoardにその結果を表示します。図 8に示すように、これによってワンタッチのハイパーパラメーター

チューニングが可能になり、データサイエンティストは他のタスクに労力を傾けられます。

図 8：従来の AIインフラストラクチャと Deep Learning with Intelのハイパーパラメーターチューニング


従来の AI インフラストラクチャでは、ジョブの構成に平均 5分、ジョブの送信にさらに数分かかります。300個のジョブを処理する

ハイパーパラメーターチューニングの試行には、データサイエンティストの時間と労力が 30時間分必要になります。



Nautaを使用すると、5分で 300個すべてのジョブを構成して送信でき、データサイエンティストの負担は軽減され、他のタスクを

実行できるようになります。インテルを搭載した Dell EMC Ready Solution for AI/DLは、ジョブの要件に従い、最大 16個の

ジョブを同時に実行でき、合計実行時間と導入時間を短縮することが見込めます。

より大きな真実

最新のマルチコアプロセッサーと GPUは、AIをサイエンスフィクションから現実に具現化してきました。そしてあらゆる組織が、単

なる概念実証にとどまらず、運用化された AIプログラムのメリットを享受できるようになっています。ESGの調査では、45%の組

織が、6か月未満で AI/ML イニシアティブから収益を得られると想定しています。5しかし、これらの組織は、大きな複数の課題に

直面しており、それは AI インフラストラクチャのコストおよび機能から、不十分なアプリケーション開発環境、経験豊富で熟練した

スタッフの不足にまで及びます。

Deep Learning with Intelは、サーバー、ネットワーキング、ストレージ、AIソフトウェアで構成される、標準化された AI インフラス

トラクチャスタックです。このソリューションには、コンテナテクノロジー、自動化、およびオーケストレーションを活用するための Nauta

プラットフォームが含まれています。このハードウェアおよびソフトウェアの検証済み統合ソリューションは、AI イニシアティブに合わせて

チューニングおよび最適化されており、導入時間の短縮、データサイエンティストのワークフローとワークロードのシンプル化、パ

フォーマンスの向上、TCOの削減を実現します。

ESGは、Nautaの使用によって、Deep Learning with Intel ソリューションにおける高度なトレーニングのパフォーマンスが向上

することを確認しました。コンテナ化されたトレーニングワークロードの実行速度は、ベアメタルシステムで同様のワークロードを実

行する場合よりも最大で 18%高速化しました。さらに、このソリューションは、ほぼ直線的な拡張性を実現し、コンピューティング

ノード数を 1個から 16個に拡張した場合、理論上の最大パフォーマンスの 80%を達成しています。

5 同書。

重要性の確認

ディープラーニングは複雑で困難です。そしてモデル開発の難しさは、経験豊富なスタッフやトレーニングを受けたスタッフの不

足、およびインフラストラクチャスタックの複雑さによって難易度を増しています。データサイエンティストは、ML促進の反復的で

周期的な学習プロセスを大幅に複雑化する、ライセンスツールとオープンソースツールの大掛かりな組み合わせを使用しま

す。これにより、タイムトゥビジネスバリューの課題が生じます。したがって、インフラストラクチャの導入をシンプルにし、DLモデル

開発プロセスを自動化するソリューションが必要です。

ESGの検証では、Dell EMCプロフェッショナルサービスが初期導入と構成を実施する Deep Learning with Intelによって、

導入がシンプルになったことが明らかになりました。Nautaは、データサイエンティストのワークロードをシンプル化および自動化

し、自動のハイパーパラメーターチューニングを実現しました。Deep Learning with Intelでは、300個のジョブのハイパーパラ

メーターチューニング実行時間を 30時間からわずか数分に短縮できます。これにより、データサイエンティストは、他の重要な

タスクに専念できるようになります。



Nautaプラットフォームのオーケストレーションシステムおよび自動化システムにより、モデル開発がシンプルになり、ワークフローのス

テップ数が大幅に削減されました。Nautaの自動化は、自動のハイパーパラメーターチューニングを可能にし、根気のいる手間が

かかるタスクをシンプルにして、データサイエンティストが他の重要なタスクに専念することを可能にしました。

Deep Learning with Intelでは、パブリッククラウドで同じワークロードを実行するよりもコストパフォーマンスに優れていることが

実証されました。ディープラーニングトレーニングでは、3年間にわたり、16個のコンピューティングノードを使用したソリューションが、

業界をリードするパブリッククラウドの AIサービスよりもコストを 24%抑えることができました。ディープラーニング推論ワークロードで

は、12個のコンピューティングノードを使用したソリューションが、業界をリードするパブリッククラウドの AIサービスよりもコストを

13%抑えることができました。Deep Learning with Intelの 3年間の TCOでは、パブリッククラウドサービスのわずか 1日 12

時間の演算処理時間と 10TBのストレージ消費量に対して、1日 24時間の演算処理可能時間と 100 TBのストレージ容量

を実現しました。

使いやすさとコストパフォーマンスに優れ、AI実務担当者とデータサイエンティストが AIプログラムを迅速かつ簡単に運用化でき

る AI/ML インフラストラクチャスタックを求めている組織は、Deep Learning with Intelがいかに AIプロジェクトをシンプルで迅速

にするかを精査する必要があります。



付録

表 6 Deep Learning with Intelの構成

マスター/ログインノード – Dell EMC R740xd x 1

プロセッサーインテル Xeonスケーラブル Gold 6148（20 コア） x 2

メモリ 16GB 2667MHz DDR4 x 12（合計 192GB）

ストレージ 12TBディスクドライブ x 12

ネットワーク Intel X710 10Gb Ethernet アダプター

コンピューティングノード – 4台の C6000シャーシに 16台の Dell EMC C6420 を搭載

プロセッサーインテル Xeonスケーラブル Gold 6148（20 コア） x 2

メモリ 16GB 2667MHz DDR4 x 12（合計 192GB）

ストレージ 250GB M.2（起動に最適化された SSD）

ネットワーク Intel X710 10Gb Ethernet メザニンアダプター


すべての商標名は、それぞれの企業が所有権を保有しています。この資料に記載されている情報は、ESG（Enterprise Strategy Group）が信頼できると

みなす出典から取得したものですが、ESGが保証するものではありません。この資料には、ESGの見解が記載されていますが、必要に応じて変更される場

合があります。この資料は、Enterprise Strategy Group, Inc.が著作権を保有しています。Enterprise Strategy Group, Inc.の明示的な同意を得ずに、

ハードコピーの形式、電子的、またはその他の方法を問わず、受領が許可されていない者にこの資料の全部あるいは一部を複製または再配布する行為は、

米国著作権法に違反し、損害賠償請求の民事提訴、および妥当な場合は刑事告発の対象となります。ご質問がございましたら、ESG Client Relations

（電話：508-482-0188）までお問い合わせください。

www.esg-global.com [email protected] P. 508.482.0188

Enterprise Strategy Groupは、ITの分析、研究、検証、戦略立案を行う企業として、グローバルなITコ

ミュニティにマーケットインテリジェンスと実用的な詳細情報を提供します。


dell emc ready solution for ai deep learning with intel · deep learning with intel...

Documents