4日立ソフトウェアスタック - pc cluster
TRANSCRIPT
1
1Copyright © Hitachi,Ltd.2009 All rights reserved
株式会社 日立製作所
2009/3/13
日立のHPC分野への取り組み
PCクラスタワークショップin大阪
2Copyright © Hitachi,Ltd.2009 All rights reserved
1
2
3
目 次
SR16000シリーズ
日立テクニカルサーバラインナップ
HA8000-tc/RS425
日立ソフトウェアスタック4
日立ストレージ製品5
2
3Copyright © Hitachi,Ltd.2009 All rights reserved
'82 '85 '90 '95 '00 ‘05
SR11000
First Japanese vector supercomputer
S-810Single CPU peak
performance 3 GFlops
S-820
Single CPU peak performance 8 GFlops(fastest in the world)
S-3800
First HPC machine with combined vector & scalar
processing
SR8000
Hitachi started development of Hitachi’s original chipsetand server for Itanium® processor.
'96
First commercially available distributed memory parallel
processor
SR2201
‘10
Vector
SR16000Over 3-4 times node
peak performance withPOWER6™ processor
147.2 GFlops of node peak performance with POWER5+™
processor (Model K2)
Vector-Scalar Combined type
Scalar Parallel (MPP type)
POWER6 is a trademark of IBM corporation.POWER5+ is a trademark of IBM corporation.
HA8000-tc/RS425High Performance
Server for Cluster System
Almost 30 Years of Super Computing Development
日立テクニカルサーバ日立テクニカルサーバ : History & Future: History & Future1-1
PC ServerHA8000 Series
Petaflop computer
4Copyright © Hitachi,Ltd.2009 All rights reserved
日立テクニカルサーバ ラインナップ1-2
スカラSMPクラスタPCクラスタ
PCクラスタからスカラSMPまでHPCラインナップ拡充PCクラスタからスカラSMPまでHPCラインナップ拡充
HA8000-tc/RS425
Opteron/Barcelona2.3/1.9GHz 16way
●従来SR11000シリーズにテクニカルPCサーバの投入●SR11000後継として最新POWER6プロセッサ32way搭載SR16000発表●最新のOpteron4ソケットプロセッサ投入により
X86アーキテクチャの技術計算アプリで世界最高性能を実現
SR16000L2モデル
POWER64.7GHz 32way水冷モデル
POWER63.5GHz 32way空冷モデル
SR16000L1モデル
SR16000VL1モデル
POWER65.0GHz 64way空冷モデル
3
5Copyright © Hitachi,Ltd.2009 All rights reserved
SR16000シリーズ
2
6Copyright © Hitachi,Ltd.2009 All rights reserved
スーパコンピュータSR16000のご紹介
POWER6プロセッサを搭載した科学技術計算向け高性能コンピュータ~従来機比 単位面積あたり性能を9倍、単位電力あたり性能を3倍に強化~
■ 新製品「SR16000」の特長(1) 新世代マイクロプロセッサPOWER6搭載
クロックレート 3.5GHz/4.7GHzを誇る新世代POWER6が、より高速な演算能力を提供。単体SMPノードでは、448GFLOPS/601.6GFLOPSの理論演算性能を実現します。
(2) 最大512ノードのスケーラビリティマルチノードシステムでは、最大512ノードで 229TFLOPS/308TFLOPSの超高速演算性能を実現。ノード間転送速度最大16GB/秒(単方向)x2の高速ノード間ネットワークにより、最適なシステム性能を引き出します。
(3) 世界最高クラスの高密度実装1ラックに最大14ノードを搭載可能。1ラックあたりの理論演算性能では世界最高クラスの8.4TFLOPSを実現。より小さなラック占有面積で100TFLOPS級のシステム導入が可能です。
(4) 環境性能の追求冷却方式に水冷技術を採用し、冷却の効率化を図るなど、従来比約3倍の電力性能比向上を実現。電気代や空調コストなどのランニングコストを低減します。
(5) 充実した運用支援機能予実算管理、ノードの稼働時保守などの機能で運用を容易にします。
■ 製品情報のウェブページhttp://www.hitachi.co.jp/Prod/comp/hpc/SR_series/index.html
2008/4/102008/4/10製品発表!製品発表!
POWER6 プロセッサ
2-1
4
7Copyright © Hitachi,Ltd.2009 All rights reserved
SR16000シリーズの実装構造(外観)
2. ノード1. 筐体
2-2
8Copyright © Hitachi,Ltd.2009 All rights reserved
LINPACK HPCLINPACK HPC::SR11000 K2SR11000 K2モデルとのノード性能比較モデルとのノード性能比較
2-3
0
50
100
150
200
250
300
350
400
450
500
SR16K/L2POWER6
(4.7GHz,32way)
SR11K/K2POWER5+
(2.3GHz,16way)
SR11K/K1POWER5+
(2.1GHz,16way)
SR11K/H1POWER4+
(1.7GHz,16way)
性能
値(G
FL
OP
S)
従来比3従来比3..5倍の実効性能達成5倍の実効性能達成
3. 5倍 大幅なノード実効性能UP!
5
9Copyright © Hitachi,Ltd.2009 All rights reserved
PCクラスタ向けサーバHA8000-tc/RS425
3
10Copyright © Hitachi,Ltd.2009 All rights reserved
12004 2005 2006 2007 2008
ピー
ク性
能[T
Flop
s]
出荷年
★
筑波大学殿筑波大学殿PACSPACS--CSCS
QCD, 素粒子物理東京大学東京大学
情報基盤センター殿情報基盤センター殿
10
100
5.4Tflops
14.34Tflops★
★ 140Tflops分子科学研究所殿分子科学研究所殿
ナノサイエンス
HA8000/110W クラスタ(449 ノード )
Xeon(R) ベース専用クラスタ(2,560 ノード)
HA8000-tc/RS425 クラスタ(952 ノード )
大規模PCクラスタ導入事例3-1
6
11Copyright © Hitachi,Ltd.2009 All rights reserved
3-2 HA8000-tc/RS425 仕様
● Latest Quad Core Processor● Large-Capacity Memory● High-Speed Network● High-Density Package
HA8000-tc/RS425Processor (Frequency) QuadCore AMD Opteron processor 8356(2.3GHz)/8347(1.9GHz)Number of processors (cores) min 2(8)/max 4(16)
Cache memory 2nd level:512KBx4、3rd level:2MBHyperTransport frequency 1,000MHzMain memory ECC DDR2 667Registered DIMM Chipkill
max/min 4GB/128GBnumber of slot 32
Disk Capacity HDD type 250GB[SATAII/300]
(Internal) RAID level RAID1 250GB(250GBx2)~250GBx2(250GBx4)PCI slot PCI-Express<x8>: 3slot(Low profile)、PCI-Express<x8>: 1slot,
or PCI-Express<x8>: 3slot(Low profile)、64bit/133MHz: 1slotNetwork Interface 1000BASE-T/100BASE-TX/10BASE-Tx2
12Copyright © Hitachi,Ltd.2009 All rights reserved
3-3 HA8000HA8000--tc/RS425tc/RS425のの構成
Quad-CoreOpteron#3
(Barcelona)
Quad-CoreOpteron#2
(Barcelona)
Quad-CoreOpteron#0
(Barcelona)
Quad-CoreOpteron#1
(Barcelona)
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
Max
4x HDD
RJ45
RJ45 2-ports
42 GB/s 25 GB/s
16 GB/s(4 x PCIe)
SouthBridge#0
South
Bridge#1
PCI-Express
PCI-Express
PCI-Express
PCI-Express
RAIDController
BMC
Gb-E
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
SMPSMP並列、並列、MPIMPI並列並列
HWHWによるによるRAID1RAID1サポートサポート
NW Adapter Card 1NW Adapter Card 1~~44枚枚NWNWトランキングをサポートトランキングをサポート
バスクロック:1GHz
RJ45
Quad-CoreOpteron#3
(Barcelona)
Quad-CoreOpteron#2
(Barcelona)
Quad-CoreOpteron#0
(Barcelona)
Quad-CoreOpteron#1
(Barcelona)
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
Max
4x HDD
RJ45
RJ45 2-ports
42 GB/s 25 GB/s
16 GB/s(4 x PCIe)
SouthBridge#0
South
Bridge#1
PCI-Express
PCI-Express
PCI-Express
PCI-Express
RAIDController
BMC
Gb-E
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
4 x D
IMM
SMPSMP並列、並列、MPIMPI並列並列
HWHWによるによるRAID1RAID1サポートサポート
NW Adapter Card 1NW Adapter Card 1~~44枚枚NWNWトランキングをサポートトランキングをサポート
バスクロック:1GHz
RJ45
7
13Copyright © Hitachi,Ltd.2009 All rights reserved
3-4 HA8000-tc/RS425の概観
3.5” HDD x max.4
PSUx2
D:810mm
H:86mm
W:430mm
Network Adapter
Opteron
DIMM
14Copyright © Hitachi,Ltd.2009 All rights reserved
日立ソフトウェアスタック
・自動並列化コンパイラ・数値計算ライブラリ
・分散並列ファイルシステム
4
8
15Copyright © Hitachi,Ltd.2009 All rights reserved
SR16000との共通ソフトウェアスタック
HSFS Client※HSFS※統合ファイルシステム
最適化Fortran※最適化FORTRAN77/90※コンパイラ
最適化C/C++※最適化C,最適化標準C++※
MSL2,MATRIX/MPP,MATRIX/MPP/SSS※
MSL2,MATRIX/MPP,MATRIX/MPP/SSS※
ライブラリ
ノード間通信
ジョブ管理
クラスタ管理
OSハードウェア管理
機能
MyrinetMPIParallel Environment(MPI)PBSpro(他社製品)LoadLeveler for AIX5L-CSM for AIX5LRed Hat 5U1AIX 5LJP1/SCによるハード監視と電源管理※
次世代PCクラスタ,Linux (※:日立独自)SR11000,AIX機能 (※:日立独自)
日立既存製品、SR16000、HA8000利用者プログラムのソース互換性確保
日立既存製品との同一使用性の確保
4-1
16Copyright © Hitachi,Ltd.2009 All rights reserved
日立自動並列化コンパイラ4-2
姫野ベンチ(Ext.Large)
1.01.6
3.2
6.2
1.0
1.9
3.7
6.1
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
1 2 4 8
実行スレッド数
加速
率(倍
)
SR11000/K2
HA8000-tc
最適化Fortranコンパイラの自動並列化機能により、
姫野ベンチでSR11000と同等の加速率を達成。
9
17Copyright © Hitachi,Ltd.2009 All rights reserved
http://www.top500.org/4-3 TOP500状況
東京大学情報基盤センター殿システム
Linpack測定値;82.98Tflops
理論ピーク;113Tflops = (512+256) x 147.2
効率;73.4%
18Copyright © Hitachi,Ltd.2009 All rights reserved
日立ストレージ製品
5
10
19Copyright © Hitachi,Ltd.2009 All rights reserved
概要:
・1967年の磁気ディスク装置出荷より40年の実績
・国内:外付け型ディスクアレイ出荷金額で
12年連続トップシェア(27%)*1
・グローバル:エンタープライズ用途ディスクアレイで
トップシェア(28%)
今後:
・業務効率化に向けたサーバ環境の仮想化、インフラ
統合の進展に対応し、仮想化統合、一元管理、
省電力化を推進
日立ストレージ製品の概要と今後
*1 出典:IDC-Japan 2008年5月「国内ディスクストレージシステム市場2007年の分析と2008年~2012年の予測
(J8120105)
5-1
20Copyright © Hitachi,Ltd.2009 All rights reserved
性能、機能
ファイルストレージ
Hitachi Universal Storage Platform V
Hitachi Adaptable Modular Storage
Hitachi Universal Storage Platform VM
Hitachi SimpleModular Storage
ローエンドディスクアレイ
Hitachi Content Archive Platform
エンタープライズディスクアレイ
ミッドレンジディスクアレイ
拡張性
Hitachi Essential NAS Platform
AMS1000
AMS500
AMS200 AMS2100AMS2100
AMS2300AMS2300
AMS2500AMS2500
NEWNEW
NEW
コンテンツアーカイブストレージ ネットワークファイルストレージ
ストレージ製品ラインナップ5-2
11
21Copyright © Hitachi,Ltd.2009 All rights reserved
ストレージ連携による省電力化
100(%)
50
75
25
I/O実行
HDDスピンダウ
ン
筐体電源OFF
40%減
75%減
増設筐体単位の電源制御により、HDDスピンダウンを上回る省電力を実現
消費電力効果AMS2500筐体単位省電力機能
今後、より大規模構成化が進むと、全ディスクへの同時アクセス頻度は減少する。
⇒当然、使ってない部分の電源は停止したい。
・ジョブスケジューラやファイルシステムからストレージの電源制御を行なうことで省電力化を実現する。
・筐体単位で電源を制御すると最大75%の省電力実現。
5-3
22Copyright © Hitachi,Ltd.2009 All rights reserved