オフィスサイトウ 斉藤之雄

www.fxfrog.com

Twitter @yukio_saitoh

不許複製 2012/07/03

最近のスパコン事情

４５分で理解する

1

インデックス

• スパコンとは（一般定義）

• グリッド・コンピューティングとの違い

• 実物スパコン例 (東京工業大学 TSUBAME 2.0）/ GPGPU

• 実物スパコン例 (富士通 K コンピュータ) / 専用CPU

• スパコン性能は国際競争力を示す

• GPGPU 入門マシンを自作しよう（予算5万円）

• 身近なスパコン、計算資源利用方法

• きっと役立つ情報入手先

• まとめ

メモ：技術者向けではなく広く一般パソコン利用者が抵抗なく吸収できるように書きました 2

スパコンとは（一般定義）

• スーパーコンピュータ（略称：スパコン）は、1970年代前半の黎明期から演算処理速度がその時

代の一般的な大型コンピュータよりも極めて高速なコンピュータのこと。1990年代以降は並列コンピューティングによるハイパフォーマンス・コンピューティング (HPC) もほぼ同義語として使用されているが、スパコンの構成法の一つである。

• 主要スパコンメーカ：富士通,日立, NEC, IBM, HP, SGI, クレイ, DELL 等

• スパコンは膨大な科学計算処理が目的であり、かつては軍事目的や工業製品の設計用に注目されていたが、1990年以降は新薬開発の短縮化、外科手術の最適化、地震津波予測、気象予測、構造計算、金融工学のシミュレーションに幅広く利用されている。

• 基盤ソフトウェアは 2000年までは UNIX が主流であったが、現在は※ Windows HPC Server 2008 R2

採用例があるが、ソルバー（科学技術計算公式群）が充実している Linux が主流となっている。

• スパコンの構成は並列化計算のため構成は計算ノード、ネットワーク、ペタバイトストレージを形成しており高密度配置した 19’ ラック１基で数100 GFLOPS の演算性能を持つものが珍しくない。

• Top 500 と呼ばれる全世界のスパコン・ベンチマークランキングリストがあるが、ベンチマークに対する消費電力の優れたスパコンリストに Green 500 がある。Top 500 と Green 500 両方にトップクラスであることがホンモノの実力を持ったスパコンであるといえる。

3

※ 初代は Windows Compute Cluster Server

グリッド・コンピューティングとの違い

4

• グリッドは広域ネットワーク上の計算，データ，実験装置，センサ，人間などの資源を仮想化・統合し，必要に応じて仮想計算機 (Virtual Computer) や仮想組織 (Virtual Organization) を動的に形成するためのインフラであり、コンピュータ処理を集約し、再利用する仕組み。

• スパコンは同一建屋あるいは敷地を対象としたグリッド・コンピューティングに形成されている。

• 一般的なパソコンを用い、使用しない夜間時間に稼働する専用ミドルウェアを介在し、家庭からのWANネットワーク越しに計算資源を集中させ、大規模計算を行う仕組みがあり、分散コンピューティング技術として利用されている。スパコンに匹敵する計算資源があると言われるが、安定した資源が担保されたものではないため、生命科学系 BOINC（SETI@homeは下火)

が主要な目的である。

※ BOINC 利用方法（日本語対応） http://boinc.berkeley.edu/

スパコン例 GPGPU

(東京工業大学学術国際情報センターTSUBAME 2.0）

メモ：NVIDIA社製GPUアクセラレータTesla M2050 + SSD + InfiniBand

ref.) http://tsubame.gsic.titech.ac.jp/tsubame2-system-architecture

（General-purpose computing on graphics processing units; GPUによる汎目的計算） 5

← ラックを開けたところ

インフィニバンドで結合

（2011/10/19 撮影許可のもと）

ほぼアキバで入手可能パーツ

スパコン例 専用CPU

(富士通 K コンピュータ)

世界第一位でなければならなかった国産スパコンと豆腐インターコネクト

6

← モック筺体

（2011/10/4 撮影許可のもと）

国家プロジェクトとして富士通が受託開発

↓ 6次元メッシュ/トーラス構造の

インタコネクトの立体模造。

スパコン性能は国際競争力を示す

TOP 10 of 500 - 06/2012

1 米国 Sequoia - BlueGene/Q, Power BQC 16C 1.60 GHz, Custom

2 日本 K computer, SPARC64 VIIIfx 2.0GHz, Tofu interconnect

3 米国 Mira - BlueGene/Q, Power BQC 16C 1.60GHz, Custom

4 ドイツ SuperMUC - iDataPlex DX360M4, Xeon E5-2680 8C 2.70GHz, Infiniband FDR

5 中国 Tianhe-1A - NUDT YH MPP, Xeon X5670 6C 2.93 GHz, NVIDIA 2050

6 米国 Jaguar - Cray XK6, Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA 2090

7 イタリア Fermi - BlueGene/Q, Power BQC 16C 1.60GHz, Custom

8 ドイツ JuQUEEN - BlueGene/Q, Power BQC 16C 1.60GHz, Custom

9 フランス Curie thin nodes - Bullx B510, Xeon E5-2680 8C 2.700GHz, Infiniband QDR

10 中国 Nebulae - Dawning TC3600 Blade System, Xeon X5650 6C 2.66GHz, Infiniband QDR, NVIDIA 2050

※スパコン性能例として TSUBAME 2.0 で、創薬目的のタンパク質結合シミュレーション３ヶ月程度で解析実現（計算設計は数年） 7

スパコン性能が科学産業において【国際競争力】が優位になるのは全世界で証明されている。スパコン事業は複数年の設計期間を要するため、単純な事業仕分けとして規模縮小することは国際競争力を弱めるものである

GPGPU 入門マシンを自作しよう

（予算5万円）

• GPGPU専用の統合開発環境は NVIDIAによる「CUDA」や、AMDの「ATI Stream」があるが、ここでは CUDA 環境マシンを紹介したい

マザーボード： Asus P5K-VM (オンボード VGA でコンピュータ操作） CPU： intel Core 2 Duo E8200 @2.66GHz RAM：DDR2-800 2GB × 4 (8GB) GPU：[ELSA] NVIDIA GeForce GTX 560 Ti OC アクセライズ / CUDA 384 Cores（演算コア数） GPU Core 1.80GHz (DDR5/2050MHz, 256bit)

2009年頃のマシンへ 2011年夏に発売された GeForce GTX 560 Ti OC (2万円) を増設した

deviceQuery 実施例 → http://www.fxfrog.com/page/13?cat=6973

GPU 性能テスト例 → http://www.fxfrog.com/page/7?cat=6973

GPU による Windows ドメインパスワードキャッシュ・ブルートフォース解析例

→ http://www.fxfrog.com/page/6?cat=6973

準モンテカルロ法でオプション決定価格計算 → http://www.fxfrog.com/archives/3484 これらはゼロから開発したものではなく、CUDA 開発環境や SorceForge 等から入手したものである

CUDA 対応 グラボスペック（2011/Aug) 資料

http://www.slideshare.net/fullscreen/kermit123/nvidia-cuda-specification-

memo20110828modified/1 8

身近なスパコン、計算資源利用方法

• TSUBAME を利用（みんなのペタスケール・スパコン）

• Amazon HPC アプリケーションを利用 (EC2 クラスタ・インスタンス） → http://aws.amazon.com/jp/hpc-applications/ スポットで HPC 利用体験 → http://www.youtube.com/embed/2Ym7epCYnSk

TSUBAME 計算サービス→ http://www.gsic.titech.ac.jp/tsubame

（評価したいだけであれば、 AWS EC2 クラスタ・インスタンスが

迅速且つ経済性が高い）

9

きっと役立つ情報入手先

• GPUコンピューティング研究会 （無料会員登録） http://gpu-computing.gsic.titech.ac.jp/

• OpenACC (既存 CUDA ソースに数行追加実装するだけで高速化実現） http://www.openacc-standard.org/

• 東工大 GSIC http://www.gsic.titech.ac.jp/

• NVIDIA CUDA コンパイラ （無償入手可。ベータ版入手は要登録） http://www.nvidia.co.jp/object/cuda_home_new_jp.html

• ATI Stream テクノロジ http://www.amd.com/jp/products/technologies/stream-technology/Pages/stream-technology.aspx

• Microsoft Windows HPC Server Developers – General （英語） http://social.microsoft.com/Forums/ja-jp/windowshpcdevs/threads

10

まとめ

• 気軽にスパコン利用できる時代に入っている

• スパコン性能を高めることは国際競争力の強化と関係がある

• スパコンのクラウドサービスもある (IBM, 富士通, Amazon 等)

• アキバで入手できるパーツでスパコン構築可能

• スパコンにおけるプログラミング習得は C / C++ 基本文法を理解しており、

並列化処理 OpenMP等の基礎構文がその上で知識構築が必要

• 並列化処理が苦手でも最適化対応する各種 GPGPU / CUDA オプション製品やパッケージが NVIDIA、サードパーティ各社、SorceForge から入手できる

• GPU はコア間のメモリアクセス距離が物理的に近いため、CPU に対して

GPU が並列演算性能が高い。またメニーコアで高速演算するにはパソコン向け CPU ではなく、K コンピュータのように専用 CPU と内部結合を開発

せねばならない

11

オフィスサイトウでは、InfiniBand や SSD を用いた大量のデータを

高速かつ確実に処理する手法構成を日々研究しています。

営業パートナーなどお気軽にご相談ください。 Twitter @yukio_saitoh