2012年度計算サーバ利用講習会 6/15 13:00-16:00...smpサーバプロセッサの...

2012年度計算サーバ利用講習会

6/15 13:00-16:00

2012年6月15日

Agenda

2012/6/15 2012年度計算サーバ利用講習会

1. スーパーコンピュータシステムの概要 1-1. スパコンシステムとは 1-2. サービス形態 1-3. 利用負担金 1-4. ヘルプデスク 2. 計算サーバUV1000の概要・特徴 3. アプリケーションと講習会 3-1. アプリケーション 3-2. 講習会 4. 計算サーバの利用方法および注意点 4-1. 利用方法 4-2. ジョブ管理システム 4-3. CAE-navi

5. ジョブ実行のデモ

- 1 -

1. スーパーコンピュータシステムの概要

• １９９２年１月より運用を開始した、京都大学の研究設備

• 世界的に見てもトップレベルのスパコン（合計4,000コア）

• 最大64コアもしくは1.5TBメモリを使った大規模ジョブが実行可能

• KUINSネットワークから利用可能

1-1. スパコンシステムとは


スパコン設備

• 京都大学に所属する学生・研究生・研究員に広く開放。また、支払い責任者が京都大学教職員であれば、京都大学外の研究者も利用可能

• 2012年4月時点での利用者数：およそ330名（内、計算サーバ利用者：およそ50名）

• 計算リソースは十分に余裕あり（例年秋から冬に利用率上昇）

利用者

- 2 -

計算サーバの利用状況（2012年4-6月）


2012/6/15 2012年度計算サーバ利用講習会 - 3 -


• 基本サービス：ディスクに対する定額制（月額1,000円）。

• 計算サービス：ディスクに対する定額制（月額1,000円)に加え、計算時間に応じた従量課金上限制（計算時間に対する上限金額は3万円）。

※ 上記はいずれもファイルサーバおよび計算サーバのディスク使用量がそれぞれ5GB以内の場合

1-1. スパコンシステムとは


利用形態

課金

• 基本サービス：電子メールアカウントの取得・利用、ホームページの作成・公開（研究室Webページなど）、一部のアプリケーションも利用可能

• 計算サービス：計算サーバを利用したジョブの実行、アプリケーションの利用（年度末には研究成果報告書の提出義務あり）

- 4 -

サービス形態基本サービス（必須）計算サービス（オプション）

サービス内容

• メールアカウントの取得・利用 • ホームページの作成・公開 • 一部アプリケーションの利用

（※1）

• 計算サーバの利用 • アプリケーションの利用（※1）

必要な提出書類新規利用申請書（計算サーバも同時に利用申請可能）

（新規利用申請書で計算サーバの利用を申請していない場合）

計算サーバ利用申請書

年度末の提出書類

（翌年度も継続する場合）

継続利用申請書（利用を継続しない場合）

利用取消申請書

研究成果報告書



1-２. サービス形態

※１アプリケーションによっては、別途特殊アプリケーション利用申請書の提出が必要になります。

- 5 -

課金対象課金方法（支払科目は原則運営費です）

計算サーバ CPU時間

0.01円／秒/CPU ⇒ 864円/日/CPU ただし上限3万円/月（※）

ディスク５GBごとに 1,000円／月（最大使用容量20GB）

ファイルサーバディスク 5GBごとに 1,000円／月（最大使用容量10GB）


1-３. 利用負担金

1. スーパーコンピュータシステムの概要 ※ 1CPUで35日間利用した場合に相当

具体例ファイルサーバ

計算サーバ（ディスク）

計算サーバ (CPU）

請求額

ケース1：基本サービスメールのみの使用

1,000円 0円 0円 1,000円

ケース2：基本サービス研究室ホームページとして使用（7GBのディスク使用）

2,000円 0円 0円 2,000円

ケース3：基本サービス＋計算サービス計算サーバ上で4CPUを24時間使用ディスクは7GB使用

1,000円 2,000円 3,456円(※2) 6,456円

ケース4：基本サービス＋計算サービス計算サーバ上で32CPUを96時間使用ディスクは12GB使用

1,000円 3,000円 110,592円(※2) ⇒ 請求額は3万円

34,000円

- 6 -

※2 CPU稼働率を100%と仮定

• 提出書類の記載方法が分からない

• メールが受信できない・送信できない

• 計算サーバでのバッチシステムの利用方法が分からない

• アプリケーションを自分のＰＣ端末にインストールできない

• アプリケーションを実行すると、計算途中でエラーとなってしまう

よくわからないこと、お困りのことなどありましたらお気軽にお問い合わせください。(必ずユーザＩＤをお知らせください。）



1-４. ヘルプデスク

Ｅメール： [email protected] 電話：0774-38-3265 場所：化研総合研究実験棟 CB202 URL http://www.scl.kyoto-u.ac.jp

例えば・・・

宇治地区内であれば、直接研究室にお邪魔して問題解決のお手伝いをすることもあります。

- 7 -


２. 計算サーバＵＶ1000の概要・特徴

- 8 -



Core

Cache

Core

Cache

Core

Cache

Core

Cache

Memory Memory Memory Memory

Core Cache

Memory

Core Cache

Memory

Core Cache

Memory

Core Cache

Memory

Scalable Interconnect

Core Cache

Memory

BUS

Core Cache

Memory

BUS

Core Cache

Memory

BUS

Core Cache

Memory

BUS

Interconnect (InfiniBand, Gigabit Ether, etc.)

SMP (共有メモリ型) ccNUMA (分散共有メモリ型) Cluster (分散メモリ型)

共有メモリ型並列計算サーバクラスタ型計算サーバ

SMP ccNUMA Cluster

特徴 • メモリを共有 • コンパイラによる自動並列化が可能

• ローカルにメモリを持つが論理的に共有可能

• 自動並列化が可能

• ローカルにメモリ • ノード間はデータ転送が必要

プログラミング容易（自動並列化、OpenMPが可能）

容易（自動並列化、OpenMPが可能）

容易でない（自動並列化、OpenMPはノード内のみ）

H/W スケーラビリティ中高い非常に高い

OS OS OS OS OS OS


2012/6/15 2012年度計算サーバ利用講習会 - 9 -

計算サーバの種類と特徴

２. 計算サーバＵＶ1000の概要・特徴 • 大規模メモリ空間および多数のプロセッサを使った超並列・大規模計算が可能

• 特に、共有メモリでのスケーラビリティはSGI UVの最大の特徴

10

16コア

256コア

2,560コア

256GB 2～4TB 16TB WS クラスタの１ノード

一般的なUNIX/Linux SMPサーバ

プロセッサのスケーラビリティ

メモリのスケーラビリティ


化学計算サーバ (uva,uvb)

ゲノムネット計算サーバ (uv1,uv2)

SGI UV 1000

SGI UV 100

SGI UV 10


計算サーバ SGI UV1000

特徴： • 最大2,048コアをサポート。アーキテクチャ上の最大構成は262,144コアまで拡張可能。 • SGI UVの最も優れた機能の1つとして挙げられるのは、シングル・システム・イメージで

の最大16TBのグローバル共有メモリのサポート。 • ハードウェア・プラットフォームがオープン標準ベースであり、x86アーキテクチャを採

用。さらに、 SUSE Linux を搭載。 • 柔軟なシステム拡張が可能。業界標準のPCI Express拡張スロットを搭載し、ネットワー

ク、グラフィックス、GPUカードをシームレスにサポート。


- 11 -



- 12 -

現行システム旧システム

製品名 SGI UV1000 ２式 Altix4700 １式

ホスト名 uva/uvb altix

CPUコア数 512 core 256 core

メモリ 8TB 1TB

プロセッサ 8core Intel 64bit Xeon E7ファミリー 2.66GHz

2core Intel IA64 1.6GHz

アーキテクチャ X86_64 IA64

理論演算性能 10.9TFlops 1.6TFlops

OS Suse Linux Enterprise Server11sp1

Suse Linux Enterprise Server

利用可能なディスク容量

ユーザあたり 20GB ユーザあたり 8GB

ICRに導入されたUV1000

8core/cpu 16core/Blade 256GB/Blade

512core 512core

２. 計算サーバＵＶ1000の概要・特徴 • スカラー計算システム(SGI UV1000)全体とクラスターシステムの計算ノード内は、NUMAアーキテクチャです。そのため

、データはファーストタッチ・ポリシーでメモリに配置されます。

• ファーストタッチ・ポリシーとは、最初にデータに触れたコアのローカルメモリにデータが配置されます。

• NUMAアーキテクチャではある特定のコアからみると、ローカルメモリとリモートメモリがあります。

• データをできるだけローカルメモリに配置して計算することが高速化において必要です。

• プロセスをどこのコアに配置するかが重要になります。（dplaceコマンド）

NUMAlink Router

64GB 64GB

CPU CPU

HUB

UV Blade

64GB 64GB

CPU CPU

HUB

UV Blade

64GB 64GB

CPU CPU

HUB

UV Blade

64GB 64GB

CPU CPU

HUB

UV Blade

ローカルメモリアクセス

リモートメモリアクセス

UV1000 における、ファーストタッチ・ポリシーの概念図

ファーストタッチ・ポリシー

2012/6/15 2012年度計算サーバ利用講習会 - 13 -

※ 1CPU = 8 core

３. アプリケーションと講習会

2012/6/15 2012年度計算サーバ利用講習会 - 14 -



計算化学を中心としたアプリケーションが充実（有償・無償問わず）

特にGaussianおよびMaterials Studio/Discovery Studio はサイトライセンス保有のため、ライセンス数を意識せずにすべての計算モジュールを自由に利用可能。（ただし、Gaussianは宇治地区のみ。また Windows版やMac版も管理。）

研究室内のPC端末で実行可能なアプリケーションも多数あり

利用に関して不明な点もヘルプデスクにてサポート

専門的な内容についてもヘルプデスクにて対応。質問内容をヘルプデスクに送付いただくことで、ヘルプデスクがユーザに代わって各アプリケーションのユーザサポートに問い合わせを行い、ユーザへ回答します。（有償アプリケーションが対象）

年に1回、有償アプリケーションの多くは、実習を伴った講習会を化研総合研究実験棟演習室CB202 にて開催。無料で参加可能。

一部のアプリケーションについては、アプリケーションベンダーが開催する外部の講習会への参加が可能。（アクセルリス製品、Mathematica 等）


2012/6/15 2012年度計算サーバ利用講習会 - 15 -

特徴

3-1. アプリケーション


導入アプリケーション

種別研究室のPC端末で利用可能サーバで利用可能

プログラミング Perl, GCC, DDD, IMSL, Intel C/C++, Intel Fortran, Intel MKL

計算化学

統合アプリ Materials Studio/Discovery Studio（※1）, SCIGRESS

Materials Studio/Discovery Studio（※1）

量子化学 Gaussian, GaussView（※2） Gaussian（※2）, GaussView（※3）,

BAND, ADF, GAMESS

分子動力学 Amber, Gromacs, NAMD

化合物DB Reaxys CSD（※3）

可視化汎用 AVS/Express Viz gnuplot, xmgrace

化学関連 MOLMOL, Jmol, VMD

数学 Mathematica Mathematica, Octave, R

物理 EGS5

ジョブ管理 CAE-navi PBS

- 16 -


※1 Materials Studio/Discovery Studio はすべての計算モジュールが利用できます。地区の制限もありません。 ※2 Gaussian, GaussViewは、宇治地区サイトライセンスのため、宇治地区であればスパコンシステムのユーザでなくても無

償で利用できます。 ※3 CSDおよびGaussViewを利用するには、PC端末側でX Window環境が必要です。 ※4 アカデミック機関フリーアプリケーションであればご依頼に応じてインストールいたします。

赤字は講習会開催予定アプリケーション


2012/6/15 2012年度計算サーバ利用講習会 - 17 -

計算サーバ上で実行されるアプリケーション（2011年度）

CPU時間の多くはGaussianとCASTEP


5-2. 講習会講習会日程時間講師申込

スパコンシステム利用説明会 5/25 13:00-16:00 スパコンシステム福本淳司終了

計算サーバ利用講習会 6/15 13:00-16:00 スパコンシステム福本淳司開催中

最適化・並列化プログラミング講習会

6/29 10:00-16:00 日本SGI(株) HPC技術推進本部五十木秀一様

受付中

AVS/Express Viz 講習会 7/5 13:00-16:00 サイバネットシステム（株）ビジュアリゼーション部松岡憲昭様

受付中

SCIGRESS講習会 7/13 13:30-17:00 富士通(株) TCソリ事業本部松本大輔様

受付中

CAE-navi講習会 7/19 13:00-16:00 日本SGI(株)中部・西日本CS部村上雅英様

受付中

IMSL講習会 7/25 14:00-16:00 ローグウェーブソフトウェアジャパン(株)技術部須賀恵美子様

受付中

Mathematica入門講習会 9月午後未定準備中

Gaussian講習会 9月午後ヒューリンクス準備中

Materials Studio 講習会（※1） 9月終日

アクセルリス準備中 9月終日

Discovery Studio 講習会（※1） 9月終日アクセルリス準備中

Reaxys講習会 10月午後未定準備中


- 18 -

※1 アクセルリス社開催（大阪・東京）の講習会へも参加できます。


Materials Studio 量子力学、古典力学、メソスケール、統計、分析/結晶化ツール等の総合的なシミュレーション機能を提供。多数の計算モジュールにより、様々なサイズやタイムスケールで材料を評価でき、より正確な物性予測と最短時間での評価が可能です。

Discovery Studio

創薬研究やタンパク質モデリング研究を効果的に行う、単一で使いやすい統合グラフィックインタフェース。タンパク質モデリング、ファーマコフォアモデルの解析、Structure Based Design はもちろんのこと、他のベンダーのアプリケーションソフトもシームレスに統合、実行することができます。

ライセンスアカデミックサイトライセンス契約：宇治・吉田・桂の3地区が対象利用できる計算モジュールやライセンス数に制約がない。

【利用条件】アカデミックサイトライセンス契約では、学問的使用および学問的研究を目的とした使用で、使用結果に関しては秘密性や独占性がなく、直ちに公表できる研究にのみ利用が認められます。また、企業からの資金提供を受けたプロジェクトではこれらソフトウェアを利用することはできず、公的資金で運営されているプロジェクトでのみの利用となります。さらに、利用者自身の研究目的にのみ利用することができ、受託解析を行うことはできません。ただし、他の大学と共同研究を実施して京都大学の研究者が解析を行った場合、その解析結果がその京都大学の研究者の名前を含めて発表されるのであれば、問題ありません。

- 19 -



Materials Studio 量子力学、古典力学、メソスケール、統計、分析/結晶化ツール等の総合的なシミュレーション機能を提供。多数の計算モジュールにより、様々なサイズやタイムスケールで材料を評価でき、より正確な物性予測と最短時間での評価が可能です。

製品説明

量子力学シミュレーションツール

密度汎関数理論、線形スケーリング、QM/MM、半経験的手法を含む量子力学に基づく、分子構造や周期構造のシミュレーションのためのツール群。適用対象：分子、ポリマーなどの有機材料、半導体金属、セラミックスなどの無機材料、ナノチューブや金属クラスターなどのナノ材料、そして各種の触媒材料など計算モジュール：CASTEP, NMR CASTEP, DMol3, ONETEP, QMERA, VAMP

古典的シミュレーションツール

原子間や分子間の古典的な相互作用に基づいて計算するためのツール群。分子動力学、格子力学、さまざまなモンテカルロベースの手法などが含まれ、利用できる数種類の力場パラメータセットがある。計算モジュール：Conformers, Amorphous Cell, COMPASS, Discover&Forcite Plus, GULP, Blends, Equilibria, Adsorption Locator, Sorption

シメソスケール・シミュレーションツール

一群の原子をビーズに置き換える粗視化アプローチに基づく手法をシミュレーションするためのツール群。古典的なツールでの取り扱い範囲を超えるような空間的・時間的スケールで分子の振舞いをモデリングすることが可能。計算モジュール：MesoDyn, Mesocite

統計ツール分子の特性を実験で観測される物性値に直接関連付けることで、化合物をすばやくスクリーニングするためのツール。計算モジュール：QSAR, QSAR Plus, Synthia

分析/結晶化ツール

結晶構造や結晶成長の調査、予測、改良のためのツール。計算モジュール：Morphology, Polymorph Predictor, Motif, Reflex, Reflex Plus, Reflex QPA, X-cell - 20 -



Discovery Studio

創薬研究やタンパク質モデリング研究を効果的に行う、単一で使いやすい統合グラフィックインタフェース。タンパク質モデリング、ファーマコフォアモデルの解析、Structure Based Design はもちろんのこと、他のベンダーのアプリケーションソフトもシームレスに統合、実行することができます。

製品説明

配列解析既知タンパク質との配列比較による、生物学的機能を同定するためのツール。具体的にはBLAST, PSI BLASTアルゴリズムを使用。

モデリングタンパク質のホモロジーモデルの生成やCHARMmによるループ構造や側鎖の最適化、タンパク質機能の理解、モデル構造の評価、ZDOCKアルゴリズムによる剛体ドッキングの実行を行うためのツール群。

バイオポリマー構築および解析

生体分子モデル構築と静電場解析の実行

シミュレーション

分子のエネルギーや分子動力学、さらにMDトラジェクトリの解析も可能。

受容体・リガンド相互作用

フレッキシブルドッキング、モンテカルロによるリガンドコンフォーマのサンプリングと結合サイトとのドッキング、リガンド-タンパク質相互作用評価、母核(scaffold)の迅速な同定による候補化合物の作成などが可能。

QM/MM QM/MM的手法によるタンパク質-リガンドモデリングの実行。

ファーマコファモデリングと解析

定性的・定量的なファーマコファモデルの自動作成、受容体の活性サイトの空間的制約を満たす化合物検索やその適合度の判定が可能。

他にも、QSARやADMETに関するモジュールも用意されています。

- 21 -



Gaussian

Gaussianは、広範囲にわたる ab initio モデルや半経験的モデルをサポートした汎用量子化学計算パッケージプログラムです。量子力学の基本法則から、エネルギー、分子構造、分子系の振動数を予測します。また、これらの基本的な計算の種類から導かれる様々な分子特性も予測できます。

ライセンススパコンシステムで購入したライセンスの他、他の研究室にて購入されたライセンスの一部についても管理しています。利用可能なライセンスは次の通りです。なお、これらのライセンスは、宇治地区の研究者であればスパコンシステムのユーザでなくてもご利用できます。

Windows MacOS X (IA32)

MacOS X (EM64T)

UNIX EM64T

Source

Gaussian09 ○ ○ ○ ○ ○

GaussView 5 ○ ○ ○(※1)

- 22 -


※1 宇治地区サイトライセンスではありません。


SCIGRESS SCIGRESSは、分子のモデリングから計算実行、計算結果の解析までを統合的なGUIで行うことが可能な計算化学統合プラットフォームです。分子軌道法、密度汎関数法、分子力学や分子動力学法など、数多くの計算手法やそれらに対する解析機能を包含しています。 SCIGRESSを利用することで、原子・分子レベルの微細な挙動や性質の解析が可能となり、低分子から高分子、結晶までの多岐にわたる材料に適用でき、最先端の材料研究や実験結果の検証、さらに教育目的など様々な分野に利用できます。

画像出典：http://jp.fujitsu.com/solutions/hpc/app/scigress/summary/

Workspace

等電子密度面表示

静電ポテンシャル面表示

- 23 -



AVS/Express Viz

AVS (Application Visualization System)は、計算、計測、実験データをグラフィックス表示するために各種のビューアが標準で装備されています。これらのビューアにより、２次元および３次元の時系列データを容易にアニメーション表示することができます。計算化学アプリケーションによる出力データの可視化、医療画像、有限要素法解析、流体力学、一般画像処理、分子設計、CAD デ－タ表示等、さまざまなデータの可視化に対応したツールです。

- 24 -


データ読込

3Dによる可視化

データ処理


2012/6/15 2012年度計算サーバ利用講習会 - 25 -

AVS/Expressを利用した可視化事例

作業手順 ① Gaussianによる計算を実行し、パラメータ毎にchkファイルを作成 ② cubegenコマンドにより、chkファイルからcubeファイルを作成 ③ cubeファイルとlogファイルを使って可視化を行うためのAVSアプリケーションを作成 ④ AVSアプリケーションに、各パラメータに対するcube/logファイルを読み込ませてアニ

メーションを作成

目的各パラメータに対する計算結果の可視化を行い、それを連続表示させたアニメーションを作成したい。

対象 • G09Rev.B によるH2 と He の構造最適化（H2とHeの距離をパラメータ化） •静電ポテンシャルを可視化

３. アプリケーションと講習会 AVS/Expressを利用したアニメーション作成手順

2012/6/15 2012年度計算サーバ利用講習会 - 26 -


Mathematica

Mathematica は数式処理機能とグラフィックスをインターフェースで統合した統合化数式処理システムです。 • 多項式の因数分解・展開、微積分、各種行列計算等 • 方程式の展開／求根 • ユーザ定義関数のプログラミング • 記録された数式の再構成 • グラフ化（2次元、3次元） • アニメーション

- 27 -



2012/6/15 2012年度計算サーバ利用講習会 - 28 -

CSD : Cambridge Structural Database X線あるいは中性子の回折実験によって解析された、 233,000以上もの有機化合物・有機金属化合物の結晶構造情報を保有しています。 CSDにはGUIベースの使いやすいインターフェースが用意されており、ユーザがデータベースの検索、解析、表示を容易に行うことが可能です。


Reaxys Reaxys（リアクシス）は、有機化合物、無機化合物・錯体および特許情報を統合したファクトデータベースです。京都大学ネットワーク内からWebブラウザを介して利用することができます。

Windowsだけでなく Macでも利用可能

同時利用者数の制限がなく、 24時間365日アクセス可能

合成ルートの多段階表示により、目的化合物への経路を効率よく計画可能

Reaxysを使うと･･･有機化合物や無機化合物、錯体、特許情報を同時に検索できます

フルテキストにアクセスしなくても、化合物の実測物性値や生物活性データを調査できます目的化合物の合成計画を、複数の合成ルートと比較しながら立案できます

- 29 -


収録コンテンツ CrossFire Beilstein (有機化合物世界最大のファクトデータベース)

収録期間 1771年以降冊子体のBeilstein Handbook of Organic Chemistryの後継有機化合物の構造・反応・実測物性値・薬理活性・環境毒性データ

CrossFire Gmelin (有機金属、および無機化合物のファクトデータベース)

収録期間 1772年以降冊子体のGmelin Handbook of Inorganic and Organometallic Chemistryの後継無機化合物・有機金属化合物の物性・構造・合成法

Patent Chemistry Database

収録期間 1976年以降世界知的所有権機関（WIPO)、米国特許商標庁（USPTO)、ヨーロッパ特許庁（EPO)の化合物の構造・反応・物性値、実験項、NMRスペクトルデータ C07(有機化学）、A01N(消毒薬、殺虫剤、除草剤）、A61K(医薬品、歯科用又は化粧用製剤）、C09B(染料）

京大Article Linkerと連携

2012/6/15 2012年度計算サーバ利用講習会 - 30 -

４．計算サーバの利用方法および注意点 1. スーパーコンピュータシステムの概要 1-1. スパコンシステムとは 1-2. サービス形態 1-3. 利用負担金 1-4. ヘルプデスク 2. 計算サーバUV1000の概要・特徴 3. アプリケーションと講習会 3-1. アプリケーション 3-2. 講習会 4. 計算サーバの利用方法および注意点 4-1. 利用方法 4-2. ジョブ管理システム 4-3. CAE-navi


ユーザ

uva（512core)

ログイン

• ログインでは ssh コマンドを利用 • どちらの計算サーバにログインしてもよい。 • ユーザが利用するディスクは共有されているため、どちら

の計算サーバでも同じファイルを閲覧・編集できる。 • 利用できるアプリケーションも共通（一部例外あり） • ジョブスケジューラーがジョブを管理


uvb（512core)

ファイルサーバ

- 31 -

４．計算サーバの利用方法および注意点

パス制限

個人領域 ~user名（例：~fukumoto） 20GB

共有領域（880GB）

/aptmp/~user名（例：/aptmp/fukumoto）

サイズに対する制限はなし。ただし、3か月以上アクセスが無いファイルは自動的に削除されます。

4-１. 利用方法


2012/6/15 2012年度計算サーバ利用講習会 - 32 -

計算サーバ利用時に便利なフリーのツール

種別目的 Windows Mac

ターミナルエミュレータ

ローカルマシンからサーバへログイン

Tera Term Terminal (標準搭載)

Xサーバ Xサーバ環境の構築。サーバで起動されるアプリケーションをローカルマシンに表示させることができる

Cygwin, VMWare X Terminal（標準搭載）

ファイル転送ローカルマシンとサーバ間でファイルのやり取りを行う

WinSCP, FFFTP Cyberduck

有名なダウンロードサイト •窓の杜 http://www.forest.impress.co.jp/ •Vector http://www.vector.co.jp/

※ 上記ツールは代表例です。


2012/6/15 2012年度計算サーバ利用講習会 - 33 -

4-2. ジョブ管理システム

• PBS は、アルテアエンジニアリングによって開発された、ジョブ管理システムです。代表的なジョブ管理システムとしては、他にNQEやSGEが有名です。

• 基本的な機能

1. ユーザにより投入された”ジョブ”を、実行に必要なリソースが利用可能になるまで待機させる 2. 決められたポリシーに従い「どの」ジョブを「いつ」実行するかを決定する 3. ジョブの開始/終了を監視、リソースの状態と確保を実施する

• 利用イメージ：ジョブの投入 ⇒ ジョブ待機 ⇒ ジョブ実行 ⇒ ジョブ終了多くのジョブが投入されていると、ジョブは順番待ちとなり他のジョブが終了するまでジョブは実行されません。

• ジョブ管理システムを利用することで、ある特定のユーザが計算リソースを占有してしまうことを防ぎます。また、一度に多くのジョブをユーザが投入しても、計算サーバの処理能力を超えないよう、一部のジョブを待機状態とし、実行中のジョブが終了した後で、待機状態のジョブを実行させるといった制御が可能です。

• スパコンシステムで運用されているPBSでは、必要な計算リソースに応じて、現在4つのキューが設けられています。多くの計算リソースが利用可能なキューほど実行にやや時間がかかります。そのため、なるべくSMALLで実行することをお勧めします。

ジョブ管理システムとしてPBSを採用


2012/6/15 2012年度計算サーバ利用講習会 - 34 -

キュー SMALL MEDIUM LARGE HUGE

ジョブの特徴小規模ジョブ中規模ジョブ超並列ジョブ大規模メモリジョブ

キュー待ちからの実行順位

高やや高中低

ジョブ実行の優先順位（nice値)

高やや高中低

経過時間 28-224 days 28-896 days 28-3584 days 56-672 days

最大メモリ容量 32 GB 128 GB 512 GB 1536 GB

最大コア数 8 core 32 core 128 core 12 core

(キューあたりの) 最大ジョブ数

制限なし制限なし制限なし 4

実行アプリケーション原則はすべて利用可能。ただし、DSおよびSCIGRESS は SMALLキューのみ利用。MS/DS、SCIGRESS で指定できるコア数は最大8まで。

ジョブあたり

PBSで利用可能なキュー

ユーザあたり利用可能なコア数：128 core, 利用可能なメモリ：2TB

http://www.scl.kyoto-u.ac.jp/Attention_Altix/altix_batch_sys.html

なお、これらの設定値は運用状況によって変更される場合があります。

参照：使い方と注意実行>計算サービス＞PBSジョブ投入システム

2012/6/15 2012年度計算サーバ利用講習会 - 35 -


SMALL

MEDIUM

LARGE

HUGE

ジョブのコア数は最大で128コア、もしくはメモリは最大で2TBまで。上限に達すると、そのユーザのジョブは待機状態となる。

すべてのジョブのコア数が1028コア以上、もしくはメモリが12TB以上となると、それ以上のジョブは実行されない。まだ1つもジョブを実行していないユーザも待機中となる。

各ユーザに対する制約サーバ全体に対する制約

実行中待機中実行中

待機中

自分のジョブが終了しないと実行されない

ジョブが終了しないと実行

されない

ユーザA ユーザB ユーザC

SMALL

MEDIUM

LARGE

2012/6/15 2012年度計算サーバ利用講習会 - 36 -

４．計算サーバの利用方法および注意点実行中待機中

SMALLキューでは実行中のジョブが6以上では優先度が落ちる。（MEDIUMでは4, LARGE では2)

①

②

③

④

原則としてはジョブ投入順に実行される

他のユーザのジョブが無ければ、6以上でも実行可能

一時待機

ユーザA ユーザB ユーザC 一時待機

サーバ全体の制約のために待機中となったジョブの実行順位


2012/6/15 2012年度計算サーバ利用講習会 - 37 -

PBSの利用方法

コマンド説明利用例

qsub“バッチスクリプト”

ジョブの投入 qsub test.qsub

qstat ジョブの状況確認。状況（待機中や実行中）や経過時間、ジョブIDの確認が可能。

qstat

qstat -a ジョブの状況確認。指定したプロセス数やメモリ使用量などが確認できる。

qstat -a

qdel “ジョブID” ジョブの取消。ジョブIDはqstatコマンドで確認できる。

qdel 100.uva

参照：使い方と注意実行>計算サービス＞バッチジョブの投入、ジョブ制御コマンド、投入ジョブ・キュー情報の参照


2012/6/15 2012年度計算サーバ利用講習会 - 38 -

バッチスクリプトの作成

コマンド説明

#PBS –m ae #PBS –M “メールアドレス”

ジョブが中止・終了したときに、指定したメールアドレスに電子メールを送信（デフォルトでは [email protected]）

#PBS –r n システム再起動時には、ジョブの再実行をしない。 (デフォルトではジョブは再実行されます。）

1行目: #!/bin/csh 2行目: #PBS –N myjob 3行目: #PBS -q SMALL 4行目: #PBS -l ncpus=2 5行目: #PBS -l mem=2gb 6行目: 7行目: cd $PBS_O_WORKDIR 8行目: ./a.out

← このまま ← ジョブ名の指定 ← キューの指定 ← CPU数の指定 ← メモリサイズの指定（必要な場合のみ） ← このまま ← 実行したいコマンド

便利な設定

参照：使い方と注意実行>計算サービス＞バッチジョブの投入


CAE-navi

• CAE-navi は、シンプルで使いやすい Webインターフェースを通して、計算サーバへジョブを投入したり、状況を確認することができるシステムです。

• ジョブ管理システムPBSのコマンドを知らなくても、CAE-naviのGUIを通して、基本的なPBSコマンドと同等の作業を行うことが可能です。

• 通常はログインしないとジョブの実行や状態を確認できません。しかし、CAE-naviを使うことで、新たなジョブの投入や実行中のジョブの停止、また実行ジョブの状況確認（使用メモリサイズ、出力ファイルの内容確認）が可能です。

• 計算化学アプリケーションとしては、Gaussianをサポートしています。

- 39 -

４．計算サーバの利用方法および注意点 4-3. CAE-navi ※ 現時点ではまだCAE-navi は運用準備中です。

アプリケーションを選択、ジョブの作成ができます

マニュアルが表示できます

ここからスタート

キューの混雑状況を確認できます

投入ジョブの一覧を確認できます

さまざまな条件でジョブ表示を絞り込むこと

ができます


2012/6/15 2012年度計算サーバ利用講習会 - 40 -

５．ジョブ実行のデモ

2012/6/15 2012年度計算サーバ利用講習会 - 41 -



５．ジョブ実行のデモ • デモの流れ

1. 計算サーバにログイン

2. GaussViewによる入力ファイル作成

3. バッチファイルの作成

4. ジョブの実行・確認

5. GaussViewによる計算結果の確認

6. 計算サーバからのログアウト

7. 入出力ファイルをPC端末にダウンロード

2012/6/15 2012年度計算サーバ利用講習会 - 42 -

• 端末PCに対する前提条件

• Xサーバ環境が利用可能であること（デモではVMWareを利用）

• ファイル転送ソフトが利用可能であること（デモではWinSCPを利用）


2012/6/15 2012年度計算サーバ利用講習会 - 43 -

１．計算サーバへのログイン

補足

• uva.scl.kyoto-u.ac.jp の代わりに uvb.scl.kyoto-u.ac.jp でも構いません。

• -C によって表示が高速になる場合がありますが、必須ではありません。

• -X は、計算サーバのXクライアントをPC端末上に表示させるために必要なオプションです。

② ssh コマンドで計算サーバにログイン % ssh –C –X uva.scl.kyoto-u.ac.jp Password:

① Xサーバの起動 VMWare Player の起動


2012/6/15 2012年度計算サーバ利用講習会 - 44 -

2．GaussViewによる入力ファイル作成

• Calculation Setup で計算に必要な設定を行う。 • Job Type, Method, Link0 タブの内容確認および変

更

① GaussView の起動・モデル構築 % gv

② 計算内容の設定

Retain を押して画面を閉じる。そして、File -> Save… でファイルを保存して、GaussViewを終了。念のため、 % cat lecture.com でファイルの中身を確認


2012/6/15 2012年度計算サーバ利用講習会 - 45 -

３．バッチファイル作成

① Editor の起動 % vi test.qsub

② 作成

Editor としては、以下があります。 • vi • emacs • gedit • xedit

1行目: #!/bin/csh 2行目: #PBS –N g09_job 3行目: #PBS -q SMALL 4行目: #PBS -l ncpus=2 5行目 6行目: cd $PBS_O_WORKDIR 7行目: /usr/bin/time rung09 lecture.com lecture.log

Gaussian09 実行コマンド rung09 “入力ファイル” “出力ファイル”


2012/6/15 2012年度計算サーバ利用講習会 - 46 -

4．ジョブの実行・確認

① ジョブの実行

② ジョブの確認

% qsub test.qsub 2691.uva

% qstat -a 2691.uva uva: Req'd Req'd Elap Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time --------------- -------- -------- ---------- ------ --- --- ------ ----- - ----- 2691.uva fukumoto SMALL g09_job 459387 1 2 4gb 5376: R 00:02

(1) qstat コマンド

S: ステータス (Q:待機、R:実行、E:終了中) Elap Time: 経過時間


2012/6/15 2012年度計算サーバ利用講習会 - 47 -

(2) top コマンド

% top –u “ユーザ名”

topコマンドによる表示を中止するには Ctrl - C

VIRT:仮想メモリ総量 RES: 物理メモリ使用量 %CPU; CPU使用率 TIME: CPU時間

% pstree -p 459387 csh(459387)───2695.uva.SC(480263)───time(480271)───rung09(480272)───.g09(480279)───l702.exe(480281)

(3) pstree コマンド

プロセスツリーを確認するためのコマンド

ジョブのCPU使用率やメモリ使用量を確認するためのコマンド


2012/6/15 2012年度計算サーバ利用講習会 - 48 -

③ 計算結果の確認

% ls g09_job.e2691 g09_job.o2691 lecture.chk lecture.com lecture.log test.qsub % cat g09_job.e2691 ← バッチスクリプト内でコマンドの先頭に /usr/bin/time が必要 293.04user 68.76system 3:24.91elapsed 176%CPU (0avgtext+0avgdata 663312maxresident)k 42944inputs+509472outputs (0major+8728077minor)pagefaults 0swaps % less lecture.log ← 計算結果の確認（Gaussian の場合、最後に Normal termination とあれば正常終了）


2012/6/15 2012年度計算サーバ利用講習会 - 49 -

5．GaussViewによる計算結果の確認

① GaussView の起動 % gv lecture.chk

② 計算結果の確認

概要

電荷情報等

物理量の可視化

• 分子軌道 • 電子密度 • 静電ポテンシャル

電荷表示


2012/6/15 2012年度計算サーバ利用講習会 - 50 -

分子軌道(HOMO)の表示例

cubeファイルの生成

cubeファイルを元に物理量を表示

等高線による表示


2012/6/15 2012年度計算サーバ利用講習会 - 51 -

7．入出力ファイルをPC端末にダウンロード

① WinSCPを起動

② 計算サーバに接続

③ 入出力ファイルをダウンロード

• test.qsub • lecture.com • lecture.chk • lecture.log

PC端末でファイルを管理するメリット • ファイルを二重に持つことで誤ってファイルを削除してしまった場合にも対処できる。 • サーバ上のファイルを削除することでディスク使用量を削減し、利用負担金を抑えられ

る。 • PC端末上でファイル編集ができる。 • PC端末上のアプリケーションで計算結果を確認できる。

6. 計算サーバからログアウト

% exit logout Connection to uva closed.

2012/6/15 2012年度計算サーバ利用講習会 - 52 -

2012年度 計算サーバ利用講習会 6/15 13:00-16:00...smpサーバ プロセッサの...

Documents

2012年度計算サーバ利用講習会 6/15 13:00-16:00...smpサーバプロセッサの...