大阪大学核物理研究センター 汎用計算機システム 紹介

大阪大学核物理研究センター汎用計算機システム

紹介

http://www.rcnp.osaka-u.ac.jp/Divisions/CN/computer/ibm/index.html

システム全体構成図

計算サーバー　　　　　　　データ処理サーバー

InternetHEPNET

Firewall

ODINS

外向けメールサーバ外向け www サーバ

I/O ステーション

リング棟２ F 　　　 AVF ３ F 　　　　本館６ F 　　　　本館６ F

アプリケーション・サーバ群

・・・

mail news web dns ntp

ポスタープリンター (1 台 )高速プリンター (3 台 )カラープリンター (13 台 )高速モノクロプリンター (1 台 )

プリンター用ネットワーク

printer

核理１ネットワーク

オンラインステーション 1,2(kasuga1,2)

汎用計算機システムについて

• 大規模実験データを高速処理可能な サーバー（ RS/6000 　 SP ）

• 大容量で高速なストレージ

サーバー（ RS/6000-SP) の性能

• ４ｃｐｕ（１ノード）　　・ 875 SPECint_rate95 　　　・ 1382 SPECfp_rate95

• メモリ　　・ 3.5 GB （データ処理サーバー）　　・ 7.0 GB （計算サーバー）

ディスク装置

• SSA による大容量（ 37.59TB) のディスクシステムを構築。

• ８同時 I/O 処理と最大 320MB/s の転送速度という高パフォーマンスの実現｡

• RAID- ５による構成により１ドライブに障害が発生しても、連続稼動が可能。

　　　（※ SSA:Serial 　 Storage 　 Architecture)

計算サーバー／データ処理サーバー

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #8

4CPU Memory ： 3.5GB

saho4CPU Memory ： 7GB

senri4CPU Memory ： 7GB

計算 ﾉｰﾄﾞ #3

4CPU Memory ： 7GB

hozumi4CPU Memory ： 3.5GB

ロ グ イン

ロ グ イン

SP ｽｲｯﾁ

計算 ﾉｰﾄﾞ #2

4CPU Memory ： 7GB

計算 ﾉｰﾄﾞ #1

4CPU Memory ： 7GB

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #7

4CPU Memory ： 3.5GB

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #6

4CPU Memory ： 3.5GB

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #5

4CPU Memory ： 3.5GB

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #4

4CPU Memory ： 3.5GB

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #3

4CPU Memory ： 3.5GB

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #2

4CPU Memory ： 3.5GB

処理 ﾃﾞｰﾀ ﾉｰﾄﾞ #1

4CPU Memory ： 3.5GB

ログイン

バッチノード インタラクティブノード

サブミット

サブミット

　・計算ノード　・データ処理ノード

• 大容量ディスク装置

• バッチ　ノード

• インタラクティブノード

大容量ディスク

計算ノード

• ４ CPU が３ノードで合計１２ CPU あります。• 大規模計算（主として理論）用の CPU です。• 処理の為のバッチキューは　　　　長時間　　　　中時間　　　　短時間　　の３種類用意されてます。

データ処理ノード

• ４ CPU が８ノードで合計３２ CPU あります。• CPU は核理 1A 、 1B 、 1C 各グループにそれ

ぞれ　１５，１１，６に分配してます｡• 処理の為のバッチキューは、各核理共に　　　　長時間　　　　中時間　　　　短時間　　の３種類用意されてます。

バッチジョブのクラス設定ｸﾞﾙｰﾌﾟ ｸﾗｽ名 説明 CPU使用時間 ｷｭｰﾌﾟﾗｲｵﾘﾃｨ 最大同時実行数

1A核理 AL 1A核理 長時間 30日 3 14

AM 1A核理 中時間 6時間 2 12

(saho )から実行可能 AS 1A核理 短時間 １時間 1 4

(saho )から実行可能 BS 1B核理 短時間 2時間 1 4

1C核理 CL 1C核理 長時間 30日 3 4

CM 1C核理 中時間 1時間 2 4

(saho )から実行可能 CS 1C核理 短時間 3分 1 4

理論 DL 理論長時間 30日 3 9

DM 理論中時間 3時間 2 6

(senri )から実行可能 DS 理論短時間 30分 1 6

Mathemathica MLMathemathica長

時間30日 3 2

MMMathemathica中

時間1時間 2 2

(senri )から実行可能 MSMathemathica短

時間3分 1 2

1B核理 18BL 1B核理 長時間 15時間 3

インタラクティブノード• senri ・一般ユーザー向けのノード　　・計算ノードへのバッチジョブの投入口• saho　　・データ解析ユーザー向けのノード　　・データ処理ノードへのバッチジョブの投入口• hozumi　　・データ解析ユーザー向けのノード　　・インタラクティブで大きなジョブを実行する為

のノード　　・このノードは saho に入ってから利用可能

導入ソフトウエア項目 名称 機能

システムソフトウェア

AIX v4.3.3Parallel System Support Program V3.1Performance Tool Box V2.2General Parallel File System v1.2Parallel Environment V2.4IBM LoadLeveler V2.1Tivoli Storage Manger/Tivoli Space Manager 4.2

オペレーティングシステム並列サーバ用管理プログラムパフォーマンス管理ツールパラレルファイルシステム並列環境 ( 並列化ライブラリ等 )ジョブコントローラアーカイブ管理

言語 XL Fortran for AIX v7.1

C for AIX v5.0VisualAge C++ Professional for AIX v5.0gcc-2.95.2.0gcc.g++-2.95.2.0gcc.info-2.95.2.0

ANSI X3.9-1978 (Full ANSI FORTRAN 77) 、 Fortran 90 (ISO/IEC 1539-1991 (E) and ANSI X3.198-1992)準拠ANSI X3.159-1989準拠

エディタ関連 GNU Emacs-20.7(mule)ispell－ 3.1.20

エディタｅmacs 使用時のスペルチェッカー

かな漢字変換 Wnn6Egg4

かな漢字変換かな漢字変換

数式処理 Mathematica 数式処理

mail,news,www 関連 pine 4.05Netscape 4.78(navigator,mｅ ssａ nger,composer)mnews1.22.PL5

Mime対応メールユーティリティWebブラウザ ,メールリーダ ,ニュースリーダニュースリーダ ,メールリーダ

セキュリティ関連 OpenSSL 0.96d

OpenSSH 3.1p1

SSL プログラムSSHプログラム

【導入ソフトウェア一覧】

項目 名称 機能

ライブラリ関連 cern ライブラリIMSL F90 MP LinbraryIMSL C Library

Cern の提供するライブラリIMSL FORTRANライブラリIMSL C ライブラリ

tex関連 tex v3.14159ptex v2.1.8latex v9906 platex v19990809edvips v5.78＋ patch v1.4xdvi v22.15＋ patch v03VFlib2-config v2.25.1mendex v2.4f

ｔ ex日本語版 (ASCII版 )ｔ ex マクロptex マクロPS ファイル変換dvi ファイルビューワ日本語を統一的に扱うためのライブラリ索引整形ツール

その他ツール等 gzip-1.2.4.1GNU patch-2.5.4GNU make-3.79.1.0GNU tar-1.1.3gnuplot-3.7tcsh-6.09kterm-6.2.0Ghostscript-6.5.1ghostview-3.5.8tcl-7.6.0.0, tcl-8.2.3.0

tk-4.2.0.0, tk-8.2.3.0xv-3.10amonitor v2.1.7＋ patch pre7xmgr v3.1.7xon-6.5.1Acrobat Reader 4.05zlib-1.1.4jless-3.3.2NortonAntiVirus2002Samba2.0.10-ja-1.2DHCP3.0

圧縮ツールGNU版 patchGNU版makeGNU版 tar対話的な関数描画プログラムcsh の上位版日本語対応端末ポストスクリプトインタプリタPostScriptビューア言語処理ソフトｔ cl の拡張ライブラリセット画像ビューアシステム資源監視ツールグラフの表示 編集ツール･リモートクライアントPDF ファイルビューアZip圧縮用汎用ライブラリテキストビューアウィルス対策ソフトUnix⇔Windodws ファイルサーバIP アドレス動的割り当てソフト

【導入ソフトウェア一覧】( 続き )

ネットワーク

• 対外接続• 内部ネットワーク• 建物間接続• 情報コンセント（ network socket)

ネットワーク• 対外接続

内部セグメント

Firewall

HEPNET ODINS

Internet

緩衝セグメント（ DMZ)

ファイアーウォールFirewall

• フィルタリング機能により許可されたトラフィックだけを通過させます｡

• ネットワーク構成や IP アドレスを外部のネットワークから隠します｡

• ネットワークの不正のチェックや障害チェックのため、ファイアウォールを通過するトラフィックをすべてログに記録することができます｡

ネットワーク• 内部セグメント

senri saho hozumi

汎用セグメント

核理１セグメント

加速器セグメント

各種サーバー

大塔セグメント

ファイアーウォール

ネットワーク• 建物間接続

ネットワーク集線装置リング棟地階

ネットワーク集線装置AVF 棟３階

ネットワーク集線装置リング棟２階

ネットワーク集線装置本館４階

２ GigaBit Ethernet

ネットワーク• 情報コンセント

ネッ

トワー

ク集線装置

ハブ情報コンセント

PC 等

オンラインステーション• リングサイクロトロンにおけるデータ収集

システムからのデータ転送を受け、データ処理サーバーへ転送する為のシステムです。

• ２台を設置し、 1 台に障害が発生しても他の１台が利用できる構成です｡

• 大量のデータ転送を可能にする為、ギガビットイーサネットで接続されてます｡

　 CPU ： POWER ３ -Ⅱ　 375MHz 　２ｃｐｕ　　　　　　　メモリ：　　　　　 437 SPECint_rate95 ( ２ CPU) 　　　　　　　　　　　　　 2 GB

• Ｉ／Ｏステーションはテープ装置を中心とする

リムーバブルメディアを管理するシステムです。

• ４台をリング棟２Ｆ、ＡＶＦ棟３Ｆ、本館６階（ 2 台）に設置してます。

• Ｉ／Ｏステーションの利用は各ステーションに

ログインする事で利用できます｡

Ｉ／Ｏ　ステーション

Ｉ／Ｏステーションと接続機器（ディスク装置はリリース準備中）

3.5ＭＯ装置

3.5ＦＤ装置

ＤＶＤ‐ＲＡＭ装置

ＣＤ－Ｒ装置

８ｍｍ　テープ装置ＤＬＴ　テープライブラリー装置

８ｍｍ　

テー

プライブラリー

装置

ＤＡＴ　テープ装置

ＤＬＴ　テープ装置

Solaris 　システムMT 装置

ディスク装置

アプリケーションサーバー

• プリントサーバー• メールサーバー• ｗｗｗサーバー• ｎｅｗｓサーバー• ｄｎｓサーバー• ｎｔｐサーバー• ｐｐｐサーバー

アプリケーションサーバープリントサーバー

• プリントサーバーを同時２台稼動

• １台のサーバーに障害が発生した場合、クライアントより他のサーバへ切替えることで同一プリンターが使用出来る｡

• 各々のプリントサーバー上の履歴情報を集計し、ユーザー別・機器別の情報をレポートする｡

履歴集計処理出力履歴収集処理

メール通知機能

プリンタサーバａ プリンタサーバｂ

Windows95,98 WindowsNT MacOSLPR対応計算機

高速モノクロプリンター

　　　 × １

カラープリンター

　　 × １３

高速プリンター

　　　 ×３

ポスタープリンター

　　　 × １

アプリケーションサーバーメールサーバー

• メールサーバーは受信専用と送信用の２台に分けて運用

• メールサーバーは架空のサイト名を送信元とするようなメールの拒否など、ファイアウォールとの組み合わせでセキュリティーを確保しています。

アプリケーションサーバーｗｗｗサーバー

•ｗｗｗサーバーは、公開用外向けと Web ページ登録・編集等を行う内向けの２種類有ります｡

•外部のｗｗｗサーバーへのアクセスにはプロキシの設定が必須です｡

•Web の公式ページはセンター内の限られたコンテンツ管理者のみが編集可能。•一般ユーザーの個人 / グループのページは senri上のページの更新で公開サーバーへ反映されます｡

InternetHEPNET

汎用ネットワーク

Firewall外向け www サーバ (公開 )www-rcnp

ODINS

内向け www サーバwww-in( プロキシ )

wｗ w 管理者登録・編集

【ブラウザ環境】

ユーザー(web ブラウザ )

InternetHEPNET

汎用ネットワーク

Firewall外向け www サーバ (公開 )www-rcnp

ODINS

内向け www サーバwww-in( プロキシ )

【ホームページ公開】

一般ユーザー

Senri

nfs

登録・編集

login

アプリケーションサーバーｎｅｗｓサーバー

• ｎｅｗｓサーバーを使用できるのは内部ユーザに限られてます｡

• ｎｅｗｓサーバーの推奨リーダーはmnews です。

• システムの運用情報が rcnp.announce で提供されます｡

アプリケーションサーバーｄｎｓサーバー

• ｄｎｓは内向け２台、外向け１台でサービスを行ってます。

• 内向けサーバーを２台設定する事で、１台に障害が発生しても、もう１台でサービスの提供を受けられます｡

• センター内からセンター内の計算機の名前は引けますが、外部のネットワークよりセンター内の名前の参照は特定のサーバー以外は出来ません。

アプリケーションサーバーｎｔｐサーバー

• ｎｔｐサーバーは各計算機の時計を正確にあわせる為に時刻情報を提供する。

• 時刻を正確に合わせておかないと送付メイルや、作成したファイルのタイムスタンプがおかしくなり、自分だけでなく他人にも混乱を招く

• 現在２台のサーバーで運用をおこなってます。

ntp1.rcnp.osaka-u.ac.jp

ntp2.rcnp.osaka-u.ac.jp

アプリケーションサーバーｐｐｐサーバー

• ｐｐｐサーバーは電話回線からダイアル・インにより、 senri/saho にアクセスを可能にするシステムです。

• ｐｐｐサーバーを利用されたい方は下記 URL を確認のうえ、指示された電話番号を適宜入力し設定して下さい （｡ RCNP内のアカウント、パスワードが必要となります。）

　 https://www.rcnp.osaka-u.ac.jp/Divisions/CN/computer/ibm/manual/ppp/index.html

コンサルトの紹介計算機とネットワークの利用相談について

• メイルでの受付　対応時間　平日の 9:00~17:00

　 consult@rcnp.osaka-u.ac.jp • 電話での受付　 内線８８５２　平日の 10:30~12:00 、 13:30~15:0

0• 面談での受付　 Ａ３１３ (AVF3F ）　平日の 13:30~15:00　 http://www.rcnp.osaka-u.ac.jp/Divisions/CN/consult.html