大阪大学核物理研究センター殿 ユーザー会資料

Post on 12-Jan-2016

68 Views

Category:

Documents

11 Downloads

Preview:

Click to see full reader

DESCRIPTION

大阪大学核物理研究センター殿 ユーザー会資料. 平成 13 年 2 月 14 日 大阪大学核物理研究センター 日本アイ・ビー・エム株式会社 コベルコシステム株式会社. 1.システム全体構成図 2.計算サーバー・データ処理サーバー 2-1. 計算サーバー・データ処理サーバー 2-2. ディスク装置 2-3. 導入ソフトウェア 3.オンラインステーション 4.I/Oステーション 5.ネットワークシステム 5-1. ネットワーク機器構成図 5-2. ネットワーク概念図 5-3. ファイアウォール 6.アプリケーションサーバ - PowerPoint PPT Presentation

TRANSCRIPT

大阪大学核物理研究センター殿

ユーザー会資料

平成 13 年 2 月 14 日

大阪大学核物理研究センター日本アイ・ビー・エム株式会社

コベルコシステム株式会社

目次

1.システム全体構成図

2.計算サーバー・データ処理サーバー 2-1. 計算サーバー・データ処理サーバー 2-2. ディスク装置 2-3. 導入ソフトウェア

3.オンラインステーション

4.I/Oステーション

5.ネットワークシステム 5-1. ネットワーク機器構成図 5-2. ネットワーク概念図 5-3. ファイアウォール

6.アプリケーションサーバ

6-1. プリンターシステム 6-2. メールサーバ 6-3. www サーバ 6-4. news サーバ 6-5. dns サーバ 6-6. ntp サーバ 6-7. ppp サーバ

・・・ 1

・・・ 2

・・・ 8

・・・ 9

・・・10

・・・13

1.システム全体構成図

Internet

核理1ネットワーク

HEPNET

汎用ネットワーク

Firewall

ODINS

Senri hozumi

オンラインステーション 1,2(kasuga1,2)

加速器ネットワーク

ルータ

ルータ

大塔ネットワーク

ルータ

外向けメールサーバ外向け www サーバ

インタラクティブ・ノード

アプリケーション・サーバ群

・・・

プリンターサーバー 1,2

ポスタープリンター (1 台 )高速プリンター (3 台 )カラープリンター (13 台 )

データ処理ノード8 ノード

計算ノード3 ノード

計算サーバー(5 ノード )

データ処理サーバー(9 ノード )

mail news web dns ntp

I/O ステーション( 4台 )

saho

プリンター用ネットワーク

1

2.計算サーバー / データ処理サーバー2-1. 計算サーバー / データ処理サーバー

処理 データ ノード #8

4CPU Memory : 3.5GB

Saho4CPU Memory : 7GB

Senri4CPU Memory : 7GB

計算 ノード #3

4CPU Memory : 7GB

Hozumi4CPU Memory : 3.5GB

ロ グ イン

ロ グ イン

【1cpuの性能】 (IBM POWER3 375MHz) 24.4 SPECint95 50.9 SPECfp95

【計算サーバー】 (senri,saho+ 計算ノード (3))• 5 ノード (20CPU)• 4375 SPECint_rate95• 6910 SPECfp_rate95 • メモリー 35GB ( うち 2GB は一時ディスク用 )【データ処理サーバ】 (hozumi+ データ処理ノード (8))• 9 ノード (36CPU)• 7875 SPECint_rate95 • 12438 SPECfp_rate95 • メモリー 31.5GB ( うち 2GB は一時ディスク用 )

SP スイッチ

【1ノードの性能】 ( 4 cpu) 875 SPECint_rate95 1382 SPECfp_rate95

【 1 ノードあたりのメモリー容量】 3.5GB( データ処理サーバー) 7.0GB( 計算サーバー )

計算 ノード #2

4CPU Memory : 7GB

計算 ノード #1

4CPU Memory : 7GB

処理 データ ノード #7

4CPU Memory : 3.5GB

処理 データ ノード #6

4CPU Memory : 3.5GB

処理 データ ノード #5

4CPU Memory : 3.5GB

処理 データ ノード #4

4CPU Memory : 3.5GB

処理 データ ノード #3

4CPU Memory : 3.5GB

処理 データ ノード #2

4CPU Memory : 3.5GB

処理 データ ノード #1

4CPU Memory : 3.5GB

ログイン

バッチノード インタラクティブノード

サブミット

サブ

ミッ

2

【バッチノード】

データ処理ノード

・ 4 CPU のノードが8ノード、合計32 C PUあります。

・ 32 個のCPUは核理 1A,B,C 各グループにそれぞれ 15 個、 11 個、 6 個を分配しています。

・ バッチキューは核理 1 A ,1 B ,1 C各々に、長時間・中時間・短時間の 3 つのキューを用意します。

計算ノード

・ 4CPUが3ノード、合計12CPUあります。

・ 一般の大規模計算(主として理論)用のCPUです。

・ バッチキューは長時間・中時間・短時間の 3 つ用意します。

グループ クラス名 説明 CPU時間制限 プライオリティ 同時最大ジョブ数1A核理 AL 1A核理 長時間 43200時間 0 8

(saho )からサブミット可能 AM 1A核理 中時間 60分 50 10

AS 1A核理 短時間 3分 100 12

1B核理 BL 1B核理 長時間 43200時間 0 6

(saho )からサブミット可能 BM 1B核理 中時間 60分 50 8

BS 1B核理 短時間 3分 100 8

1C核理 CL 1C核理 長時間 43200時間 0 4

(saho )からサブミット可能 CM 1C核理 中時間 60分 50 4

CS 1C核理 短時間 3分 100 4

一般 DL 一般長時間 43200時間 0 6

(senri )からサブミット可能 DM 一般中時間 60分 50 6

DS 一般短時間 3分 100 12

mathemati ca用 ML 長時間 43200時間 0 2

(senri )からサブミット可能 MM 中時間 60分 50 2

MS 短時間 3分 100 2

【バッチジョブのクラス設定】

※ バッチジョブの投入方法、キューの設定等については web を参照してください。3

【インターラクティブノード】

senri

・ 一般ユーザー向けのノードです。

・ 計算ノードへのバッチジョブはここからサブミットします。

・ 計算ノード上のプロセスは時間と共に優先順位を下げるように設定されています。

・ 汎用セグメントとはギガビットイーサネットのインターフェイスで接続されています。

saho

・ データ解析を行なうユーザー向けのノードです。

・ データ処理ノードへのバッチジョブはここからサブミットします。

・ データ処理ノード上のプロセスは時間と共に優先順位を下げるように設定されています。

・ 汎用セグメントとはギガビットイーサネットのインターフェイスで接続されています。

hozumi

・ データ解析を行なうユーザー向けのノードです。

・ インタラクティブで最大ジョブを実行するためのノードです。

・ このノードは一旦 saho に入ってから利用可能です。

4

2-2. ディスク構成

マウントホ イ゚ント (GB)容量 用途 quota設定/ home 710 ホ ーム テ ィ゙レクトリ 10GB/ ユ ーサ ゙ー/ work 710 ワークテ ィ゙レクトリ なし

/ np1a/ v01 2850 1A核理 - 1 各ク ル゙ ーフ 毎゚/ np1a/ v02 2850 1A核理 - 2 各ク ル゙ ーフ 毎゚/ np1b/ v01 2850 1B核理 各ク ル゙ ーフ 毎゚/ np1c/ v01 2850 1C核理 各ク ル゙ ーフ 毎゚/ gpfs/ fs5 2850 未使用 -/ gpfs/ fs6 2850 未使用 -/ gpfs/ fs7 2850 デー タ移行用 -/ gpfs/ fs8 2850 デー タ移行用 -/ gpfs/ fs9 2850 デー タ移行用 -

/ gpfs/ fs10 2850 デー タ移行用 -/ gpfs/ fs11 2850 デー タ移行用 -/ gpfs/ fs12 2850 デー タ移行用 -

・ ディスク構成は RAID- 5によるデータ保護により RAID グループ内の1つのディスクに障害が発生した場合でもデータが 保護される構成をとっています。また、ディスクへのアクセスパスも二重化されており、経路障害時の冗長性も保たれ ています。・ ホームディレクトリ (/home) には合計 710GB 割り当てています。ディスクの使用制限 (quota) は1ユーザーあたり 10GB で 設定してしています。・ ワークディレクトリ( /work) には合計 710GB 割り当てています。ディスクの使用制限は現在かけていません。・ データ処理ノードからアクセスできるディスクは、約3 TB の RAID セットが12セットあり、各 RAID セットの配分は下記の とおりです。

【ディスク割り当て一覧】

5

2-3 .導入ソフトウェア

項目 名称 機能

システムソフトウェア

AIX v4.3.3Parallel System Support Program V3Performance Tool Box V2General Parallel File System v1Parallel Environment V2IBM LoadLeveler V2Tivoli Storage Manger/Tivoli Space Manager

オペレーティングシステム並列サーバ用管理プログラムパフォーマンス管理ツールパラレルファイルシステム並列環境 ( 並列化ライブラリ等 )ジョブコントローラアーカイブ管理

言語 XL Fortran for AIX v7.1

C for AIX v5.0VisualAge C++ Professional for AIX v5.0gcc-2.95.2.0gcc.g++-2.95.2.0gcc.info-2.95.2.0

ANSI X3.9-1978 (Full ANSI FORTRAN 77) 、 Fortran 90 (ISO/IEC 1539-1991 (E) and ANSI X3.198-1992) 準拠ANSI X3.159-1989 準拠

エディタ関連 GNU Emacs-20.7(mule)ispell - 3.1.20

エディタe macs 使用時のスペルチェッカー

かな漢字変換 Wnn6egg4

かな漢字変換かな漢字変換

数式処理 Mathematica 数式処理

mail,news,www関連 pine 4.05Netscape 4.7(navigator,m e ss a nger,composer)mnews

Mime 対応メールユーティリティWeb ブラウザ , メールリーダ , ニュースリーダニュースリーダ , メールリーダ

セキュリティ関連 OpenSSL 0.95a

OpenSSH 2.2.0p1

SSL プログラムSSH プログラム

【導入ソフトウェア一覧】

6

項目 名称 機能

ライブラリ関連 cern ライブラリIMSL F90 MP LinbraryIMSL C Library

Cern の提供するライブラリIMSL FORTRAN ライブラリIMSL C ライブラリ

tex 関連 tex v3.14159ptex v2.1.8latex v9906 platex v19990809edvips v5.78 + patch v1.4xdvi v22.15 + patch v03VFlib2-config v2.25.1mendex v2.4f

t ex日本語版 (ASCII 版 )t ex マクロptex マクロPS ファイル変換dvi ファイルビューワ日本語を統一的に扱うためのライブラリ索引整形ツール

その他ツール等 gzip-1.2.4.1GNU patch-2.5.4GNU make-3.79.1.0GNU tar-1.1.3gnuplot-3.7tcsh-6.09kterm-6.2.0Ghostscriptghostview-3.5.8tcl-7.6.0.0, tcl-8.2.3.0

tk-4.2.0.0, tk-8.2.3.0xv-3.10amonitor v2.1.7 + patch pre7xmgr v3.1.7xon-6.5.1Acrobat Reader 4.05zlib-1.1.3jless-3.3.2

圧縮ツールGNU 版 patchGNU 版 makeGNU 版 tar対話的な関数描画プログラムcsh の上位版日本語対応端末ポストスクリプトインタプリタPostScript ビューア言語処理ソフトt cl の拡張ライブラリセット画像ビューアシステム資源監視ツールグラフの表示 編集ツール・リモートクライアントPDF ファイルビューアZip 圧縮用汎用ライブラリテキストビューア

【導入ソフトウェア一覧】( 続き )

7

3.オンラインステーション

IBM RS/6000 モデル 44P-270(7044-270)

・ POWER3-Ⅱ 375MHz 2CPU

・ 437 SPECint_rate95 (2CPU)

・ 767 SPECfp_rate95 (2CPU)

・メモリー 2GB

・一時データ用ディスク 163.8GB(RAID-5時 )

・ AIX v4.3.3 オペレーティングシステム

・オンラインステーションはリングサイクロトンにおけるデータ収集システムからのデータ転送を受け、データ処理

サーバーへ転送するために設置しています。

・ kasuga1,kasuga2 の2台を設置し、1台に障害が発生した場合でも他の1台で代替できる構成をとっています。

・大量のデータ転送を可能にするため汎用ネットワークおよび核理1ネットワークとがキガビットイーサネットの

インターフェイスで接続されています。【機器仕様】

8

4.I/Oステーション

【I/Oステーション本体】 UNISYS U10 (JPU3010-SB U10) ( 4台 ) ・ UltraSPARC- i 440MHz 1CPUⅡ

・メモリー : 128MB ・ OS : U-J Solaris2.6

設置場所 型番 AVF 3棟 階 2リング付属棟 階 3本館 階 6本館 階8mmテープ装置 TE- 14G 1 1 2 28mm ( )テープ装置 スタッカ付 EXB- 210 1 1 0 0DLTカートリッジ磁気テープ装置 DLT7- 70G 1 1 1 1DLT ( )カートリッジ磁気テープ装置 スタッカ付 DLT7- 700G 1 3 2 2DAT(DDS3) TD24S 1 1 1 1DAT(DDS4) TD40 0 2 2 2DVD- RAM J P- D1020 1 1 1 1

(3.5 )MO インチ NV640MO45/ SOL 2 0 0 0(3.5 )フロッピーディスク インチ FD235GS1153 2 0 0 0

CD書込み装置 CRW8824SX 1 0 0 0

装置 仕様8mmテープ装置 8505 7GB 14GB エクサバイト と互換。標準で 、圧縮で の容量8mm ( )テープ装置 スタッカ付 8mm 10 上記 テープ装置用 巻のスタッカを装備DLTカートリッジ磁気テープ装置 Compaq TZ89N Quantum DLT‐7000 35GB 70GB や と互換。標準で 、圧縮で の容量DLT ( )カートリッジ磁気テープ装置 スタッカ付 DLT 10 上記 テープ装置用 巻のスタッカを装備DAT(DDS3) DDS-3 DDS-1 DDS-2 フォーマットをサポート。 や フォーマットとも互換DAT(DDS4) DDS-4 DDS-3 DDS-1 DDS-2 フォーマットをサポート。 や 、 フォーマットとも互換 。DVD-RAM DVD-RAM

(3.5 )MO インチ 640MB(3.5 )フロッピーディスク インチ 1.44MBフォーマットをサポート。

CD書込み装置 ISO9660フォーマットをサポート。

【周辺機器仕様】

【利用可能な周辺機器】

部分は近日公開予定です。9

5.ネットワークシステム5-1 .ネットワーク機器構成図

HEPNET

Firewall3

ODINS

ルータ

G bit

G bit

Senri hozumi

基幹ハブCatalyst6506

saho

基幹ハブCatalyst6506

AVF 棟 3F 計算機主機室

I/O ステーション

プリンターサーバ

オンラインステーション(kasuga1,kasuga2)

計算サーバー / データ処理サーバー

プリンタ

本館 4F ネットワーク機械室

ハブ本館各階

ハブ ハブ

プリンタ ユーザー端末

I/O ステーション (3F,6F)

G bit

リング付属棟 2F 計数室

基幹ハブCatalyst2948G

ハブ ハブ ハブ

プリンタ 端末

I/O ステーション

mail news www dns ntp

リング実験棟地下共同溝

基幹ハブCatalyst2948G

ハブ ハブ ハブ

プリンタ 端末

G bitG bit

ppp

ルータ

Cisco4500M

大塔ネットワーク

公衆回線

公衆回線

10

5-2 .ネットワーク概念図

Internet

オンラインステーション1(kasuga1)

核理1ネットワーク

HEPNET

汎用ネットワーク

ファイアウォール

ODINS

オンラインステーション 2(kasuga2)

加速器ネットワークFDDI

ルータ

IPDECnetappletalk

ルータ

IPDECnetappletalk

G bit G bit

大塔ネットワーク

ルータ

IP

外向けメールサーバ外向け www サーバ

アプリケーション・サーバ群

・・・

プリンターサーバー1プリンターサーバー2

sshssh, telnet, ftp(http,https)

プリンター群

I/O ステーション( 4台 )

Senri hozumi

データ処理ノード8 ノード

計算ノード3 ノード

計算サーバー(5 ノード )

データ処理サーバー(9 ノード )

saho

外部ネットワーク

プリンター用ネットワーク

11

5-3 .ファイアウォール

InternetHEPNET

汎用ネットワーク

ODINS

外向けメールサーバ外向け www サーバ

ssh

ssh, telnet, ftp(http,https)

Senri saho

ファイアウォール

mailweb

( 緩衝セグメント )

ユーザー端末

・新システムではセンター内のネットワークと外部ネットワークと の間にファイアウォールを設置して外部からのアクセスに対し セキュリティーを確保しています。

・外部ネットワークにはセンター内の計算機の IP アドレスや名前 を公開していませんので、 特定の計算機を除き、外部から センター内の計算機にアクセスすることはできません。

・外部からのアクセスは 2 つのインターラクティブノード (senri, saho) に対して ssh による login のみに制限され、一旦ここに login してか らセンター内の各計算機に対してアクセスが可能です。

・センター内から外部ネットワークへのアクセスは ssh, telnet, ftp に よるアクセスが可能です。 (http,https は暫定的に可能です )

・センター内の端末からはインターラクティブノード (senri, saho) 及 びオンラインステーション、その他の計算機に対して直接アクセ スが可能です。

・インターラクティブノードの hozumi については、外部からもセンター 内からも一旦 saho に login した後、利用することができます。

・メールやwww などのアプリケーションでの通信は緩衝セグメント 経由等で行われるように設計されています。

12

6.アプリケーションサーバ

アプリケーションサーバとして、下記のサーバが利用可能です。

6-1. プリンターサーバ6-2. メールサーバ6-3. www サーバ6-4. news サーバ6-5. dns サーバ6-6. ntp サーバ6-7. ppp サーバ

13

6-1. プリンターサーバ

Windows95,98 WindowsNTWindowsNTWindowsNTWindowsNT MacOSMacOS  7,8,97,8,9MacOSMacOS  7,8,97,8,9 LPR 対応計算機

核物理研究センター内

EtherTalk LPR

ポスタープリンタ ×1高速プリンタ ×3カラープリンタ ×13

AVF 棟 1,3F本館 1 ~ 6Fリング付属棟 2Fリング棟地階

プリンタ自身からメール通知

本館 3,6Fリング付属棟 2F

プリンタサーバーと連携しメール通知

本館 4F

出力履歴収集処理履歴集計処理メール通知機能

プリントサービス環境

プリントサーバーを同時・ 2 台稼動・ 1 台のサーバに障害が発生した場合、 クライアントより他のサーバへ切り替え ( プリンター名末尾のa ,b を切り替え )

履歴集計各々のプリントサーバー上の履歴情報を集計し、ユーザー別・機器別の情報を自動的にレポート

プリンタサーバa プリンタサーバb

消耗品・異常通知

消耗品(トナー・インク等)が少なくなった場合及び完全に無くなった場合、プリンターに異常が発生した場合に運用担当者へメールで通知

( 用紙切れの場合は除く )

【プリンターシステム構成図】

14

【プリンター一覧】

カラープリンターPhaser850DP

( 13台 )

用紙サイズ : A4,A5, レター (両面印刷可 )解像度 : 1200dpiカラー : 1670 万色印刷速度 : 8 ページ /分 (標準モード )

高速プリンターDocuPrint C1250Net

( 3台 )

用紙サイズ : A3 ~ B5 ( 両面印刷可 )解像度 : 600dpiカラー : 1670 万色印刷速度 : 50 ページ /分 (A4 ヨコ ,モノクロ ) 12.5 ページ /分 (A4 ヨコ ,フルカラー )

ポスタープリンターPM-9000CPS2

( 1台 )

用紙サイズ : A3 縦~ B0ノビ解像度 : 360dpi ~ 720dpiカラー : 1670 万色印刷速度 : 約 15 分 /1 枚 (A0,720dpi×360dpi)

15

6-2. メールサーバ

InternetHEPNET

Firewall外向けメールサーバ (mail-gate)

ODINS

outgoing mail server(mail-out)

incoming mail server(mail-in)・ POP サーバ・メーリングリスト・ (IMAP サーバーは 準備中 )

・メールサーバは架空のサイト名を送信元とするようなメールを 拒否したり、スパムメールの踏み台となる危険性のあるサイト からのメールを拒否するなど、ファイアウォールとの組み合わ せでセキュリティーを確保しています。

受信

・メーリングリストの運用について

センター内でのメーリングリストはすべてこのサーバ上で運用 されています。 個々のメーリングリストには各々にリスト管理者が割り当てら れていますので、リストへの登録等については各リスト管理者 にご相談ください。

送信

汎用ネットワーク

ユーザー端末senrisaho

・メールサーバは受信専用と送信用 ( 中継専用 ) の2台のサーバに 分けて運用しています。 旧システムとは受信のための POP 等メールの設定について変更 されていますので web マニュアルを参照して設定をしてください。

受信

送信

16

6-3. www サーバ

InternetHEPNET

汎用ネットワーク

Firewall外向け www サーバ ( 公開 )www-rcnp

ODINS

内向け www サーバwww-in( プロキシ )

w w w 管理者

・ web の公式ページはセンター内の限られたコンテンツ管理者

のみが編集可能です。

・一般ユーザーの個人 / グループのページは senri 上のページを

更新することで公開サーバーへ反映されます。

登録・編集

【ブラウザ環境】

ユーザー(web ブラウザ )

・外部の www サーバへアクセスする際は必ずプロキシの

設定を行ってください。

InternetHEPNET

汎用ネットワーク

Firewall外向け www サーバ ( 公開 )www-rcnp

ODINS

内向け www サーバwww-in( プロキシ )

【ホームページ公開】

一般ユーザー

Senri

・ www サーバは、公開用外向け www サーバと web ページの登録・編集等を行う内向け www サーバに分けて運用

しています。

nfs

登録・編集

login

17

6-4. news サーバ・ news サーバは旧システムと同様に運用を行っています。

・ news サーバを使用できるのは内部ユーザ (Firewall 内 ) のみです。 (PPP 経由での使用も予定しています )

・推奨のリーダーは mnews です。利用方法は web を参照してください。

・システムの運用情報が rcnp.announce で提供されます。

・ dns は内向けサーバ2台、外向けサーバ 1 台によるサービスを行っています。

・内向けサーバを2台設定することで、1台に障害が発生した場合でももう 1 台

のサーバより dns のサービスを受けることが可能です。

・センター内からはセンター内の計算機の名前は引けますが、外部のネット

ワークよりセンター内の名前参照は特定のサーバ以外はできません。

InternetHEPNET

汎用ネットワーク

Firewall

ODINS

ユーザー

外向け dns

内向け dns1 内向け dns2

× 特定サーバのみ

6-5. dns

18

6-6. ntp サーバ

・ ntp サーバーは各計算機の時計を正確に合わせるために時刻情報を提供するサーバーです。

・現在 2 台のサーバ (ntp1,ntp2) で運用を行っています。

・使用しているコンピュータの時刻が合っていることで様々なメリットがありますので設定が可能な計算機では

使用を推奨します。

6-7.ppp サーバ

・ ppp サーバは旧システムと同様に運用を開始する予定です。

・一般回線が 3 回線用意される予定です。

・今回のシステムではどのユーザーがどのポートでログインしたのかロギング機能をもつ予定です。

19

http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/tebiki.html

v0.9.1, 22 December 2000v0.9.1, 22 December 2000 •移行に伴う必要項目 •FAQ

•新汎用計算機システムの使用の手引き

•1. 本システムの使用方法•1.1 Login 方法 •1.2 Password 変更手順 •1.3  バッチジョブ投入について Japanese English •1.4 コマンドレファレンス •1.5 I/Oステーション・デバイス一覧

•2. クライアントでの設定 使用方法・•2.1 ssh Windows 98 •MacOS •PC-Unix •2.2 telnet •2.3 mnews

•3. Printerの定義 使用手順・•3.1 Windows 98 定義手順•使用手順•3.2 Windows NT 4.0 定義手順•使用手順•3.3 MacOS 定義手順•使用手順•3.4 PC-UNIX 定義手順 使用手順・•3.5 インタラクティブ・ノード及びオンラインステーションからの出力手順•3.6 UNIX から印刷設定を指定して出力する手順

•4. コンパイラー・マニュアル•C 言語 HTML PDF •Fortran HTML PDF(User's Guide) PDF(Language Reference) •IMSL ライブラリ HTML(はじめに) PDF

•5. メーリングリスト管理者マニュアル

•6. FAQ HISTORY

新汎用計算機システムの使用の手引き

20

FAQ

v0.9.1, 22 December 2000v0.9.1, 22 December 2000 •新汎用計算機システムの使用の手引き •移行に伴う必要項目 •FAQ HISTORY

•FAQ

•1. ネットワーク

•2. インタラクティブ・ノード SENRI-SAHO

•3. 言語関連

•4. その他

http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/faq/faq.html

21

top related