oracle real application clusters 11g release 2 for …...oracle rac 11gr2 のメモリ要件:ram...
TRANSCRIPT
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
Oracle Real Application Clusters 11g Release 2 for AIX インストール手順書
2010/11 Version 1.1
* 2010/08 Oracle Database 11g R2 11.2.0.1 対応* 2010/11 Oracle Database 11g R2 11.2.0.2 対応
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
2
当資料について
当資料は、Oracle Real Application Clusters(以下、Oracle RAC) 11gR2(11.2) for IBM AIX on Power Systems (64-Bit) の インストール手順を示す資料です。
AIX®のインストールが完了した時点からの手順を説明する資料です。
• 当手順書の検証においては、AIXオペレーティングシステムのインストールオプションは変更せず、デフォルトの状態で導入しています。
当資料では、データベース記憶域として Oracle Automatic Storage Management (以下、ASM) を選択しています。
インストールを開始する前に、オラクル社が提供する製品マニュアル(インストールガイド)を必ずご確認ください。
• 当ドキュメントの作成後にOSパラメータの推奨値等が変更になっている可能性があります。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
3
What's New ? - Oracle RAC 11gR2 Installation - ①
Grid Infrastructureの登場
• Oracle Grid Infrastructure を導入することにより、Oracle Clusterware と Oracle ASM が導入される
• 以前のリリースでは、Oracle ASMはOracle Databaseインストールの一部としてインストールされていたが、11gR2では、Oracle ASMはOracle Grid Infrastructureのインストールの一部となった
GRID Plug and Play
• 11gR2以降では、サーバープールに物理ノードを定義しておくことで、負荷に応じて稼動サーバ数が動的に変更されるアーキテクチャーを選択することができる
• 11gR1以前同様に、Oracle RACを構成するノードを固定することも可能(当手順書ではこの構成を採用)
データ記憶域として、今後RAWデバイスは推奨されない
• 今後データ記憶域として使用できるのは、Oracle ASM / ファイルシステム / NFS Filer のみ
– 旧バージョンから11gR2へのアップグレードを行った場合や、CUIベースで作成したデータベースにおいてRAWデバイスを利用する場合については、少なくとも11gR2までは引き続き製品サポートが得られます
– 現時点で RAWデバイスを利用している環境については可能な限りASMへの移行を検討すべき
ASMの機能拡張
• データ記憶域だけでなく、投票ディスクとOCRもASMディスクグループ上に配置可能となった
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
4
What's New ? - Oracle RAC 11gR2 Installation - ②
gridユーザの作成が推奨される• Oracle DB 管理用ユーザとOracle Grid Infrastructure 管理用ユーザを作成
– 例として oracleユーザ(Oracle DB 管理)、gridユーザ( Grid Infrastructure管理)
• ORACLE_HOME設定は、Grid Infrastructure用ホームディレクトリを指すか、もしくはデータベース用ホームディレクトリを指す。都度、状況に応じていずれかのホームディレクトリに設定する
SCANの登場• 11gR1RACまで、クライアントサイドフェイルオーバーを行うためには、クライアント側(例:WASデータソース定
義)で複数のOracleリスナーを登録しておく必要があった
• 11gR2RACでは、クライアント側で Oracle RAC の代表アドレスとして SCANのアドレスを登録しておくことで、リスナーのフェイルオーバーのための設定を行う必要がなくなった– フェイルオーバーはOracleサーバー側で実施される
• SCANアドレス3つ以上を DNS Round Robin にて使用することが推奨。(SCAN1つ, DNS無しでも構成可能)
• 11gR1以前と同様に、クライアントからリスナーアドレスを登録する形式でもアクセス可能
SSH自動構成機能の提供
• 11gR2ではSSH構成(ログイン時パスワード入力を不要とするための構成)はOUIにより自動的に行われる– この場合、ユーザーが authorized_keys ファイルを作成する必要はない
• 11gR1以前と同様に、ユーザー自身で authorized_keys ファイルを作成する方法でも構成可能– 11.2.0.2では 現在、SSH自動構成機能を使用するためには回避策が必要になるため、当手順書では authorized_keys
ファイルを事前に作成しています
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
5
Oracle Database 11gR2 (RAC)インストール手順
インストールイメージの入手
サーバーの環境確認とセットアップ(OS設定)
Oracle Grid Infrastructure インストール
Oracle Database インストール
ASMディスク・グループ作成
Oracle Database作成
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
6
Oracle Database 11gR2 (RAC)インストール手順
インストールイメージの入手
サーバーの環境確認とセットアップ(OS設定)
Oracle Grid Infrastructure インストール
Oracle RAC インストール
ASMディスク・グループ作成
Oracle Database作成
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
7
インストールイメージの入手Oracle RAC 11gR2 for AIX の導入には、下記2つのインストールイメージが必要
下記いずれかで入手可能(Oracle 11g R2 (11.2.0.2) は、フル・インストール・イメージです。 11.2.0.2のインストールには、11.2.0.1は必要ありません。)
– Oracle Technology Network(US)サイトよりダウンロード(11.2.0.1のイメージのみ入手可)
• http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html
• http://www.oracle.com/technetwork/index.html(トップページ)
– e-Delivery (11.2.0.1のイメージのみ入手可)
• http://edelivery.oracle.com/
• 要サポート契約
– My Oracle Support (11.2.0.2のイメージのみ入手可)
• http://support.oracle.com/
– DVDを入手する
• 要サポート契約
1: Oracle Database 11gR2 Grid Infrastructure* Oracle Clusterware と ASM を構成
2: Oracle Database 11gR2* Oracle RAC と リスナーを構成
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
8
インストールイメージの入手
unzipの導入について
– OTN, e-Delivery では、インストールイメージが zip形式で提供される
– AIXには zip解凍ツールはデフォルトで導入されないため、rpmを入手し予め適用する必要がある
– unzipツール入手元
• AIX Toolbox for Linux Applications
http://www-03.ibm.com/systems/power/software/aix/linux/toolbox/alpha.html
OpenSSL/OpenSSHについて
– AIXでは、デフォルトではSSH関連のファイルセットが導入されていないため、事前にダウンロード・導入する。(導入手順は後述)
– OpenSSL/OpenSSH入手元
• AIX Expansion Pack and Web Download Pack 【OpenSSL】http://www-03.ibm.com/systems/power/software/aix/expansionpack/index.html
• AIX Web Download Pack Programs 【OpenSSH】https://www14.software.ibm.com/webapp/iwm/web/reg/pick.do?source=aixbp&lang=en_US
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
9
Oracle Database 11gR2 (RAC)インストール手順
インストールイメージの入手
サーバーの環境確認とセットアップ(OS設定)
Oracle Grid Infrastructure インストール
Oracle RAC インストール
ASMディスク・グループ作成
Oracle Database作成
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
10
サーバーの環境確認とセットアップ(OS設定)
1.0 H/W要件の概要
– クラスタノード
– 2ノード(LPAR)以上のマシン
– ネットワーク(パブリックネットワーク)
– クライアントからデータベースに接続するためのネットワーク
– ネットワーク(インターコネクト)
– クラスタノード間通信に使用されるネットワーク
– 共有ストレージ
• データベースシステムとユーザデータを保存
【補足】
・ クラスタノードはすべて同一OSで動作する必要がある。・ 当資料では、2LPAR(≒論理的な2ノード構成)でOracle RACを構成する。PowerVM™は使用しない。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
1111
1. サーバーの環境確認とセットアップ(OS設定)
1.1 H/W要件の確認
– ■システム・アーキテクチャと動作モード (32bit or 64bit) の確認
– ■メモリ・スワップ関連
• メモリ容量の確認をし、要件よりも少ない場合はメモリ増設が必要
• swap容量を確認。すくない場合は拡張する
• swap領域拡張方法
# /usr/sbin/lsattr -E -l sys0 -a realmem
# /usr/sbin/lsps -a
# /usr/sbin/chps -s <ブロック数> hd6
Oracle RAC 11gR2 のメモリ要件:RAM 4GB
(Grid Infrastructure のみ稼動する場合は 1.5GB)
# getconf KERNEL_BITMODE
# bootinfo -K両コマンドの戻り値は 64 である必要があります。64 以外の値が返された場合、Oracle 11gR2 for AIX 64bit はインストールできません。
当ページの作業は
root ユーザ で実行します
◆◇補足: Oracle導入に必要なメモリ・Swapサイズ ◇◆
Oracle 11gR2 Grid Infrastructure インストールガイド参照http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/typinstl.htm#CBHHHJJF
RAM 8GB 以上を搭載するマシンであれば、RAMサイズ×1.5倍(上限は32GB)が推奨値
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
12
1. サーバーの環境確認とセットアップ(OS設定)
1.1 H/W要件の確認
– ■ランレベルの確認
当ページの作業は
root ユーザ で実行します
# who -rOracleを導入するAIXのランレベルは、2 である必要がある (デフォルト値: 2 )
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
13
1. サーバーの環境確認とセットアップ(OS設定)
1.1 H/W要件の確認
– ■各種Firmwareバージョン確認
• SSIC にて、サポートされるH/W, OS, Firmware の組み合わせとなっていることを確認する
– IBM System Storage Interoperation Center (SSIC)http://www.ibm.com/systems/support/storage/config/ssic/displayesssearchwithoutjs.wss
• 当ドキュメントは下記組み合わせのH/W, OS, Firmwareで検証
当ページの作業は
root ユーザ で実行します
サーバー機器 IBM Power570
OS AIX 6.1 TL04
ストレージ機器 IBM System Storage® DS4800 (F/W: 06.16.97.00 NVSRAM: N1815D480R916V3)
SAN Switch IBM TotalStorage SAN スイッチ SAN16B-2(2005-B16)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
14
1. サーバーの環境確認とセットアップ(OS設定)
1.1 H/W要件の確認
– ■Oracle Grid Infrastructure導入に必要なディスク容量の確認
• 各ファイルシステムについて下記の要領を確保しておく必要があります。
当ページの作業は
root ユーザ で実行します
ディレクトリ 必要容量 用途、その他
gridユーザーのOracleベース・ディレクトリ/u01/grid (デフォルト)
12GB Oracle Clusterwareインストールディレクトリ, ASMファイルとログが格納される
oracleユーザーのOracleベース・ディレクトリ/u01/app/oracle (デフォルト)
7.5GB Oracle Databaseインストールディレクトリ
/tmp 1GB 一時ファイル1GBはOracle導入の最低条件。必要に応じて拡張
/usr 6GB程度(※) (※)Oracle導入要件ではない。OS Fixpackを適用する際に、デフォルト構成では/usr容量が不足するため予め拡張しておく。目安として、AIX 6.1 TL04適用後は4GB強が使用される。
◆◇補足: Oracle導入に必要なディスク容量 ◇◆
Oracle 11gR2 インストールガイド参照http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/toc.htm
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
15
1. サーバーの環境確認とセットアップ(ストレージ設定)
1.1 H/W要件の確認
– ■ ASMディスクグループに必要な空き容量
• Oracle Clusterware 関連ファイル(OCRディスク×3、投票ディスク×3)をNormal Redundancy で作成する場合に必要な空き容量の目安
– 各物理ディスクあたり1GBディスクスペースが利用可能であること
– 各Oracle Clusterwareファイル用のファイルシステムあたり 280MB以上の空き容量があること
– ■Oracle ASM利用時の冗長性確保のために
• Oracle Clusterwareファイル用に 2GBディスクスペース(3つの障害グループそれぞれに割当)
• 3つの物理ディスクが必要
• 各物理ディスクには1GB以上の空き容量が必要
◆◇補足: ASMインスタンス ◇◆
Oracle自動ストレージ管理(Oracle ASM) を Oracle Clusterware ファイルまたは Oracle Database ファイルに使用する場合、ASM用のOracleインスタンス(=ASMインスタンス)が稼動します。データベースの数に関係なく、クラスタ内のノードごとにASMインスタンスが1つ作成されます。
当ページの作業は
root ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
16
1. サーバーの環境確認とセットアップ(ストレージ設定)
1.1 H/W要件の確認
– ■外部ディスクストレージ上で必要なオペレーション
– 下記はIBM DS4800における操作手順の概略です。
– 操作の詳細手順は使用するストレージ機器によって異なりますので、各機種のマニュアルをご確認ください。
1. IBM Storage Manager クライアントを起動する
2. Storage Manager クライアント上で Array を作成
3. Storage Manager クライアント上で論理ドライブを作成
1. データファイル用と、OCR/投票ディスク用に、2つの論理ドライブを作成
2. 後続のステップ(⇒P81, P112)にて論理ドライブ(=AIX OSから見るとキャラクタデバイス)上に、Oracle ASM ディスクグループが構成される。
4. Storage Manager クライアント上で論理マッピングを作成
当ページの作業は
root ユーザ で実行します
◆◇補足: OCR/投票ディスクの配置先◇◆
OCR/投票ディスクは、ASM、サポートされたNAS、クラスタファイルシステムのいずれかに配置することができます。RAWパーティションに配置することはできません。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
17
1. Pre-Installation Task
1.2 S/W要件の確認 <テクノロジーレベル>
– ■OSバージョン(テクノロジーレベル)の確認
• 必要な Fixpack が適用されていることを確認
– ■Fixpack 適用 (smitツールを使用する方法)
– 「ソフトウェアのインストールおよび保守」 > 「ソフトウェアのインストールおよび更新」 > 「インストール済みソフトウェアを最新レベルに更新 (すべて更新)」
– 「ソフトウェアの入力デバイス/ディレクトリー」 に、TL04を配置したディレクトリを指定する
– 「新規ご使用条件に同意する」を「はい」に変更し Enter 押下することでインストール開始> 環境に依存するが、数十分程度の時間がかかる
当ページの作業は
root ユーザ で実行します
# oslevel -s AIX 6.1の場合、TL 02 SP1 ("6100-02-01") 以上が必要
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
18
1. Pre-Installation Task
1.2 S/W要件の確認 <ファイルセット>
– ■ファイルセットの確認
• Oracle Database の前提として必要なファイルセットが導入済みか確認
– ■ファイルセット導入 (smitツールを使用する方法)
– 「ソフトウェアのインストールおよび保守」 > 「ソフトウェアのインストールおよび更新」 > 「ソフトウェアのインストール」
– 「ソフトウェアの入力デバイス/ディレクトリー」に、各ファイルセットと依存モジュールを配置したディレクトリを指定する
– 「新規ご使用条件に同意する」を「はい」に変更し Enter 押下することでインストール開始
当ページの作業は
root ユーザ で実行します
# lslpp -l bos.adt.base bos.adt.lib bos.adt.libm ¥bos.perf.libperfstat bos.perf.perfstat bos.perf.libperfstat ¥bos.perf.proctools rsct.basic.rte rsct.compat.clients.rte ¥xlC.aix61.rte
AIX6.1の場合は下記のファイルセットが必要* bos.adt.base* bos.adt.lib★ bos.adt.libm* bos.perf.libperfstat 6.1.2.1 or later* bos.perf.perfstat* bos.perf.proctools★★ rsct.basic.rte★★ rsct.compat.clients.rte* xlC.aix61.rte:10.1.0.0 or later
【AIX 7.1を利用する場合】
★赤字で示すファイルセットを追加導入する
【AIX 6.1を利用する場合】
★赤字で示すファイルセットと★★青字で示すファイルセット を
追加導入する
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
19
1. Pre-Installation Task
1.2 S/W要件の確認 <ファイルセット(補足)>
– ■補足1 :ファイルセットの入手
• ユーザ自身で追加インストールする必要のある3つのモジュール(※)は、AIX6.1インストールメディアに含まれています。(AIX6.1デフォルトインストールでは導入されません)– (※) bos.adt.libm / rsct.basic.rte / rsct.compat.clients.rte
• 各ファイルセットの最新アップデートはインターネット上に公開されています。– Fileset information for: bos.adt.libm
http://www.ibm.com/support/docview.wss?uid=isg1fileset-1318926131
– Fileset information for: rsct.basic.rte, rsct.compat.clients.rte
http://www.ibm.com/support/docview.wss?uid=isg1fileset-1429361625
> Oracle 11gR2 のインストール要件として、上記ファイルセットのバージョンは指定されていないため最新アップデートを適用するか否かは任意です。プロジェクトの Fix適用方針に従ってご検討ください。
– ■補足2 :ファイルセットの名称
• bos.adt.libm 6.1.0.0 に該当するモジュールは smit install_all 画面上、bos.adt "6.1.0.0 Base Application Development Math Library" という名称で表示されます。– bos.adt パッケージに含まれる形で提供されているため、"bos.adt.libm" を検索しても見つからないことに注意
• 以下、同じ理由から ...– rsct.basic.rte ⇒ rsct.basic "2.5.1.0 RSCT Basic Function" を選択
– rsct.compat.clients.rte ⇒ rsct.compat.clients " 2.5.1.0 RSCT Event Management Client Function" を選択
当ページの作業は
root ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
20
1. Pre-Installation Task
1.2 S/W要件の確認 <OS Patch>
– ■OS Patchの確認
• 必要な OS Patch が適用されていることを確認
– ■補足 :Patch確認方法
– Oracle Database 11gR2 のインストーラでは、システム要件として下記3つの Patch の適用有無を確認しています。
> IZ51456、 IZ41855、 IZ52319
– ただし、AIX TL 6100-02よりも新しいテクノロジーレベルを適用している環境では、Patchの名称(番号) が上記と異なる場合があります。
– その環境に応じて必要なPatchが適用されていることを確認します。
当ページの作業は
root ユーザ で実行します
# /usr/sbin/instfix -i -k "IZ51456 IZ41855 IZ52319" AIX6.1 TL02 の場合は下記3つのPatchが必要
* IZ41855* IZ51456* IZ52319
⇒次ページにつづく
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
21
1. Pre-Installation Task
1.2 S/W要件の確認 <OS Patch(補足)>
– ■補足 :Patch確認方法
• Oracleのインストーラが確認する3つのPatch が既に適用済みであるかどうか確認する方法として、smit による一覧を利用する方法、instfixコマンドを利用する方法があります。
• 各Patchの修正内容の概要や適用方法の一例を下表に記載しています。
当ページの作業は
root ユーザ で実行します
Oracle導入前提Patch
Patch概要 適用有無の確認方法
各Patchについての情報Link
IZ51456 PORTMAPPER HANGS
smit[bos.rte.streams6.1.3.1 以上]
http://www-01.ibm.com/support/docview.wss?uid=isg1fixinfo112964
IZ41855 mprotect() returns ENOMEM for text segment in 32 bit
smit[bos.mp64 6.1.2.3 以上]
http://www-01.ibm.com/support/docview.wss?uid=isg1fixinfo110284
IZ52319 PERFSTAT_CPU_TOTAL_T:LOAD AVG GIVING WRONG VALUES INSIDE WPAR APPLIES
instfixコマンド[instfix -i -k "IZ55160"]※
※TL04適用の場合
http://www-01.ibm.com/support/docview.wss?uid=isg1IZ52319http://www-01.ibm.com/support/docview.wss?uid=isg1IZ55160
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
22
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■ネットワークインターフェース
– 1ノードあたり最低2個のNICを搭載していること
– Public IPアドレス用に1個、Private IPアドレス用に1個
– 各NICに対するIPアドレス、NETMASK等のTCP/IP設定は事前に実施しておく必要があります
– ■(オプション)NICの可用性
• NIC障害時のダウンタイムを短縮できるソリューションとして、2枚以上の NIC を1つのインターフェースとして見せることのできる NICボンディング/AIX Etherchannel 等の利用が推奨されています。
• 11gR2 PatchSet1 (11.2.0.2) の新機能として、インターコネクト用のNICをオラクルレベルで冗長構成できるようになりました。
– この機能を使う場合、インターコネクト用NICに対して169.254.xxx.xxx のアドレスが内部的にランダムにアサインされ、Cache Fusion等の通信は全て169.~のアドレスで行われるようになります。
– これまで通り、BONDINGで冗長化してもOKです。
当ページの作業は
root ユーザ で実行します
11.2.0.2New !!
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
23
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■ IPアドレスの割り当て
> IPアドレスの割り当て方法については、以下いずれかを選択します
• 1)静的IPアドレス割り当て 【当資料はこちら】
– 固定IPアドレスを割り当てる
– 11gR1以前と同じく、どのノードにRACを構成するか予め決めている場合はこちらでOK
• 2)Oracle Grid Naming Service (GNS)による動的なIPアドレスの割り当て
– Grid Plug and Play(GPnP)対応 の Oracle RAC 環境を構築する場合には、GNSのネットワーク構成要件を満たしておく必要があります。
– パブリックネットワーク上のIPアドレス割り当てのためにDHCPサービスが必要
当ページの作業は
root ユーザ で実行します
11gR2New !!
◆◇補足: Grid Plug and Play (GPnP) ◇◆
Oracle 11gR2 インストールガイド参照http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/toc.htm#CHDIFGAI
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
24
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■ インターコネクト用ネットワークのMulticast通信確認 (11.2.0.2~)
– Oracle Database 11g R2 11.2.0.2 以降では、インターコネクト用のプライベート・ネットワークでMulticast通信が行える必要がある
– Grid Infrastructureはアドレス:230.0.1.0、ポート番号:42424でノード間通信を行う
– アドレス:230.0.1.0が使用できない場合は、個別パッチ(Patch: 9974223)を適用することで、アドレス:224.0.0.251 (port 42424)で通信するように変更可能
当ページの作業は
root ユーザ で実行します
◆◇補足: Multicast通信確認の詳細 ◇◆
My Oracle Support ノート 1212703.1:1.2.0.2 Grid Infrastructure Install or Upgrade may fail due to Multicasting Requirement
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
25
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■Single Client Access Name(SCAN)の定義
– デフォルトインストールでは、 SCAN はローカルノード名に基づいて命名される。クラスタ名も SCAN と同一文字列となる
– 変更する場合には、RACを構成するノード間でユニークとなる名称とする必要がある
– ■SCANの名前解決
– Round Robin 名前解決ルールを選択する場合には、推奨として3個(最小:1個) のIPアドレスを登録する。
– 複数のSCAN VIP を利用する場合には、名前解決方法として DNS が推奨される。
– DNSラウンドロビンによる負荷分散・可用性向上のため3個のアドレスをDNSに登録する構成が推奨。
– hostsによる名前解決は推奨されない。 (hostsファイルに複数のIPアドレスを登録しておいても、SCANアドレスとして利用されるアドレスは1つのみとなってしまうため。)
当ページの作業は
root ユーザ で実行します
SCAN/クラスタ名ルール:・1文字以上15文字以内であること・アルファベットと英数字で構成されること(ただし先頭の文字に数字はつかえない)・ハイフン(-)も使用可能・SCAN名が15文字以上に設定された場合には、クラスタ名は、デフォルトで SCANの先頭15文字がセットされる
※SCANとは?(次ページにて補足)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
26
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■Single Client Access Name(SCAN)とは
– クライアントからSCAN名を指定するだけでOracle RAC 内のいずれかのインスタンスへと接続できる。
– SCANリスナーへの接続確立後は、SCANが各サービスへの接続を自動的にリダイレクトする。
– 11gR1以前のOracle RACでは、VIPをサーバ台数分指定することで負荷分散やフェイルオーバーを実現→ 11gR2 RACでは、負荷分散・フェイルオーバーの機能がSCANにより提供される。
(DBクライアント側では、RACノード台数・VIP名等を意識する必要がない。)
11gR2New !!
サービス:CRM
サービス:HR
サービス:Batch
DBクライアント
11gR1以前同様、クライアントからSCANではなくVIPを指定する方式でも接続可能。
DBクライアント
接続に必要な情報:
・SCAN名
・ポート番号・サービス名
Oracle RAC
SC
AN
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
2727
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認 (補足: IPアドレス定義の例)
当ページの作業は
root ユーザ で実行します
ID ホーム・ノード
ホスト・ノード 指定された名前 タイプ アドレスアドレスの割当て元
解決手段
Node 1 Public
ノード1 node1 node1 パブリック 192.0.2.101 固定 DNS
Node 1 VIP
ノード1 Oracle Clusterwareにより
選択される
node1-vip 仮想 192.0.2.104 固定 DNSおよびhostsファイル
Node 1 Private
ノード1 node1 node1-priv プライベート 192.168.0.1 固定 DNSおよびhostsファイル、
またはなし
Node 2 Public
ノード2 node2 node2 パブリック 192.0.2.102 固定 DNS
Node 2 VIP
ノード2 Oracle Clusterwareにより
選択される
node2-vip 仮想 192.0.2.105 固定 DNSおよびhostsファイル
Node 2 Private
ノード2 node2 node2-priv プライベート 192.168.0.2 固定 DNSおよびhostsファイル、またはなし
SCAN VIP 1
なし Oracle Clusterwareにより
選択される
mycluster-scan 仮想 192.0.2.201 固定 DNS
SCAN VIP 2
なし 同上 mycluster-scan 仮想 192.0.2.202 固定 DNS
SCAN VIP 3
なし 同上 mycluster-scan 仮想 192.0.2.203 固定 DNS
参考:http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/preaix.htm#CEGFGHFE
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
28
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■(補足)/etc/hosts の構成一例
– 以下添付の hosts ファイルは、実際に当方テスト環境にて使用したものです。
– SCAN以外の名前解決は全て hostsファイルにて行いました。
当ページの作業は
root ユーザ で実行します
127.0.0.1 loopback localhost # loopback (lo0) name/address
10.196.15.20 ntp-node ←as NTP Server
10.196.15.21 node1 ←as RAC Node1
10.196.15.22 node2 ←as RAC Node2
10.196.15.121 node1-vip
10.196.15.122 node2-vip
192.168.15.21 node1-priv
192.168.15.22 node2-priv
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
29
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■(補足)/etc/resolv.conf の構成一例
– SCAN用IPアドレスの解決はDNSにて行いました。
– /etc/resolv.conf ファイル一例
– 以下、アドレスの一覧として
当ページの作業は
root ユーザ で実行します
10.196.15.221 node1-scan
10.196.15.222 node1-scan
10.196.15.223 node1-scan
nameserver 10.196.32.11
domain gridcenter.jp.oracle.com
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
30
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■(補足) ifconfig サンプル構成
– 当方テスト環境では、SCANならびにVIPを、パブリックIPアドレスを定義したNICに対するIPエイリアスとして定義しました。
– RACノード1:
当ページの作業は
root ユーザ で実行します
# ifconfig -a
en0: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 10.196.15.21 netmask 0xffffff00 broadcast 10.196.15.255
inet 10.196.15.121 netmask 0xffffff00 broadcast 10.196.15.255
inet 10.196.15.221 netmask 0xffffff00 broadcast 10.196.15.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
en1: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 192.168.15.21 netmask 0xffffff00 broadcast 192.168.15.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b,c0<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,LARGESEND,CHAIN>
inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
inet6 ::1%1/0
tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
#
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
31
1. サーバーの環境確認とセットアップ(OS設定)
1.3 ネットワーク要件の確認
– ■(補足) ifconfig サンプル構成(続き)
– RACノード2:
当ページの作業は
root ユーザ で実行します
# ifconfig -a
en0: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 10.196.15.22 netmask 0xffffff00 broadcast 10.196.15.255
inet 10.196.15.122 netmask 0xffffff00 broadcast 10.196.15.255
inet 10.196.15.222 netmask 0xffffff00 broadcast 10.196.15.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
en1: flags=5e080863,c0<UP,BROADCAST,NOTRAILERS,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLOAD(ACTIVE),PSEG,LARGESEND,CHAIN>
inet 192.168.15.22 netmask 0xffffff00 broadcast 192.168.15.255
tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0
lo0: flags=e08084b,c0<UP,BROADCAST,LOOPBACK,RUNNING,SIMPLEX,MULTICAST,GROUPRT,64BIT,LARGESEND,CHAIN>
inet 127.0.0.1 netmask 0xff000000 broadcast 127.255.255.255
inet6 ::1%1/0
tcp_sendspace 131072 tcp_recvspace 131072 rfc1323 1
#
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
32
1. サーバーの環境確認とセットアップ(OS設定)
1.4 ユーザ、グループ作成
– ■ユーザ、グループの作成
• Oracle Grid Infrastructure にてデフォルトで使用されるグループとユーザを作成
– グループ : oinstall、dba、asmadmin(Oracle ASMストレージ管理グループ)
– ユーザ : grid、oracle
• パスワードの設定
当ページの作業は
root ユーザ で実行します
# mkgroup -'A' id='1000' adms='root' oinstall
# mkgroup -'A' id='2000' adms='root' dba
# mkgroup -'A' id='3000' adms='root' asmadmin
# mkgroup -'A' id='4000' adms='root' oper
# mkuser id='1100' pgrp='oinstall' groups='dba,asmadmin,oper' home='/home/grid' grid
# mkuser id='1101' pgrp='oinstall' groups='dba,asmadmin,oper' home='/home/oracle' oracle
# passwd grid
# passwd oracle
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
33
1. サーバーの環境確認とセットアップ(OS設定)
1.5 ディレクトリ作成/権限設定
– ■インストールディレクトリに対するパーミッション設定
• P14 にて作成した、Grid Infrastructure/Oracle RAC 用のインストールディレクトリに対し、想定する所有者、及びパーミッションを設定します。
– Grid Infrastructure 導入ディレクトリ :/u01/grid (デフォルト)
– Oracle データベース導入ディレクトリ :/u01/app/oracle (デフォルト)
– ORACLE_BASEや、Grid Infrastructureホームディレクトリの権限は 775 とする必要があります。
当ページの作業は
root ユーザ で実行します
# mkdir -p /u01/grid
# chown -R grid:oinstall /u01
# mkdir /u01/app/oracle
# chown oracle:oinstall /u01/app/oracle
# chmod -R 775 /u01/
◆◇補足: Oracle Clusterware導入ディレクトリ(Clusterwareホーム)について ◇◆
Oracle ClusterwareホームをOracleベースに作成しないでください。Oracleベース・ディレクトリのパスにOracle Clusterwareインストールを作成すると、その後のOracleインストールが失敗します。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
34
1. サーバーの環境確認とセットアップ(OS設定)
1.5 ディレクトリ作成/権限設定
– ■Oracle Inventory
– そのノードへのOracle製品インストールが初回である場合には、/opt/oraInventory ディレクトリを作成する必要があります。
– oinstall グループに対して rwx権限を付与します。
– ■前提条件チェックスクリプト用ディレクトリ作成
– OUI起動前に実行する runcluvfy.sh スクリプトは下記ディレクトリへのrwx権限を必要とします。
– スクリプト実行ユーザである grid ユーザを所有者としたディレクトリを作成します。
当ページの作業は
root ユーザ で実行します
# mkdir /opt/oraInventory
# chown grid:oinstall /opt/oraInventory
# chmod 775 /opt/oraInventory
# mkdir /tmp/bootstrap
# chown grid:oinstall /tmp/bootstrap
# chmod 775 /tmp/bootstrap
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
35
1. サーバーの環境確認とセットアップ(OS設定)
1.6 grid ユーザの設定
– ■Capability の確認
• grid ユーザに、CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, CAP_PROPAGATE のcapability が付与されていることを確認
– ■Capability の設定
• CSSDを実行するために必要なCapability設定を行う
当ページの作業は
root ユーザ で実行します
# /usr/sbin/lsuser -a capabilities grid
# /usr/bin/chuser capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,
CAP_PROPAGATE grid
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
36
1. サーバーの環境確認とセットアップ(OS設定)
1.7 非同期入出力処理 (AIO) の確認
– ■AIOの有効化
– AIX 6.1では、AIOデバイス・ドライバはデフォルトで有効
– AIX 5.x では、rootpre.sh スクリプトを実行することで有効化
– ■aioserverプロセス数の確認
– ■aioserverプロセス数の設定
– aioserver プロセス数の推奨値は 64k (65536)
当ページの作業は
root ユーザ で実行します
# ioo –o aio_maxreqs
----(結果抜粋)-----
aio_maxreqs = 65536
# ioo -a aio_maxreqs=65536
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
37
1. サーバーの環境確認とセットアップ(OS設定)
1.8 Virtual Memory Manager(VMM)のチューニング
– ■Virtual Memory Manager(VMM) 設定値の推奨値– AIX 6.1 では、OracleRAC推奨値がデフォルト値であるため、設定変更不要
– ■VMM設定 (AIX5.3 の場合に必要)
– 設定を有効にするには、OSを再起動する必要があります。
当ページの作業は
root ユーザ で実行します
# vmo -p -o minperm%=3
# vmo -p -o maxperm%=90
# vmo -p -o maxclient%=90
# vmo -p -o lru_file_repage=0
# vmo -p -o strict_maxclient=1
# vmo -p -o strict_maxperm=0
minperm%=3maxperm%=90maxclient%=90lru_file_repage=0strict_maxclient=1strict_maxperm=0
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
38
1. サーバーの環境確認とセットアップ(OS設定)
1.9 シェル制限の設定
– ■設定確認/変更の対象となるユーザ
– gridユーザ
– rootユーザ (crsdデーモン起動ユーザとなるため、ulimit変更が必要)
– ■シェル制限の推奨値
– ■設定確認
– /etc/security/limitsファイルにて参照
当ページの作業は
root ユーザ で実行します
パラメータ名 シェル制限 設定値(推奨)
nofile オープン・ファイル記述子の最大数 -1(無制限)
stack プロセスのスタック・セグメントの最大サイズ -1(無制限)
# cat /etc/security/limits
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
39
1. サーバーの環境確認とセットアップ(OS設定)
1.9 シェル制限の設定
– ■設定変更方法
– /etc/security/limits ファイルを編集
当ページの作業は
root ユーザ で実行します
【例: /etc/security/limits ファイルの編集例】※ core以外の設定値はすべてのユーザーで-1(無制限) へと変更しています※ coreに関しては Oracle関連ユーザーのみ、-1(無制限) に変更します
default:
fsize = -1core = 2097151 cpu = -1data = -1rss = -1stack = -1nofiles = -1
grid:core = -1
oracle:core = -1
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
40
1. サーバーの環境確認とセットアップ(OS設定)
1.10 カーネル・パラメータの変更
– ■Oracle稼動時の推奨値
– ■設定変更 (smitを利用する方法)
– 「システム環境」>「オペレーティング・システムの特性の変更/表示」
– 「ユーザー1人あたりに使用できる最大プロセス数」 と 「ARG/ENV リスト・サイズ (4K バイト・ブロック)」の値を入力、「Enter」押下
当ページの作業は
root ユーザ で実行します
AIXパラメータ名 smit設定画面上でのパラメータ名 設定値(推奨)
maxuprocs ユーザー1人あたりに使用できる最大プロセス数 16384 以上
ncargs ARG/ENV リスト・サイズ (4K バイト・ブロック)」 128 以上
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
41
1. サーバーの環境確認とセットアップ(OS設定)
1.11 ネットワーク・チューニング・パラメータの変更
– ■Oracle稼動時の推奨値
当ページの作業は
root ユーザ で実行します
ネットワーク・チューニング・パラメータ名 設定値(推奨)
ipqmaxlen 512
rfc1323 1
sb_max 4194304
tcp_recvspace 65536
tcp_sendspace 65536
udp_recvspace 655360 ※1
udp_sendspace 65536 ※2
※2: この値は、デフォルトのデータベース・インストールに適しています。本番データベースの場合、このパラメータの最小値は、データベースのDB_BLOCK_SIZE初期化パラメータの値をDB_MULTIBLOCK_READ_COUNT初期化パラメータの値で乗算したものに4KBを加算し た値です。(DB_BLOCK_SIZE×DB_MULTIBLOCK_READ_COUNT)+ 4KB
※1: このパラメータの推奨値は、udp_sendspaceパラメータの値の10倍です。これは、sb_maxパラメータの値より小さい値である必要がありま す。
(設定方法は次ページ)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
42
1. サーバーの環境確認とセットアップ(OS設定)
1.11 ネットワーク・チューニング・パラメータの変更
– ■設定確認
– ■(設定変更を行う場合) 事前の環境確認
• システムが互換性モードで稼動していることを確認
• 上記コマンドの戻り値によって、設定変更方法が異なります
– enable => P43へ
– disable => P44へ
当ページの作業は
root ユーザ で実行します
# no -a | grep xxxxx
# lsattr -E -l sys0 -a pre520tune
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
43
1. サーバーの環境確認とセットアップ(OS設定)
1.11 ネットワーク・チューニング・パラメータの変更
– ■設定変更を行う (互換性モード ONの場合)
• 前頁のコマンドの戻り値が "pre520tune enable Pre-520 tuning compatibility mode True " だった場合、以下の2つの手順を実行します
– 1. 現行のランタイムに設定変更を反映する
– 2. 再起動後の環境で有効になるよう設定変更を/etc/rc.net ファイルに記述する
当ページの作業は
root ユーザ で実行します
if [ -f /usr/sbin/no ] ; then
/usr/sbin/no -o udp_sendspace=65536
/usr/sbin/no -o udp_recvspace=655360
/usr/sbin/no -o tcp_sendspace=65536
/usr/sbin/no -o tcp_recvspace=65536
/usr/sbin/no -o rfc1323=1
/usr/sbin/no -o sb_max=4194304
/usr/sbin/no -o ipqmaxlen=512
fi
# /usr/sbin/no -r -o ipqmaxlen=512
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
44
1. サーバーの環境確認とセットアップ(OS設定)
1.11 ネットワーク・チューニング・パラメータの変更
– ■設定変更を行う (互換性モード OFFの場合)
• 前々頁のコマンド(# lsattr -E -l sys0 -a pre520tune) の戻り値が"pre520tune disable Pre-520 tuning compatibility mode True " だった場合
– 1. ipqmaxlenパラメータの変更
> ※ipqmaxlenパラメータを変更した場合は、システムを再起動する必要があります。
– 2. その他パラメータの変更
当ページの作業は
root ユーザ で実行します
# /usr/sbin/no -r -o ipqmaxlen=512
# /usr/sbin/no -p -o parameter=value
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
45
1. サーバーの環境確認とセットアップ(OS設定)
1.12 UDP/TCP カーネルパラメータの変更
– ■Oracle稼動時の推奨値
– TCP/IP、UDP通信に利用できるポートの幅を定義
– ■設定確認
– ■設定変更
当ページの作業は
root ユーザ で実行します
AIXパラメータ名 設定値(推奨)
tcp_ephemeral_low 9000
tcp_ephemeral_high 65500
udp_ephemeral_low 9000
udp_ephemeral_high 65500
# /usr/sbin/no -p -o tcp_ephemeral_low=9000 -o tcp_ephemeral_high=65500
# /usr/sbin/no -p -o udp_ephemeral_low=9000 -o udp_ephemeral_high=65500
# /usr/sbin/no -a | grep xxxxx
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
46
1. サーバーの環境確認とセットアップ(OS設定)
1.13 時刻同期の設定
– ■Oracle RAC 11gR2 における時刻同期
> 時刻同期方法については、以下いずれかを選択します
• 1)NTPを使用する 【当資料はこちら】
– 通常はこちらを選択
– タイムサーバーは常時稼動しているサーバ上で稼動させる
• 2)Oracle Time Cluster Time Synchronization Service(CTSS)を使用する
– Oracle RAC を構成するサーバーからNTPサービスに利用できない環境でOracle RAC を構築するケースを想定し提供されているサービス
– Oracle RAC クラスタ内に限定された時刻同期サービス。システム全体の時刻同期にはNTPを利用する
• インストーラ実行時に NTPプロトコルがアクティブでないと、クラスタ時刻同期化サービスがアクティブ・モードで導入され、ノード間で時刻が同期される。
当ページの作業は
root ユーザ で実行します
11gR2New !!
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
47
1. サーバーの環境確認とセットアップ(OS設定)
1.13 時刻同期の設定
– ■タイムサーバー(NTP Server)側の設定
1. /etc/ntp.conf ファイルを編集する
2. xntpd を再起動する
当ページの作業は
root ユーザ で実行します
# stopsrc -s xntpd
# startsrc -s xntpd -a "-x"
◆◇補足: NTP設定 on AIX 5L ◇◆
NTPサーバの設定方法および使用ポート(123番)等の情報は Technote を参照のこと。
http://www-01.ibm.com/support/docview.wss?rs=111&context=SWG10&dc=DB520&q1=NTP&uid=isg3T1000653&loc=en_US&cs=utf-8&lang=en
【 /etc/ntp.conf 】
server 127.127.1.0
# broadcastclient ←コメントアウト
driftfile /etc/ntp.drift
tracefile /etc/ntp.trace
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
48
1. サーバーの環境確認とセットアップ(OS設定)
1.13 時刻同期の設定
– ■RACノード(NTP Client)側の設定
1. NTPサーバに到達可能であることを確認
2. xntp サーバ設定の確認
3. /etc/rc.tcpip ファイルをエディタで編集し、xntpd のエントリーをアンコメントする(オプションも追加する)
4. xntpdの再起動
5. 時刻が同期されていることを確認する
当ページの作業は
root ユーザ で実行します
【 /etc/rc.tcpip 】
start /usr/sbin/xntpd "$src_running" "-x"
# ntpdate -d ip <ntp_server_ip_addr>
# stopsrc -s xntpd
# startsrc -s xntpd -a "-x"
# lssrc -ls xntpd
【 /etc/ntpd.conf 】
server <ntp_server_ip_addr> prefer
# broadcastclient ←コメントアウト (補足)driftfile, tracefile の行はデフォルトのままでOK。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
49
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSH構成の概要
– ■手順概要1. AIXにはSSH関連のファイルセット(OpenSSL/OpenSSH)が導入されていないため、入手・導入します。
2. Oracle RAC インストール中には、SCPによるノード間ファイルコピーが実施されるため、パスワード認証無しにRACノード間のSSH/SCP通信ができるよう構成しておく必要があります。
– ■手順2.(パスワード認証無しSSHログインの設定)について– Oracle 11gR2 では、OUI 実行中にSSH自動構成を行う機能が提供されます。
> この場合、ユーザはSSH関連ファイルセットの導入を行うのみでSSH関連セットアップが完了します。
> このSSH自動構成を採用するケースでは、P52-58 までの手順を省いて下さい。
> ただし、Version 11.2.0.1/11.2.0.2 では当該機能を使用することができません。
– Oracle 11gR1以前と同様、手動でSSH構成を実施することも可能です。(当手順書はこの方法です。)
> Oracle RAC/Databaseインストールユーザ(当手順書では grid, oracle) の両方について同様にSSH設定を実施します。
> RACを構成するすべてのノード間でパスワ-ド認証無しSSHログインの設定を行います。
当ページの作業は
root ユーザ で実行します
11gR2New !!
◆◇補足: Oracle RAC 11.2.0.1 における SSH自動構成について ◇◆
当該手順書は Oracle RAC 11.2.0.1 を想定しているため、SSHパスワード無しログイン構成を手動で行う想定としています。(Bug 9479987)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
50
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSHの構成 (OpenSSL/OpenSSH導入)
– ■OpenSSL/OpenSSHファイルセットの入手
– OpenSSL/OpenSSH ファイルセットのダウンロードサイトURLは当手順書 P7 を参照のこと。
– ■SSL/SSHファイルセットの導入 (smitを利用する方法)
– 「ソフトウェアのインストールおよび保守」 > 「ソフトウェアのインストールおよび更新」 > 「インストール済みソフトウェアを最新レベルに更新 (すべて更新)」
– 「ソフトウェアの入力デバイス/ディレクトリー」 に、ファイルセットを配置したディレクトリを指定する
– 「新規ご使用条件に同意する」を「はい」に変更し Enter 押下することでインストール開始
当ページの作業は
root ユーザ で実行します
◆◇補足: OracleにおけるSSHプロトコルの用途 ◇◆
SSHは、Oracle Configuration Assistantによる、ローカル・ノードからリモート・ノードに対する構成操作に使用されます。Enterprise Managerでも使用されます。OUIは、製品インストール中に ssh/scp コマンドを使用して他のクラスタノードに対するリモートコマンドを実行したり、ファイルコピーを実行します。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
51
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSHの構成 (SSH通信可否の確認)
*P52-58は、パスワード認証無しログインのための設定を行います。*oracle, grid どちらのユーザの設定をを先に行っても構いません。*コマンドサンプルでは、oracleユーザでの手順を想定しています。*RACを構成する全てのノードについて、SSH構成を完了させておく必要があります。
– ■構成実施対象ユーザ(ここでは oracle)に su する
– ■相手ノードへの通常のsshログインが可能であるか確認する
– ssh 通信が可能であることの確認を行う (=SSL/SSHファイルセットが正しく導入されていることの確認)
– oracleユーザ@ノード1 ⇒ oracleユーザ@ノード2 のログインが可能であるか (その逆も)
– パスワード変更が要求される場合にはここで変更しておく
当ページの作業は
oracle ユーザ で実行します
(次ページへ進む)
$ su - oracle
$ ssh oracle@<node_2_addr>
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
52
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSHの構成(パスワード無しSSHログインの構成)
– ■SSHパスワード認証無しログイン構成の概要
1. RSA鍵とDSA鍵を各クラスタ・ノード上で作成(秘密鍵・公開鍵)
2. すべてのクラスタ・ノード・メンバーの鍵を、各ノードで同一の認証鍵ファイルにコピー
3. RACノード間でパスワード認証無しのSSHログインが可能であることを確認
当ページの作業は
oracle ユーザ で実行します
当ページの作業は
grid ユーザ で実行します
◆◇補足: SSH構成手順(Oracle製品マニュアル) ◇◆
手順は次ページ以後に解説しますが、詳細はOracle RAC 11gR1 インストールガイド等を参照のこと。
http://otndnld.oracle.co.jp/document/products/oracle11g/111/doc_dvd/rac.111/E05737-03/preparing.htm#5219
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
53
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSH構成(公開鍵・秘密鍵の生成 1)– 当ページの手順はRAC構成ノードすべてで実施します
– ■鍵ファイル配置用ディレクトリの作成
– ■RSA鍵(公開鍵・秘密鍵)の生成
当ページの作業は
oracle ユーザ で実行します
$ su - oracle
$ mkdir $HOME/.ssh
$ chmod 700 $HOME/.ssh
当ページの作業は
grid ユーザ で実行します
$ cd /home/oracle/.ssh
$ /usr/bin/ssh-keygen -t rsa
Generating public/private rsa key pair.Enter file in which to save the key (/home/oracle/.ssh/id_rsa): <Enter>Enter passphrase (empty for no passphrase): <Enter>Enter same passphrase again: <Enter>Your identification has been saved in /home/oracle/.ssh/id_rsa.Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.The key fingerprint is:3a:16:60:1c:49:95:29:9c:71:81:82:2c:f1:6b:91:7b oracle@node1
$
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
54
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSH構成(公開鍵・秘密鍵の生成 2)– 当ページの手順はRAC構成ノードすべてで実施します
– ■DSA鍵の生成 (公開鍵・秘密鍵)
– ■生成された鍵の確認
– RSA鍵ファイル(公開鍵・秘密鍵)、DSA鍵ファイル(公開鍵・秘密鍵)の合計4ファイルが生成されている
当ページの作業は
oracle ユーザ で実行します
当ページの作業は
grid ユーザ で実行します
$ ssh-keygen -t dsa
Generating public/private dsa key pair.Enter file in which to save the key (/home/oracle/.ssh/id_dsa): <Enter>Enter passphrase (empty for no passphrase): <Enter>
Enter same passphrase again: <Enter>Your identification has been saved in /home/oracle/.ssh/id_dsa.Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.The key fingerprint is:f4:df:d1:ea:7b:ec:0e:4a:b3:01:b0:2a:99:c6:4c:2e oracle@node1$
$ ls -la
total 32drwxr-xr-x 2 oracle oinstall 256 May 08 19:56 .drwxr-xr-x 3 oracle oinstall 256 May 08 19:54 ..-rw------- 1 oracle oinstall 668 May 08 19:56 id_dsa-rw-r--r-- 1 oracle oinstall 603 May 08 19:56 id_dsa.pub-rw------- 1 oracle oinstall 1675 May 08 19:56 id_rsa-rw-r--r-- 1 oracle oinstall 395 May 08 19:56 id_rsa.pub$
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
55
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSH構成(認証鍵ファイルの編集 1)
– ■oracleユーザ用の認証鍵ファイルの作成・編集
– RACノード(1台目)上でテキストファイル authorized_keys を作成し、前手順で作成した公開鍵のエントリーを追記する
– ■認証鍵ファイルを他方のRACノードへ転送
当ページの作業は
oracle ユーザ で実行します
当ページの作業は
grid ユーザ で実行します
$ cat id_dsa.pub >> authorized_keys
$ cat id_rsa.pub >> authorized_keys
$ scp ./authorized_keys oracle@node2:/home/oracle/.ssh/The authenticity of host 'i0f-16 (node2-ip-addr)' can't be established.RSA key fingerprint is 1b:6d:8e:5d:b5:a4:ed:84:c6:5e:33:bc:aa:6b:ce:ad.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'node2,node2-ip-addr' (RSA) to the list of known hosts.oracle@node2's password: <password>authorized_keys 100% 998 1.0KB/s 00:00 $
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
56
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSH構成(認証鍵ファイルの編集 2)
– ■oracleユーザ用の認証鍵ファイルの作成・編集
– 前手順で作成・転送した既存の authorized_keys ファイルに、RACノード(2台目)用の公開鍵のエントリーを追記する
– ■2台分の公開鍵の追加された認証鍵ファイルを他方のRACノードへ転送
当ページの作業は
oracle ユーザ で実行します
当ページの作業は
grid ユーザ で実行します
$ cat id_dsa.pub >> authorized_keys
$ cat id_rsa.pub >> authorized_keys
$ scp ./authorized_keys oracle@node1:/home/oracle/.ssh/The authenticity of host 'i0f-15 (node1-ip-addr)' can't be established.RSA key fingerprint is 11:4c:5a:8a:e2:e3:70:0c:c4:1d:7b:0c:29:f6:63:e6.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'node1,node1-ip-addr' (RSA) to the list of known hosts.oracle@node1's password: <password>authorized_keys 100% 1996 2.0KB/s 00:00 $
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
57
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSH構成(認証鍵ファイルの編集 3)
– ■authorized_keys ファイルの内容の確認
• RACを構成するすべてのノードの RSA/DSA鍵ファイルが含まれていることを確認
– ■/etc/ssh/sshd_config ファイルの編集
– コメントアウトを外す
– LoginGraceTime 値を ゼロ に設定する
当ページの作業は
oracle ユーザ で実行します
当ページの作業は
grid ユーザ で実行します
# cat authorized_keys
ssh-rsa AAAAB3NzaC1yc(中略)= oracle@node1
ssh-dss AAAAB3NzaC1kc(中略)= oracle@node1
ssh-rsa AAAAB3NzaC1yc(中略)= oracle@node2
ssh-dss AAAAB3NzaC1kc(中略)= oracle@node2
(編集前) #LoginGraceTime 6
(編集後) LoginGraceTime 0
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
58
1. サーバーの環境確認とセットアップ(OS設定)
1.14 SSH構成(SSHの動作確認)
– ■パスワードなしでログインできることを確認
• 下記組み合わせについて、パスワード無しログインが出来ることを確認
1. oracle@node01 ⇒ oracle@node01 (自ノードへのsshログイン)
2. oracle@node02 ⇒ oracle@node02 (自ノードへのsshログイン)
3. oracle@node01 ⇒ oracle@node02 (相手ノードへのsshログイン)
4. oracle@node02 ⇒ oracle@node01 (相手ノードへのsshログイン)
当ページの作業は
oracle ユーザ で実行します
(node01にログイン)
$ su - oracle
$ ssh oracle@node02
**以下略**
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
59
1. サーバーの環境確認とセットアップ(OS設定)
1.15 隠しファイルの編集
– ■sttyのエラーを防止するための設定
• 以下のくだりがマニュアル上記載されていますが、AIXには通常では .bashrc は存在しないため、スキップします。
– OUIは、インストール中にSSHを使用してコマンドを実行したり、他のノードにファイルをSCPにてコピーする。システム上の隠しファイル(.bashrcや.cshrcなど)にsttyコマンドが含まれていると、インストール中にMakeファイルやその他のインストールに関するエラーが発生する。
– この問題を防止するには、すべてのSTDERR出力が停止されるように、Oracleインストールユーザーのホーム・ディレクトリにあるこれらのファイルを変更する。
– 以下、編集の例(Bシェル、Bashシェル、Kornシェルの場合)
当ページの作業は
root ユーザ で実行します
if [ -t 0 ]; then
stty intr ^C
fi
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
60
1. サーバーの環境確認とセットアップ(OS設定)
1.16 gridユーザ環境の設定
– gridユーザの .profile [例: /home/grid/.profile] をテキストエディタで編集
• umask設定
– 実行中のシェルに反映するには下記の手順を実行する
【.profile 抜粋】
umask 022
( 以下、略)
(gridユーザでログインしている前提)$ . ~/.profile
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
61
1. サーバーの環境確認とセットアップ(OS設定)
1.16 gridユーザ環境の設定
– ■環境変数の確認
• ORACLE_BASE、ORACLE_SID、ORACLE_HOME がセットされていないことを確認する
• セットされている場合は、OUI (オラクルソフトウェア導入のためのGUIインターフェース)を起動する前に unset しておく
$ env | grep ORACLE_BASE$ env | grep ORACLE_HOME$ env | grep ORACLE_SID
$ unset ORACLE_BASE$ unset ORACLE_HOME$ unest ORACLE_SID
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
62
1. サーバーの環境確認とセットアップ(OS設定)
1.16 gridユーザ環境の設定– 当頁の設定は、 OUI(Oracle Universal Installer: GUIベースのソフトウェア導入インターフェース)を
実行するために必要な設定です。
– CUI にてインストールする場合は不要です。
– ■DISPLAY変数の設定
• Oracle導入予定のノード上でDISPLAY変数をセットする
• 他ノードのディスプレイをGUI表示環境として利用する場合、GUI表示側のノードで下記コマンドを実行しておく
$ su - grid
$ export DISPLAY=localhost:0.0
# xhost + fully_qualified_remote_host_name
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
63
1. サーバーの環境確認とセットアップ(OS設定)
1.17 rootpre.shスクリプトの実行
• rootpre.sh スクリプトはインストールイメージDVDに含まれている
– RACノード両方で実行する必要がある。
$ su - root
(password)
# /directory_path/rootpre/rootpre.sh
※ Oracle DB を1度導入済みの環境では、このスクリプトを実行する必要はありません。
当ページの作業は
root ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
64
1. サーバーの環境確認とセットアップ(OS設定)
1.18 Oracle ASM 用のディスク・デバイスの構成
– ■ASMディスクグループに定義するRAWデバイスボリュームの確認
– 下記の通り、デバイス名(hdisk#) と PVID が一致していることを確認する。
– ノード1:
– ノード2:
当ページの作業は
root ユーザ で実行します
# lspv | grep -i none
hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 00c782906cc08a2f None
# lspv | grep -i none
hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 00c782906cc08a2f None
# lspv | grep -i none
hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 00c782906cc08a2f None
確認ポイントは、RACを構成するノード間で
①デバイス名が同一であること。
(Clusterware構成時にディスクのパスを求められたら、この環境であれば /dev/hdisk2 のように入力する。)
②PVIDが各ノードで同一値であること。 の2点!
①デバイス名 ②PVID
◆◇補足: Oracle ASM用のディスク・デバイスの構成◇◆
PVIDが無い場合、ノード間で一致していないの手順やストレージにHitachi HDLM(dmlfデバイス)を使用する場合など、ディスク・デバイス構成手順の詳細は製品マニュアルをご参照ください。
http://download.oracle.com/docs/cd/E11882_01/install.112/e17210/storage.htm#CWAIX276
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
65
1. サーバーの環境確認とセットアップ(OS設定)
1.18 Oracle ASM 用のディスク・デバイスの設定
– ■RAWデバイスボリュームのPVIDが存在していなかったケースの設定方法
– ノード1:
– ノード2:
– ■PVIDの付与
– この環境では、hdisk3 の PVID が無いため、各ノードで下記コマンドを実行し付与する。
当ページの作業は
root ユーザ で実行します
# lspv | grep -i none
hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 none None
# lspv | grep -i none
hdisk1 none None (内蔵Disk)hdisk2 00c782902e058f26 Nonehdisk3 none None
# chdev -l hdisk3 -a pv=yes
⇒ P64 の状態となったことを確認して先に進む
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
66
1. サーバーの環境確認とセットアップ(OS設定)
1.18 Oracle ASM 用のディスク・デバイスの構成
– ■デバイスの所有者、グループおよび権限の変更
• Clusterware用ファイル(OCR, 投票ディスク)を配置するデバイスの所有者を変更
• データファイルを配置するデバイスの所有者を変更
当ページの作業は
root ユーザ で実行します
# chown grid:asmadmin /dev/rhdisk#
# chmod 660 /dev/rhdisk#
# chown oracle:oinstall /dev/rhdisk#
# chmod 660 /dev/rhdisk#
※ rhdisk# の「#」には任意の数字が入ります。(今回のケースでは、rhdisk2 と rhdisk3 )
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
67
1. サーバーの環境確認とセットアップ(OS設定)
1.18 Oracle ASM 用のディスク・デバイスの構成
– ■ディスクで使用する予約設定の確認
– 複数のノードからディスク・デバイスに同時アクセスできるようにするには、ディスクで使用する予約属性のタイプに応じて、適切なObject Data Manager(ODM)属性を設定する必要があります。
• 以下コマンドの出力として、"reserve_lock = no" または "reserve_policy = no_reserve" が戻されることを確認する。
– ■予約設定の変更
– 上記コマンド実行結果に応じて、必要であれば予約設定を変更する。
– ■使用するディスク・デバイスからPVIDを消去する
– このコマンドがエラーコード0514-047で失敗する場合は、ノードをrebootする(何らかのプロセスがデバイスを使用中のためPVIDを変更できない)
# lsattr -E -l hdisk# | grep reserve_
当ページの作業は
root ユーザ で実行します
# chdev -l hdisk# -a [ reserve_lock=no | reserve_policy=no_reserve ]
# chdev -l hdisk# -a pv=clear
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
68
1. サーバーの環境確認とセットアップ(OS設定)
1.18 Oracle ASM 用のディスク・デバイスの構成 (補足)
– ■ AIX における Oracle ASM 構成について
• データベース・ファイル記憶域に Oracle ASM を利用する際、AIXのロー論理ボリュームを使用することは推奨されません(製品サポートは受けられます)。
• 推奨されない理由は、Oracle ASM からのディスクアクセスがAIX LVM経由で行われることから、正確な物理ディスク配置が Oracle ASM から見えない状態となり、結果としてI/Oアクセスが最適化されない構成となるためです。
• 当ガイドでは、Oracle ASM ディスクグループ作成時のディスク・パスとして、キャラクタデバイス名(/dev/rhdisk#)を直接指定する手順としています。
当ページの作業は
root ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
69
1. サーバーの環境確認とセットアップ(OS設定)
1.19 インストール前に確認すべきこと
– ■インストール中に cron ジョブが実行されないこと
– Oracleでは導入中、/tmp領域を使用します。/tmp配下のクリーンアップのジョブなどが実行されるとインストールの失敗の原因となります。
– ■Oracle関連の環境変数の設定を削除する
– ORA_CRS_HOME、ORACLE_HOME、ORA_NLS10、TNS_ADMIN 環境変数が既に設定されている場合、削除します。
– ■時刻同期がとれているか確認する
– Grid Infrastructure 導入開始前に、Oracle RAC を構成する予定のノードすべてにおいて時刻同期がとれていることを確認する。
当ページの作業は
root ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
70
【補足】 Oracle RAC の導入に HACMP™ /PowerHA® は必要?
Oracle Clusterware と PowerHA(旧名称:HACMP)
– Oracle ASM 経由のディスク共有や障害発生時のTakeover処理など、クラスタリングソフトウェアとしての機能は Oracle Clusterware が提供します。
– 11gR2 RAC において PowerHA が必要となるのは、データベース・ファイル記憶域としてファイルシステムを使用するためにAIXのLVM経由でのディスク共有を行うケースなど、限られたケースです。
PowerHA を使用しない場合は、システムに PowerHA をインストールしないでください。すでに PowerHA がインストールされている場合は、次のものを削除する必要があります。
• PowerHAファイル・セット(cluster.es.*)
• rsct.hacmp.rte
• rsct.compat.basic.hacmp.rte
• rsct.compat.clients.hacmp.rte
PowerHA を使用する場合は、パッチ・セットを確認して必要なパッチを適用します。
– PowerHA 5.4(5.4.1を含む) のファイル・セット・パッケージの変更には、Oracleの rootpre.sh スクリプトに対する更新が必要です。Oracle Clusterware をインストールする前に、パッチ6718715をダウンロードしてインストールします。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
71
Oracle Database 11gR2 (RAC)インストール手順
インストールイメージの入手
サーバーの環境確認とセットアップ(OS設定)
Oracle Grid Infrastructure インストール
Oracle RAC インストール
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
72
2. Oracle Grid Infrastructure Installation
2.1 OUI (Oracle Universal Installer)起動
$ su - grid
(password)
$ /mount_point/grid/runInstaller
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
73
2. Oracle Grid Infrastructure Installation
2.2 インストール・オプションの選択
• DB11.2.0.2ではインストール時に必要なパッチを同時に適用することが可能
– My Oracle Supportからダウンロードする場合 -> My Oracle Supportの資格証明を入力
– 事前にダウンロードしたパッチを適用する場合 -> 事前にダウンロードしたパッチを指定
– 更新(パッチ適用)を行わない場合 -> スキップを選択
*注意:「ソフトウェア更新のスキップ」の項が隠れている場合があるので、その場合はWindowサイズを大きくする
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
74
2. Oracle Grid Infrastructure Installation
2.3 インストール・オプションの選択
• 「クラスタ用の Grid Infrastructure のインストールおよび構成」 を選択
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
75
2. Oracle Grid Infrastructure Installation
2.4 インストール・タイプの選択
• 「拡張インストール」 を選択
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
76
2. Oracle Grid Infrastructure Installation
2.5 言語の選択
• 「日本語」および「英語」 を選択
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
77
2. Oracle Grid Infrastructure Installation
2.6 Gridプラグ・アンド・プレイの指定
任意のクラスタ名を指定
SCANが使用するポートを指定
② SCAN名を入力
③ SCANが使用するポート番号を入力
④ GNSを構成しない場合はチェックを外す
当ページの作業は
grid ユーザ で実行します
① 任意のクラスタ名を入力
単一のSCAN名を指定
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
78
2. Oracle Grid Infrastructure Installation
2.7 クラスタ・ノードの指定
• Grid Infrastructure インストール対象ノードのホスト名、仮想ホスト(VIP)を指定する
② クラスタ・ノードの
構成の追加
※Grid Infrastructureインストーラ起動ノード以外の対象ノードについて、ホスト名とVIPを指定し追加する
① 「追加」ボタン押下
当ページの作業は
grid ユーザ で実行します
③クラスタを構成する全てのノードが表示されていることを確認
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
79
2. Oracle Grid Infrastructure Installation
2.8 ネットワーク・インタフェースの指定
• Grid Infrastructureで使用するネットワーク・インタフェースを指定
当ページの作業は
grid ユーザ で実行します
パブリックおよびプライベート(インターコネクトで使用)のネットワーク・インタフェースを指定
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
80
2. Oracle Grid Infrastructure Installation
2.9 OCRおよび投票ディスクの指定
• OCRおよび投票ディスクの格納場所にASMまたは共有ファイルシステムを指定(推奨はASM)
当ページの作業は
grid ユーザ で実行します
この例ではASMを選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
81
2. Oracle Grid Infrastructure Installation
2.10 ASMディスク・グループの作成
• OCRおよび投票ディスクを格納するASMディスク・グループを作成
当ページの作業は
grid ユーザ で実行します
任意のディスク・グループ名を指定
任意の冗長性を指定高:3重化、通常:2重化、外部:ミラー無し(ASMのみで可用性を確保する場合は、「高」または
「通常」を選択。ストレージ側で冗長化し、可用性を確保している場合などは外部を選択)
ASMで使用するディスクを指定(使用したいディスクが表示されない場合は、ディスクの所有者やパーミッションが間違っている可能性がある。または、デバイス・ファイルの場所が/dev以下に無い場合などは、「検出パスの変更」をクリックして、正しいパスを指定)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
82
2. Oracle Grid Infrastructure Installation
2.11 ASM関連ユーザーのパスワードを指定
当ページの作業は
grid ユーザ で実行します
任意のパスワードを入力(ここで指定したパスワードは、後でデータベースを作成する際に必要になる)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
83
2. Oracle Grid Infrastructure Installation
2.12 ASM OSユーザー・グループの指定
当ページの作業は
grid ユーザ で実行します
ASM関連のOSユーザーのグル―プを指定Oracle ASM DBA: ASMにアクセスするDBユーザーが所属するグループOralce ASM オペレータ: ASM関連の操作(起動/停止などは行えない)をするユーザーが所属するグループOracle ASM管理者: ASM関連の全ての操作(起動/停止を含む)が行えるユーザーが所属するグループ
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
84
2. Oracle Grid Infrastructure Installation
2.13 Grid Infrastructureのインストール先の指定
当ページの作業は
grid ユーザ で実行します
Oracleベースを指定
Oracleホームの場所を指定
Grid InfrastructureのOracleホーム(ソフトウェアの)は、Oracleベース
の外に作成します。これは、Grid InfrastructureのOracleホームの所有者をrootユーザー
に設定し、セキュリティを確保するためです。
通常は、Oracleベース・ディレクトリはユーザー毎に作成し、OracleHome(ソフトウェアをインストールする場所)をOracleベース・ディレクト
リの下に作成します。
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
85
2. Oracle Grid Infrastructure Installation
2.14 インベントリの作成
• インベントリ・ディレクトリは事前に手動作成する必要がある
当ページの作業は
grid ユーザ で実行します
インベントリ・ディレクトリを指定
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
86
2. Oracle Grid Infrastructure Installation
2.15 前提条件チェックの実行
• 前提条件チェックで問題が無い場合は「サマリー」画面が表示される
• チェックでエラーになった場合は、問題を修正して再チェックを実施
※数十秒程度かかります
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
87
2. Oracle Grid Infrastructure Installation
2.16 サマリー
• サマリー画面を確認し、問題がなければ「終了」しインストール処理を開始する
– 11gR2 からは、OUI画面で選んだ内容をレスポンスファイルに保存することができる(⇒ サイレントインストールに利用することができる)
当ページの作業は
grid ユーザ で実行します
サイレント・インストール用のレスポンス・ファイルの作成が可能
,「インストール」をクリックすると、インストール開始する
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
88
2. Oracle Grid Infrastructure Installation
2.17 設定(ステータス画面)
• 進行状況を確認が可能
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
89
2. Oracle Grid Infrastructure Installation2.18 root.sh スクリプトの実行
• 「構成スクリプトの実行」画面が表示されたら、端末画面を開き root ユーザとしてログインした上で、指定されたスクリプトを実行する
– スクリプト実行後に「OK」で画面を閉じる
当ページの作業は
root ユーザ で実行します
【 注意 !! 】11.2.0.2 の場合、root.sh 実行前に LANG 設定を英語に変更する必要があります。
$ su - root# export LANG=C# ./root.sh
ターミナルで実行
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
90
2. Oracle Grid Infrastructure Installation
2.19 インストールの終了
• 「インストールが成功しました」と表示される
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
91
Oracle Database 11gR2 (RAC)インストール手順
インストールイメージの入手
サーバーの環境確認とセットアップ(OS設定)
Oracle Grid Infrastructure インストール
Oracle Databse (RAC) インストール
ASMディスク・グループ 作成
Oracle Database 作成
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
92
3. Oracle RAC Installation
3.1 Installation Task
– OUI の起動
$ su - oracle
(password)
$ /mount_point/grid/runInstaller
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
93
3. Oracle RAC Installation
3.2 セキュリティ・アップデートの構成– メールアドレス と My Oracle Support パスワードを入力
当ページの作業は
oracle ユーザ で実行します
My Oracle Supportのパスワードを入力
セキュリティの情報を受け取る電子メールのアドレスを入力
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
94
3. Oracle RAC Installation
3.3 インストール・オプションの選択
• DB11.2.0.2ではインストール時に必要なパッチを同時に適用することが可能
– My Oracle Supportからダウンロードする場合 -> My Oracle Supportの資格証明を入力
– 事前にダウンロードしたパッチを適用する場合 -> 事前にダウンロードしたパッチを指定
– 更新(パッチ適用)を行わない場合 -> スキップを選択
*注意:「ソフトウェア更新のスキップ」の項が隠れている場合があるので、その場合はWindowサイズを大きくする
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
95
3. Oracle RAC Installation
3.4 インストール・オプションの選択
• 「データベース・ソフトウェアのみインストール」を選択
当ページの作業は
oracle ユーザ で実行します
「データベース・ソフトウェアのみインストール」を選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
96
3. Oracle RAC Installation
3.5 実行するデータベース・インストールのタイプの選択
• 「Real Application Clusters データベースのインストール」を選択
• RACを構成するノードすべてをチェックする
当ページの作業は
oracle ユーザ で実行します
全てのノードを選択
Real Application Clustersを選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
97
3. Oracle RAC Installation
3.6 製品言語の選択
• 「日本語」「英語」が選択されていることを確認(デフォルト)
当ページの作業は
oracle ユーザ で実行します
日本語と英語を選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
98
3. Oracle RAC Installation
3.7 データベース・エディションの選択
• 必要なエディションを選択(当テスト環境の場合は Enterprise Edition)
当ページの作業は
oracle ユーザ で実行します
Eterprise Editionを選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
99
3. Oracle RAC Installation
3.8 インストール場所の指定
• Oracleベース・ディレクトリを指定する
– 当テスト環境では、Grid Infrastructure用のOracleベースとは別に Oracle RAC Database用のファイルシステムを作成 (→マウントポイント:/d01/app/oracle)
当ページの作業は
oracle ユーザ で実行します
Oracleベースのディレクトリを指定
Oracleホームのディレクトリを指定(Oarcleベース配下のディレクト)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
100
3. Oracle RAC Installation
3.9 OSグループの選択
• データベース管理者ユーザーが所属するOSグループを選択データベース・オペレータ・グループは必要に応じて指定(指定しないことも可)
当ページの作業は
oracle ユーザ で実行します
データベース管理者が所属するOSグループ(OSDBA)を指定
データベース・オペレータが所属するOSグループ(OSOPER)を指定
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
101
3. Oracle RAC Installation
3.10 前提条件のチェック
• 前提条件のチェックが行われる
• 問題がある場合は表示されるので、確認/修正し、再度チェックを行う
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
102
3. Oracle RAC Installation
3.11 サマリー
• サマリー画面を確認し、問題がなければ「終了」しインストール処理を開始する
– 11gR2 からは、OUI画面で選んだ内容をレスポンスファイルに保存することができる(⇒ サイレントインストールに利用することができる)
当ページの作業は
oracle ユーザ で実行します
レスポンス・ファイルに保存する場合は、保存をクリック
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
103
3. Oracle RAC Installation
3.12 インストール開始
• インストール状況が表示される
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
104
3. Oracle RAC Installation
3.13 root.sh スクリプトの実行
• 「構成スクリプトの実行」画面が表示されたら、端末画面を開き root ユーザとしてログインした上で、指定されたスクリプトを実行する
– スクリプト実行後に「OK」で画面を閉じる
当ページの作業は
root ユーザ で実行します
$ su – root# ./root.sh
ターミナルで実行
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
105
3. Oracle RAC Installation
3.14 インストールの完了
• 「閉じる」を押下します
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
106
3. Oracle RAC Installation
3.15 Post Installation Task 【root.sh のバックアップ取得】
• root.sh スクリプトは $ORACLE_HOME(例: /opt/oracle/product/11.2.0/dbhome_1)直下に配置されている
• 同じノードの、同一ホームディレクトリに他製品をインストールする場合、root.sh スクリプトは上書きされる⇒ root.sh スクリプト内部の処理内容を把握したい場合にはバックアップを取得する
$ su - oracle
(password)
$ cp -p $ORACLE_HOME/root.sh /home/oracle/
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
107
3. Oracle RAC Installation
3.16 Post Installation Task 【パッチの適用】
• My Oracle Support にログインし、最新のパッチを検索する
– 適用手順は各パッチ/パッチセットのReadmeを参照
1. 「パッチと更新版」タブを選択
2. 「パッチ検索」の「製品またはファミリ」を選択
3. 「RDBMS Server」を選択4. 該当するリリースを選択
5. 「タイプ」として
「パッチ」「パッチセット」の両方を選択
選択条件は「+」ボタン押下により増やすことができる
6. 「言語」として「日本語」を選択
7. 検索実行
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
108
3. Oracle RAC Installation
3.17 Post Installation Task 【パッチの適用】
• My Oracle Support にログインし、最新のパッチを検索する
◆◇補足: Patch適用時のTips ◇◆
・パッチ/パッチセットの適用前に、Oracle関連プロセス(データベースインスタンス、リスナー)を必ず停止すること。・パッチの適用時には各パッチに添付されるReadmeを必ず読むこと。
該当するPatch名をクリックし詳細情報の確認/Patch入手
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
109109
3. Oracle RAC Installation
3.18 Post Installation Task 【oracle ユーザの .profile 編集】
• ORACLE_BASE, ORACLE_HOME, ORACLE_SID, PATH設定を追記する
【 /home/oracle/.profile 例】
export ORACLE_BASE=/d01/app/oracle
export ORACLE_HOME=/d01/app/oracle/products/11.2.0/dbhome_1
export PATH=$PATH:$ORACLE_HOME/bin
export ORACLE_SID=orcl1
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
110
Oracle Database 11gR2 (RAC)インストール手順
インストールイメージの入手
サーバーの環境確認とセットアップ(OS設定)
Oracle Grid Infrastructure インストール
Oracle Databse (RAC) インストール
ASMディスク・グループ作成 (高速リカバリ領域用ディスク・グループの作成)
Oracle Database作成
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
111
4. ASMディスク・グループ作成
4.1 ASMCAの起動
• gridユーザーで、ASMCAを起動
$ su - grid
(password)
$ <Grid Home>/bin/asmca
当ページの作業は
grid ユーザ で実行します
※ <Grid Home> = Grid Infrastructureをインストールしたディレクトリ
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
112
4. ASMディスク・グループ作成
4.2 ディスク・グループの作成
• 「ディスク・グループ」タグより、新規にディスク・グループを作成
– 高速リカバリ領域用に、新規にディスク・グループ(FRA)を作成
(既存のDATA ディスク・グループにはOCR/投票ディスクおよびデータ・ファイルなどを格納)
➁ 「作成」をクリック
① 「ディスク・グループ」タブを選択
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
113
4. ASMディスク・グループ作成
4.3 ディスク・グループの作成
使用するディスクを指定
任意のディスク・グループ名を入力
任意の冗長度を指定
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
114
4. ASMディスク・グループ作成
4.4 ディスク・グループ作成の完了
• 新規に作成したディスク・グループ(FRA)が表示される事を確認
• 「状態」が"MOUNTED(2 of 2)"になっている事を確認(両ノードからマウントされている状態)
新規に作成したディスク・グループ
当ページの作業は
grid ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
115
Oracle Database 11gR2 (RAC)インストール手順
インストールイメージの入手
サーバーの環境確認とセットアップ(OS設定)
Oracle Grid Infrastructure インストール
Oracle RAC インストール
ASM ディスク・グループ作成
Oracle Database作成
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
116
5. Oracle Database作成
5.1 DBCAの起動
– DBCAの起動
$ su - oracle
(password)
$ <Oracle Home>/bin/dbca
当ページの作業は
oracle ユーザ で実行します
※ <Oracle Home> = Oracle Databaseをインストールしたディレクトリ
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
117
5. Oracle Database作成
5.2 データベースのタイプの選択
当ページの作業は
oracle ユーザ で実行します
Oracle Real Application Clustersデー
タベースを選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
118
5. Oracle Database作成
5.3 操作の選択
当ページの作業は
oracle ユーザ で実行します
データベースの作成を選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
119
5. Oracle Database作成
5.4 データベースのテンプレートの選択
– 含めるコンポーネントや表領域のサイズなどを任意で作成したい場合は、「カスタム」を選択
当ページの作業は
oracle ユーザ で実行します
任意のテンプレートを選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
120
5. Oracle Database作成
5.5 RACデータベース情報の入力
当ページの作業は
oracle ユーザ で実行します
管理者管理またはポリシー管理を選択
ポリシー管理を選択した場合は、任意のサーバー・プール名およびサーバー数(RACのノード数)を指定
任意のデータベース名を入力
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
121
5. Oracle Database作成
5.6 管理オプションの入力
当ページの作業は
oracle ユーザ で実行します
Enterprise Managerを使用する場合は選択
Database Controlを使用する
場合は選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
122
5. Oracle Database作成
5.7 デフォルトで作成されるDBユーザーのパスワードの入力
当ページの作業は
oracle ユーザ で実行します
デフォルトで作成されるDBユーザーのパ
スワードを入力
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
123
5. Oracle Database作成
5.8 データベース記憶域(データを格納する領域)の指定
当ページの作業は
oracle ユーザ で実行します
記憶域にASMを選択
データべース領域(データを格納する領域)に"+DATA"ディスク・グループを選択
ディスク・グループの選択は「参照」をクリックして選択可能
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
124
5. Oracle Database作成
5.9 ASMSNMPユーザーのパスワードの入力
– Grid Infrastructureインストール時に指定した、ASMSNMPユーザーのパスワードを指定
当ページの作業は
oracle ユーザ で実行します
ASMSNMPユーザーのパスワードを入力
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
125
5. Oracle Database作成
5.10 リカバリ・オプションの選択
当ページの作業は
oracle ユーザ で実行します
事前に作成した高速リカバリ領域用のディスク・グループ(FRA)を指定
ディスク・グループの選択は「参照」ボタンから選択可能
アーカイブ・ログを有効にする場合は選択
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
126
5. Oracle Database作成
5.11 データベース・コンテンツの指定
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
127
5. Oracle Database作成
5.12(1) 初期化パラメータの指定 – メモリー・サイズの指定
当ページの作業は
oracle ユーザ で実行します
任意のメモリー・サイズを指定
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
128
5. Oracle Database作成
5.12(2) 初期化パラメータの指定 – キャラクタ・セットの指定
当ページの作業は
oracle ユーザ で実行します
データベースが使用するキャラクタ・セットを指定(CHARやVARCHAR2デー
タ型などで使用)
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
129
5. Oracle Database作成
5.13 データベース記憶域の確認
– データベース関連ファイル(データ・ファイルや制御ファイルなど)の格納場所を確認(修正する場合は、左のツリーから選択し、修正可能)
当ページの作業は
oracle ユーザ で実行します
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
130
5. Oracle Database作成
5.14 データベース作成オプションの指定
– データベースを作成するスクリプトを生成し、後からスクリプトを実行してデータベースを作成することも可能(その場合は、「データベース作成スクリプトの生成を選択)
当ページの作業は
oracle ユーザ で実行します
データベースを作成するスクリプトを生成する場合は、「データベース作成スクリプトの生成」を選択し、スクリプトを保存する場所を指定
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
131
5. Oracle Database作成
5.14 データベース作成の開始
当ページの作業は
oracle ユーザ で実行します
「OK」をクリックすると、データベースの作成が開始され、
進捗が表示される
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
132
5. Oracle Database作成
5.14 データベース作成の完了
当ページの作業は
oracle ユーザ で実行します
Database Controlでアクセスする場合は、このURLにブラウザからアクセス
「終了」をクリックして、データベースの作成を完了
© Copyright IBM Japan, Ltd. 2011Copyright© 2011, Oracle. All rights reserved
133
以上の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以上の事項は、マテリアルやコード、機能を提供することをコミットメント(確約)するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。
© Copyright IBM Japan, Ltd. 2011
Copyright© 2011, Oracle. All rights reserved
OracleとJavaは、Oracle Corporation 及びその子会社、 関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。
本資料には、技術的に正確でない記述や誤植を含む場合があります。本資料の情報は最初の発行日の時点で得られるものであり、予告なしに変更される場合があります。すべての検証情報は、管理環境下で決定されたものです。実際の結果は、異なる可能性があります。
日本IBM以外の製品に関する情報は、その製品の供給者、出版物、もしくはその他の公に利用可能なソースから入手したものです。日本IBM以外の製品の性能に関する質
問は、それらの製品の供給者にお願いします。
IBM、IBMロゴ、ibm.com、AIX、Power Systems、PowerVM 、PowerHA 、HACMPおよびSystem Storageは世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。
無断転載を禁ず
無断転載を禁ず