oracle database 10g automatic storage …...- 4 - 1. はじめに...
TRANSCRIPT
- 1 -
Oracle Database 10g TM
Automatic Storage Managementの
NEC iStorage Sシリーズへの適用
An Oracle and NEC White Paper
August 2005
2006/04 更新
- 2 -
Copyright 2005 NEC and Oracle Corporation. All rights reserved. 本書の内容は将来予告無しに変更することがあります。この文書は現状のまま提供するもので
す。またこの文書により明示的あるいは非明示的に示される各種条件や設定例などの特定の目
的あるいはそれ以外の目的への適合性についての一切の保証をいたしません。 商標および登録商標 Oracle, Oracle Database 10g その他のオラクル社製品の名称はオラクル社の商標または登録商標です。 Linux は、米国およびその他の国における、Linus Torvalds氏の商標または登録商標です。 本文書中にある製品の名称は一般的にその製品の製造/販売元の商標または登録商標です。 この文書は、Oracle Corporation /NEC発行「Using Oracle Database 10gAutomatic Storage Management with NEC Storage S series products」の翻訳版です。 Rev. 1.00 August 2005 Rev. 2.00 April 2006
- 3 -
目次 1. はじめに................................................................................................................................... 4 2. iStorageのテクノロジ............................................................................................................... 4
2.1 デュアルパリティ(RAID-6) .....................................................................................................4 2.2 ダイナミックプール................................................................................................................5 2.3 SystemGlobe StoragePathSavior (SPS) .................................................................................6 2.4 DynamicDataReplication.........................................................................................................7
3. Oracleテクノロジ ..................................................................................................................... 7 3.1 自動ストレージ管理................................................................................................................7 3.1.2 ASMインスタンス ...............................................................................................................7 3.1.3 動的リバランシング.............................................................................................................8 3.1.4 ASMミラー化 ......................................................................................................................8
4. ASMの構成手順 ..................................................................................................................... 9 4.1 SPSスペシャルファイル名との対応 ......................................................................................9 4.2 共有ディスク用 RAWデバイスの設定 ....................................................................................9 4.3 外付け RAID装置を利用した ASMディスク・グループの作成............................................ 11
5. iStorage と ASMを組み合わせたベストプラクティス ................................................................ 11 5.1 デュアルパリティ（RAID6）とディスク・グループの組み合わせ ...................................... 11 5.2 高信頼・高性能を実現する SystemGlobe StoragePathSaviorの利用 ..................................12 5.3 ディスク・グループへの複数 LUNの割り当てによる性能向上............................................13 5.4 動的ストレージ容量拡張 ......................................................................................................13 5.4.1 ディスク・グループへの論理ディスクの動的追加 ............................................................13
6. 結論....................................................................................................................................... 15 7. 付録....................................................................................................................................... 15
7.1 ディスク・グループ中の既存論理ディスクのリサイズ ........................................................15 7.2 DynamicDataReplicationを使ったバックアップとリカバリ手順.......................................18
- 4 -
1. はじめに この共同ホワイトペーパーは、Oracle Database 10gの Automatic Storage Management(以下 ASM）機能と NECの iStorage Sシリーズの組み合わせにおけるベストプラクティスを提供するものです。 ASMは、Oracle Database 10gに同梱されたデータベースファイルシステムであり、新たな費用の追加な
く、クラスタファイルシステム、ボリューム管理機能を提供します。ASM は、性能や可用性を低減するこ
となく、TCO の低減、ストレージ稼働率の向上が可能です。ASM により、データベースファイル管理の
時間を最小限に抑えることができます。 ASM は過剰なリソースの割り当てを削減し、また、ストレージリソースの稼働率を最大化することにより
データベース統合を促進します。 ASM の自動チューニング機能は、データファイルをすべての利用可
能なストレージに均等に分配します。 ASMは、従来使用されていた Raw Deviceよりも高い性能を約束
するとともに、システムファイル使用の容易さを提供します。 ASM のインテリジェントなミラーリングテク
ノロジーは、RAID によるストレージアレイ装置でなくても、三重化ミラーによるデータ保護や低コストの
ストレージ調達を可能にします。 ASMは、 性能と可用性に妥協することなく、Oracle Database 10g 構築のコストと複雑さを削減します。すなわち、
ストレージマネジメントの簡易化、自動化 ストレージの稼働率とアジリティの向上 サービスレベルアグリーメントにもとづいた性能と可用性の予想通りの供給
が可能となっています。 NECのｉStorage Sシリーズ製品は、超 高信頼なデュアルパリティ（ＲＡＩＤ-6）の冗長テクノロジを搭載したダイナミックプール機能により、ASM を補完し優れた価値付加を提供します。 ASM と iStorage の最も効果的な組み合わせにより、管理者はストレージ追加のためにデータベースをシャットダウンさせることなくデータベースサイズを拡張でき、それにより管理者は動的にデータベースを
管理できるようになります。 データベースのセットアップ、ディスク増設、ディスク削除のプロセスを容易化し、また、より少ないコストでより可用性の高いデータベースを構築することを可能にします。
2. iStorageのテクノロジ
2.1 デュアルパリティ(RAID-6) NECのｉStorage S シリーズは、劇的に信頼性と可用性を向上させるデュアルパリティ（ＲＡＩＤ-6）テクノロジを実装しています。NEC が独自に開発した新規ＲＡＩＤプロセッサで実現したデュアルパリティメカニズムは、二つの HDD が同時に障害となった場合でも、業務の継続を可能にします。すなわち、障害復旧時間を最小限にすることが可能です。
- 5 -
Two HDD Fault Tolerant Technology
RAID-6メカニズム: 格納されたデータに基づき、二つの方程式を生成し、二つの独立したパリテ
ィデータを作成して各々記録します(P, Q)。 iStorage S4900/S2800/S2400/S1800AT/S1400/S400では、 新たに開発された RAID プロセッサにより、この複雑なRAIDオペレーションをハードウェアにて実行します。これにより、高い信頼性
を保ちながら、高性能を実現することが可能に
なりました。
2.2 ダイナミックプール ダイナミックプール機能は、仮想化テクノロジにより柔軟で効率的なディスクマネージメントを可能にします。 従来からの”RANK”単位でディスク管理を行う方法に加え、ダイナミックプール機能は、正確なディスク容量ニー
ズに応じて、お客様がRAID-6の構成において、RAIDとRANKの物理的な構成を意識することなくディスク容量
を拡張できるよう開発されました。
必要な容量の論理ディスクをプールから生成することができます。プールに十分な容量がない場合、プールへの
容量追加は、HDDひとつずつの単位で追加することができます。 論理ディスクが不要になった時は、使用していたサーバからディスクを切り離し、プールに戻すことが可能です。
また、プールから必要容量をアロケートし、既存の論理ディスク容量を増やすことも可能です。
- 6 -
2.3 SystemGlobe StoragePathSavior (SPS) このソフトウェアは、iStorage へのアクセスパスに障害が発生した場合、アクセスパスの自動切換えを行います。
障害原因が取り除かれた後、障害となったアクセスパスを復旧させるのには、restoration コマンドを使います。 さ
らに、多重化されたアクセスパスを同時に使うことで、I/O トラフィックを異なるアクセスパスへ分散させることがで
きます。
- 7 -
2.4 DynamicDataReplication DynamicDataReplication機能は、サーバの資源を消費することなくディスクアレイ装置内に論理ディスク単位に
複製ボリュームを取ることができます。この複製ボリュームは任意の時点で切り離して、バックアップ、アプリケー
ションテストなど別の用途に利用することができます。
3. Oracleテクノロジ
3.1 自動ストレージ管理 Automatic Storage Management ( ASM ) は Oracleデータベースのファイル用に特別に設計されたファイルシステムとボリュームマネージャを垂直統合したものです。ASM はデータファイル、ログファイル、制御ファイル、アーカイブログ、RMAN バックアップセット等の Oracle データベースファイルをサポートします。ディスク・グループ内のすべてのディスクに均一にデータベースファイルを割り振りますので、性能を最適化すると同時に、手作業の I/Oチューニングをなくします。ASM により、DBA はストレージ領域を調整するためにデータベースをシャットダウンせずに、動的にデータベースのサイズの変更ができます。ASM は Real Application Clusters (RAC) 環境と非RAC構成データベースの両方で使えます。
3.1.1 ディスク・グループ ディスク・グループは論理的な１ユニットとして扱われるディスク群の集まりです。ASMは各ファイルをディスク・グループ内のすべてのディスク群に割り振り I/O負荷をバランスします。負荷バランシングを最大化するにはディスク・グループ上のすべての LUN は似通ったサイズと性能を持ちスピンドルを共有しないことが必要です。ほとんどのインストレーションでは少数のディスク・グループを使っています。たとえば、作業領域用にひとつのディスク・
グループ、リカバリ領域に別のディスク・グループを持つ、などです。 いかなる単一の ASM ファイルも単一のディスク・グループ内にしか存在しません。しかしながら、ひとつのディスク・グループは複数のデータベースに属するファイルを収容でき、そしてひとつのデータベースは複数のディスク・
グループからの領域を使うことができます。データベース用のファイルのデフォルトのディスク・グループを DB初期化パラメータの file destinationに指定することができます。 ASMはファイルを 1MBのエクステントに分割しそれらをディスク・グループ内のすべてのディスクに均等に割り振ります。ASMはエクステントの位置を追跡するのに計算式を使うのではなくポインタを使います。ディスク・グループの構成が変化したときに、ASM は計算式を使ってすべてのエクステントをずらすことなく、ファイルの個々のエクステントを移動できます。 低いレイテンシーが要求されるファイル(ログファイルなど)には、ASM はより細かい(128k)ストライプサイズを使い大きな I/O サイズの要求が分割され複数のディスクにより並列処理されやすくします。ファイルの作成時に細かい粒度のストライピングを使うか否かを指定できます。各ファイル・タイプに関連付けられたテンプレートが、デ
フォルトのストライプ化属性を決定しています。
3.1.2 ASMインスタンス ASMインスタンスとはディスク・グループの動作を同調させるための特別なOracleインスタンスです。ASMインスタンスはディスク・グループ内のファイルのレイアウトを制御します。データベースのファイルの作成時やオープン
時に、ASM インスタンスはエクステント・マップと呼ぶファイルのレイアウト情報をデータベースインスタンスに伝えます。一度ファイル・エクステント・マップを取得すればあとは ASM インスタンスの介入なしにデータベースインスタンスが直接ディスクに I/O を行います。ディスク・グループの構成変更中(たとえばディスクの追加、削除、障害発生時)は、ASMインスタンスはデータベースインスタンスを同調しファイルレイアウトの変更を同期させます。
- 8 -
ASMインスタンスはデータベースをマウントできません。ディスク・グループをマウントします。データベースインスタンスがディスク・グループ内のファイルをアクセスする前に、ASM インスタンスが開始されていなければなりません。複数の異なるデータベースインスタンスはディスク・グループを共有できます。シングルノード構成では、単
一の ASMインスタンスがすべてのディスク・グループを管理します。Real Application Clusters環境では各ノードごとに ASM インスタンスが一つ存在しクラスター内で同調しながらそのノード用のすべてのディスク・グループを管理します。 ASM管理コマンド(ディスク・グループ作成、ディスクの追加・削除など)はすべて ASM インスタンスに対して発行します。ASMファイルを使うデータベースインスタンスに対してではありません。
3.1.3 動的リバランシング リバランシングとはディスク・グループ内の全ディスクに均等にファイルデータを割り振ることです。ディスクの追
加や削除時に ASM は自動的にディスク・グループをリバランスします。ASM はファイルのアロケート時にファイルがディスク・グループ内の全ディスクに均一に割り振られるように動作しますので、ストレージの構成変更があ
ったときのみリバランシングが必要になります。ファイルのアロケート時とストレージ構成変更時に I/Oがバランスされるため、ディスク・グループ内のホットスポットを探し I/O負荷分散するために手動でデータを移動する必要は一切なくなります。非ASM環境においては手動の I/Oチューニングはしばしば繰り返される作業であり、ASMのI/O負荷分散は DBAにとって大きな時間節約を意味します。 データベースの運用中にディスク・グループへのディスク追加や削除を行えます。リバランスが終了すると追加さ
れたディスクは I/O 負荷を分担し、削除されたディスクはシステムから取り外したり他の目的に利用できます。ASMがデータを割り振るアルゴリズムは伝統的な RAIDの厳密なストラピングではないため、ASMはすべてのデータを再度ストライプする必要がありません。データを再割り振りし I/O 負荷バランスを実現するために移動するデータ量は追加もしくは削除されたディスクの量に比例します。 リバランス中に発生するデータ移動のスピードを調節することができます。スピードを増加させるとリバランスの
終了が速くなり、逆にスピードを減少させれば I/Oサブシステムへの影響を低下できます。 動的リバランシングの強みの一例は、データベースをオンラインのままディスク・グループを古いストレージシステ
ムから新しいシステムに移行できることです。新しいストレージシステムのディスクを追加し古いストレージシステ
ムのディスクを削除するコマンドを発行すると、ASM は自動的にデータを新ストレージシステムに移動します。再バランス完了後、旧ストレージシステムを切断できます。あなたのアプリケーションには一切ダウンタイムは発生
しません。
3.1.4 ASM ミラー化 ASMにはディスク・グループに対して３つの異なるミラー化のタイプをサポートしています： 外部、通常、および高冗長性です。外部冗長性のディスク・グループはミラー化を行いません。ハードウェアのミラー化を使っている場
合や、ディスク障害によるデータ損失を許容できる場合に使います。通常の冗長性のディスク・グループはファイ
ル毎に 2 方向のミラー化かミラー化なしをサポートします。ファイルの作成時に通常の冗長性のディスク・グループ内のファイルをミラー化するか否かを決定します。ファイルタイプ固有テンプレートがデフォルト値を決定します。
高い冗長性ディスク・グループは 3方向のミラー化を提供します。 ASMはユニークなミラー化アルゴリズムを使用します。ASMはディスクをミラー化するのではなく、エクステントをミラー化します。その結果ホット・スペア・ディスクを用意しておく必要はありません。ディスク・グループ内でスペア
領域だけが必要です。ディスクの障害時には、ASM は残りのディスク上からミラー化された内容を読みこみ残りのディスク上に障害ディスクの中身を自動的に再構築します。 通常運用時にすべてのスピンドルが活動している
だけではありません。ディスク障害によって起こされる I/O 集中は、障害ディスクをミラー化していたディスクだけ
ではなく、複数のディスク上に分散されます。
- 9 -
ASM がディスク・グループ内のあるディスク上にファイルのプライマリ・エクステントを確保する時、そのディスク・グループ内の別のディスクにそのエクステントのミラー・コピーを確保します。あるディスク上のプライマリ・エクス
テントには対応するミラー・エクステントがディスク・グループ内のあるディスク上に存在します。ディスク・グルー
プ内のすべてのディスクは同じ割合のプライマリとミラー・エクステントを持ちます。 障害グループとは、障害に備えたい共通の資源を共有する単一ディスク・グループ内のディスク群です。ASM はプライマリ・エクステントとそのミラー・コピーを必ず同一の障害グループに入れないことを保証します。ディスク・
グループに障害グループを定義した場合、ASM は単一の障害グループ内の複数のディスクの同時障害を許容できます。これにより、例えば、ファイラー群のアレイをまたがってミラー化すれば 一つのファイラー全体の障害に備えることが可能になります。 ASM はデータベースと密に統合されており、データベースのログファイルや他のアプリケーションやファイルタイプ固有の情報を利用し、I/O 障害から回復するためのダーティ・リージョン・ロギング(Dirty Region Logging)の必要性を解消しています。
4. ASMの構成手順 このセクションでは、Linuxプラットフォームにおける Oracle Database Standard Edition RAC環境下での、iStorageの RAID機能を用いた ASMディスク・グループの作成方法を示します。 このホワイトペーパーはLinux向けに書かれていますが、ベストプラクティスの内容は他のOSやOracle Database
10gの他のリリースにも適用できます。
4.1 SPSスペシャルファイル名との対応 SystemGlobe StoragePathSavior （SPS） をインストールすると、論理デバイスへの複数パスを隠蔽するため、iStorage内に構成された論理デバイスごとに以下のようなスペシャルファイルが作成されます。
#ls /dev /dev/dda1 /dev/dda2 /dev/dda3 /dev/ddb1 /dev/ddc1 /dev/ddd1 /dev/ddd1 /dev/dde1
4.2 共有ディスク用 RAWデバイスの設定 “/etc/sysconfig/rawdevices” ファイルの中に、RACの共有ディスクとなる RAWデバイスと SPSのスペシャルファイル名の関係を記述します。 下記の例では、”/dev/raw/raw１”から”/dev/raw/raw5”までを RAWデバイスにバインドしています。
Setting sample for /etc/sysconfig/rawdevices #vi /etc/sysconfig/rawdevices #for OCR Voting /dev/raw/raw1 /dev/dda1 /dev/raw/raw2 /dev/dda2
- 10 -
#for Oracle DATA/SPFILE /dev/raw/raw3 /dev/ddb1
#for Flash Recovery Area/control1/Archive
/dev/raw/raw4 /dev/ddc1 #for LOG1/control2
/dev/raw/raw5 /dev/ddd1
次に、rawdevicesサービスを開始します。
Starting rawdevices service # / etc/rc.d/init.d/rawdevices start
設定状況は、“raw –qa" コマンドで確認することができます。上の画面では、それぞれのディスクが設定ファイル通りバインドされたことがわかります。作成した RAWデバイスを Oracleユーザから利用できるように所有者とグループの設定を行います。“chown”コマンドを使用して設定します。
- 11 -
# chown oracle:oinstall /dev/raw/raw[1-5]
以上と同様の作業を、RACを構成する他のサーバについても行ってください。 ここで重要なことは、物理的に同じディスクについては、どのサーバからでも同じ名前にバインドすることが必要であるということです。
4.3 外付け RAID装置を利用した ASMディスク・グループの作成 ASMインスタンス起動後、外付け RAID装置を使用して ASMディスク・グループを作成するには以下のようなコマンドを使用します。ｉＳｔｏｒａｇｅ S シリーズはデュアルパリティ（ＲＡＩＤ-6）をサポートしているため、極めて高い信頼性のデータベース用ストレージを構築することが可能になっています。
SQL> CREATE DISKGROUP DATA EXTERNAL REDUNDANCY DISK ‘/dev/raw/raw4’,
ディスクの使用用途については、下記表を参考にしてください。使用するディスク・グループ分、上記コマンドを実
行してください。 RAWデバイス使用用途
Raw device Name
ASM disk group name Redundancy Data
/dev/raw/raw3 +DATA EXTERNAL Table space/SPFILE /dev/raw/raw4 +Flash Recovery Area EXTERNAL Online Redo log(primary)
Control file(primary)/Archive log file /dev/raw/raw5 +LOG1 EXTERNAL Online Redo log(secondary)
Control file(secondary)
5. iStorage と ASMを組み合わせたベストプラクティス このセクションでは、Oracleデータベースの稼動と、ISVバックアップソフトと Oracle RMAN (Recovery Manager)の連携による、オンラインバックアップのための、ASM ディスク・グループ構成に関してのガイドラインを提供しています。
5.1 デュアルパリティ（RAID6）とディスク・グループの組み合わせ
- 12 -
高性能と可用性を両立させるため、iStorage のデュアルパリティ（RAID6）を使用した ASM ディスク・グループの作成を強く推奨します。また、RAID6とダイナミックプール機能の組み合わせは以下の利点があります。
非常に高い信頼性 簡単なストレージ構成 ストレージ容量の効率的使用とプロビジョニング
以下の表は、iStorage Sシリーズのエントリー機種である S1400を使用した場合のストレージ構成例です。
OS LD Pool
Path(RAW) Path(RAW) Path(RAW) File System
ASM disk group Name Resource No PhysicalDisk
RAID Level
/dev/raw/raw1 OCR area /dev/sdb /dev/dda
/dev/raw/raw2
RAW Non-ASM LX_OCR
Voting disk
0005h 00h-01h RAID1
/dev/sdc /dev/ddb /dev/raw/raw3
RAW +DATA LX_DATA DATA/SPFILE 0006h 02h-07h RAID6
/dev/sdd /dev/ddc /dev/raw/raw4
RAW +Flash RecoveryArea
LX_Flash Recovery Area
Redo log1 Control file1/Archive log
0007h 08h-0dh RAID6
/dev/sde /dev/ddd /dev/raw/raw5
RAW +LOG1 LX_LOG1 Redo log2 Control file2
0007h 08h-0dh RAID6
Note:
OCRと Votingディスクは別々の配置することができます。
また、Release2の OracleClusterwareを利用して多重化することも可能です。
可用性向上のため、Redo ログ を冗長化することを強く推奨します。具体的には、Redo ログの複製を、アーカイブログ、バックアップファイル、一時ファイルと同様に Flash Recovery Area ディスク・グループに置きます。また、Redo ログの複製は、別のASM Log1 ディスク・グループへ置くことも可能です。このシナリオでは、予期せぬ短期のディスク・グループ障害からクリティカルな Redo ログが守られています。iStorage Sシリーズは、その独自のデュアルパリティ機能を活用することで、Oracleデータベースを保護する、より高い信頼性と可用性のソリューションです。
5.2 高信頼・高性能を実現する SystemGlobe StoragePathSaviorの利用
Hot spare disk
00
ASM Disk Group
+DATA
ASM Disk Group
+Flash Recovery Area
ASM Disk Group
+LOG1
OCR
Voting
- 13 -
iStorage S シリーズは、エントリレベルの機種から、冗長なファイバチャネルポートを実装しています。StoragePathSavior は、実体は単一のLUNでありながら、複数パス経由で複数のLUNとして認識されたLUNを、単一の擬似デバイスとして仮想化します。I/O アクセスパスの信頼性向上と性能向上の観点から、SystemGlobe StoragePathSavoir の使用を強く推奨します。
5.3 ディスク・グループへの複数 LUNの割り当てによる性能向上 iStorageの RAID6ストラピングはストレージ層で I/Oの均一振り分けを行い I/Oボトルネックを回避します。 ASMはディスク・グループ内のすべてのディスク間で I/Oの均一振り分けを行いホスト層での I/Oボトルネックを回避することができます。これら二つのテクノロジは互いに補完するものであり、これらにより性能の自動チューニング
が行われるデータベースシステムが実現されます。 よってASMディスク・グループに複数のLUNを割り当てることがベストプラクティスです。 DATAディスク・グループに複数の LUNを割り当てることによりホスト側での I/Oボトルネックの発生率を大幅に低減できます。
5.4 動的ストレージ容量拡張 このセクションでは、Linuxプラットフォーム上のOracle Database 10ｇ RAC 環境下において、ASMと iStorageのプール機能を組み合わせて使用することにより、データベースインスタンスの停止なくダイナミックなストレージ容量
拡張を行う手順を記述します。 他の OSプラットフォームでは、手順が異なります。
5.4.1 ディスク・グループへの論理ディスクの動的追加 以下は、ストレージプール領域から新規に LUNを作成して、ASMディスク・グループへ追加する手順です。 このホワイトペーパーでは、新たに作成された論理ディスクを Linux OSから認識させる普遍的な方法としてOSリブートを用いています。確かに、例えば以下のようなコマンドで認識させる方法もありますが、
# echo “scsi add-single-device a b c d” >/proc/scsi/scsiI
カーネルバージョンにより正常に機能しない場合があります。OSリブート以外の方法でダイナミックな認識方法を使いたいのであれば、実際に使用している Linux の環境にて、その方法が有効かどうか、事前によく確認してください。 srvctl コマンドを使用して、RACを構成しているひとつのノード上のOracle データベースインスタンスを止めて、待機系ノードへ業務を引き継がせます。
[oracle@lx410 oracle]$ srvctl stop instance –d SERAC –i SERAC1 –o immidiate
ノードのリブートを行います。新規に追加された論理ディスクを認識できているかどうか確認してください。
[root@lx410 root]# shutdown –r now After the reboot completion [root@lx410 root]# dmesg | less
新たに追加した論理ディスクを反映させるため、SystemGlobe StoragePathSavior で使用する状態設定ファイル
- 14 -
(/etc/dualpathrc)を再作成します。その後、パス巡回デーモンを再起動します。
[root@lx410 root]# mv /etc/dualpathrc /etc/dualpathrc.bak rename and store for backup [root@lx410 root]# mkdd execute mkdd command temporary Couldn’nt open /etc/dualpathrc I try auto setting… [root@lx410 root]# /etc/rc.d/init.d/dd_daemon restart activate daemon for path patrol again [root@lx410 root]# mkdd
fdisk コマンドを使用して、追加した論理ディスクにパーティションを作成します。
[root@lx410 root]# fdisk /dev/dde use Path Manager device file name
”etc/sysconfig/rawdevices” ファイル中に、作成したパーティションとRAWデバイスとの対応関係を記述します。その後、rawdevicesサービスを再起動してディスクをバインドします。 また、追加した RAWデバイスは Oracleで使用するため、オーナーを Oracleユーザに変更します。
[root@lx410 root]# vi /etc/sysconfig/rawdevices ex.
/dev/raw/raw6 /dev/dde1 assign the additional disk as /dev/raw/raw6 [root@lx410 root]# /etc/rc.d/init.d/rawdevices restart [root@lx410 root]# raw –qa confirm normal setting [root@lx410 root]# chown oracle:oinstall /dev/raw/raw6
待機系サーバでも、パーティションの作成以外の手順を実行し、ディスクを使用できるようにします。 ASMディスク・グループの拡張 現用系ノードにて ASMインスタンスへログインします。
[oracle@lx410 oracle]$ ORACLE_SID=+ASM1 sqplus SQL*Plus: Release 10.2.0.1.0 - Production on Fri Apr 7 16:52:03 2006 Copyright (c) 1982, 20045 Oracle. All rights reserved. Enter user-name: / as sysdba Connected to: Oracle Database 10g Enterprise Edition Release 10.2.1.0 – Production With the Partitioning, Real Application Cluster and Data Mining options SQL>
以下のように SELECT 文を実行し、TOTAL_MBで現在の総容量を確認します。
SQL> SELECT * FROM v$asm_diskgroup WHERE NAME='DATA'; GROUP_NUMBER NAME SECTOR_SIZE BLOICK_SIZE ALLOCATION_UNIT STATE TYPE TOTAL_MB FREE_MB ------------------------------------------------------------------------------------------------------------------------------------------------------------
2 DATA 512 4096 1048576 MOUNTED EXTERN 269308 265244 SQL>
表領域の ASM ディスク・グループ”+DATA”へディスクを追加すべく、ALTER 文を実行して追加するディスクのRAWデバイスを指定します。
- 15 -
SQL> alter diskgroup DATA add disk ‘/dev/raw/raw6’; Diskgroup altered SQL>
SELECT 文を実行し、TOTAL_MBで拡張後の総容量を確認します。ここでは、33.6GB のディスクを新たに追加しました。
SQL> SELECT * FROM v$asm_diskgroup WHERE NAME='DATA'; GROUP_NUMBER NAME SECTOR_SIZE BLOICK_SIZE ALLOCATION_UNIT STATE TYPE TOTAL_MB FREE_MB ------------------------------------------------------------------------------------------------------------------------------------------------------------
2 DATA 512 4096 1048576 MOUNTED EXTERN 303351 265244 SQL>
6. 結論 サーバベースの Oracleテクノロジとストレージベースの NECテクノロジとの間では、お互いに重複するテクノロジが存在しますが、お互いの長所をベストに組み合わせることにより、両社の共通のお客様に対して、より低いコス
トにて、より高い信頼性と可用性、より高い性能とスケーラビリティ、データベースのより簡単な管理容易性を提
供することができます。この共同ホワイトペーパーは、Oracle社とNECの相互の戦略的アライアンスパートナシップに基づいています。両社は、お互いの最先端なテクノロジで実現したベストなソリューションを、共通のお客様
に対して、将来も提供し続けてまいります。 ASMと NECのストレージテクノロジは補完的なソリューションです。両社からのベストオブブリードによるソリューションは高い信頼性と可用性、高性能とスケーラビリティ、データベースの管理容易性、所有コストの低減を提供
します。これらのベストプラクティスは、共通のお客様が、ソリューションをより早く、より少ない管理オーバヘッド
にて実現するのを手助けします。Oracle社と NEC は、お客様のビジネス上の要求事項をこれまで以上に叶えるべく、最先端のテクノロジとレファレンスアーキテクチャの供給に全力を投じています。
7. 付録 7.1 ディスク・グループ中の既存論理ディスクのリサイズ 以下の手順は、ストレージプール領域から追加容量分だけを切り出すことにより、ASM ディスク・グループ内の既存 LUNのリサイズを行う手順です。これらの手順は少々複雑なため、操作ミスによりデータ損失のような重大な問題を引き起こす恐れがあります。使用にあたっては、細心の注意を払ってください。 最初に、 SELECT コマンドを実行し、拡張するディスクの現在の容量を確認しておきます。
[oracle@lx410 oracle]$ ORACLE_SID=+ASM1 sqplus SQL*Plus: Release 10.2.0.1.0 - Production on Fri Apr 7 16:52:03 2006 Copyright (c) 1982, 2005, Oracle. All rights reserved. Enter user-name: / as sysdba Connected to: Oracle Database 10g Enterprise Edition Release 10.2.1.0 – Production With the Partitioning, Real Application Cluster and Data Mining options SQL> SELECT * FROM v$asm_diskgroup WHERE NAME='DATA'; GROUP_NUMBER NAME SECTOR_SIZE BLOICK_SIZE ALLOCATION_UNIT STATE TYPE TOTAL_MB FREE_MB -----------------------------------------------------------------------------------------------------------------------------------------------------------
2 DATA 512 4096 1048576 MOUNTED EXTERN 269308 265244 SQL>
- 16 -
RAWキャラクタデバイスを拡張するため、デバイスにアクセスしている Oracleインスタンスを停止します。
[oracle@lx410 oracle]$ srvctl stop instance –d SERAC –i SERAC1 –o immediate;
同様に、デバイスにアクセスしている ASM インスタンスを停止します。
[oracle@lx410 oracle]$ srvctl stop asm -n lx410 –o immediate;
ストレージプール領域に空き容量がない場合、HDD をダイナミックに追加することでプール容量を拡張することができます。 iStorage Manager (iSM) クライアントより、既存の LUN のサイズを拡張します。 対象の RAWキャラクタデバイスをアンバインドします。
[root@lx410 root]# raw /dev/raw/raw4 0 0
fdiskユーティリティを使用して、容量拡張した LUNの領域テーブルを再読み込みします。
[root@lx410 root]# fdisk /dev/ddb SPSデバイス名を使用します The number of cylinders for this disk is set to 4422. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g., old versions of LILO) 2) booting and partitioning software from other OSs (e.g., DOS FDISK, OS/2 FDISK) Command (m for help):w wキーを押します
fdiskユーティリティを使用して、RAWキャラクタデバイスを拡張します。 現在存在しているパーティションを削除し、新たにパーティションを作成し直します。RAWキャラクタデバイスのため、パーティションを削除しても内容は消えずに、容量を拡張したパーティションを作成することができます。 容量を拡張した RAWキャラクタデバイスをブロックデバイスに再バインドします。
[root@lx410 root]# raw /dev/raw/raw4 /dev/ddb1
ASM インスタンスを再開します。再開後、“$ORACLE_BASE/admin/+ASM/bdump/alert+ASM1.log”にエラーなどが表示されずに +DATA ディスク・グループが正常にマウントされているか確認してください。
[oracle@lx410 oracle]$ srvctl start asm -n lx410 –o open;
ASM インスタンス正常起動後、停止させていた Oracle インスタンスを開始します。開始後、“$ORACLE_BASE/admin/SERAC/bdump/alertSERAC1.log”にエラーなどが表示されずに Oracle インスタンスが正常に起動した確認してください。
- 17 -
[oracle@lx410 oracle]$ srvctl start instance –d SERAC –I SERAC1 –o open;
現用系サーバにて、ASM インスタンスへログインします。
[oracle@lx410 oracle]$ ORACLE_SID=+ASM1 sqplus SQL*Plus: Release 10.2.0.1.0 - Production on Fri Apr 7 16:52:303 2006 Copyright (c) 1982, 2004, Oracle. All rights reserved. Enter user-name: / as sysdba Connected to: Oracle Database 10g Enterprise Edition Release 10.2.1.0 – Production With the Partitioning, Real Application Cluster and Data Mining options SQL>
表領域のディスク・グループ”+DATA”の容量を拡張します。ALTER 文を実行し、ディスク・グループをリサイズします。
SQL> ALTER DISKGROUP DATA RESIZE DISK DATA_0000 SIZE 300G; Diskgroup altered SQL>
SELECT文を実行し、TOTAL_MBの値が以前の値よりも増加していることを確認してください。
SQL> SELECT * FROM v$asm_diskgroup WHERE NAME='DATA'; GROUP_NUMBER NAME SECTOR_SIZE BLOICK_SIZE ALLOCATION_UNIT STATE TYPE TOTAL_MB FREE_MB
2 DATA 512 4096 1048576 MOUNTED EXTERN 312320 265244 SQL>
- 18 -
7.2 DynamicDataReplicationを使ったバックアップとリカバリ
DynamicDataReplication は、各々の論理ディスクの中に作成された業務ボリュームの複製をつくり
ます。DDR においては、こうした業務ボリュームはMaster Volume(MV)、複製されたボリューム
は Replicated Volume（RV）と呼ばれます。 RV はいつでも MVから切り離す事が可能であり、切り離
された RVは、例えばバックアップや試験的な業務運用のような複数の目的のために使用可能です。
このように DynamicDataReplication は、24/7 運用に対応しビジネス継続性拡大のために必要な基
盤機能を提供します。
ASM と DDR を併用することで、サーバに負荷をかけないホットバックアップが及び任意の時点での
コピーボリュームの取得が可能となり、より高い運用性、可用性への要求に応えることができます。
最近増大している 24 時間 365 日無停止運用が求められているサービスでは、データベース運用を
停めずに、しかもサーバに負荷をかけずにデータのバックアップをとることが必要となります。
iStorage では、ASM と DDR を組み合わせて利用することで、このような要件に対応することができます。
- 19 -
7.2.1 システム構成
（１）ハードウェア構成
データファイル、ログファイル(アーカイブログ)の複製（RV1/RV2）を作成し、バックアップサーバでマウント。
制御ファイル・サーバパラメータファイルのバックアップファイルをローカルドライブに作成。
- 20 -
（２）ディスク構成
OS ASM iStorage LD iStorage
Pool
アクセスコントロ
ール
Path
(SPS)
Path
(RAW)
FileSyste
m
Diskgroup
Name
Resource Capacity RAID
Level
/dev/dda1 /dev/raw/raw 11 Raw - 投票ディスク 1000MB
/dev/ddb1 /dev/raw/raw 21 Raw - OCR ディスク 1000MB
/dev/ddc1 /dev/raw/raw 31 Raw コントロールファイル（正） 2000MB
/dev/ddd1 /dev/raw/raw 41 Raw 4000MB
/dev/dde1 /dev/raw/raw 51 Raw
RedoLog ファイル(正)
4000MB
/dev/ddf1 /dev/raw/raw 61 Raw
+REDO1
アーカイブログファイル（正） 20GB
RAID 1
/dev/ddg1 /dev/raw/raw 71 Raw - 投票ディスク 1000MB
/dev/ddh1 /dev/raw/raw 81 Raw - OCR ディスク 1000MB
/dev/ddi1 /dev/raw/raw 91 Raw コントロールファイル（副） 2000MB
/dev/ddj1 /dev/raw/raw101 Raw 4000MB
/dev/ddk1 /dev/raw/raw111 Raw
RedoLog ファイル(副)
4000MB
/dev/ddl1 /dev/raw/raw121 Raw
+REDO2
アーカイブログファイル（副） 20GB
RAID1
/dev/ddm1 /dev/raw/raw131 Raw - 投票ディスク 1000MB
/dev/ddn1 /dev/raw/raw141 Raw サーバパラメータファイル 4000MB
/dev/ddo1 /dev/raw/raw151 Raw +DATA
表領域(MV) 120GB
RAID6
業務サーバ
(NodeA/NodeB)
/dev/ddp1 - EXT3 - アーカイブコピー領域(MV) 20GB RAID1
/dev/dda1 - Ext3 - アーカイブコピー領域(RV) 20GB RAID1 バックアップ
サーバ /dev/ddb1 - Raw - 表領域(RV) 120GB RAID6
- 21 -
7.2.2 バックアップ手順
（１）ホットバックアップフロー
（２）ホットバックアップ手順
手順 1. レプリケート （業務サーバ）
Oracleの表領域が格納されている MVのレプリケートを実行します。
• コンソール上から“iSMrc_replicate”コマンドを利用して MVのレプリケートを実行します。
“-wait”オプションを使用し、レプリケートが終了するのを待ちます。
[root@業務サーバ]# iSMrc_replicate –file レプリケーション操作ファイル -wait
レプリケーション操作ファイルの内容
0:LX_RAC_DATA_MV 0:LX_RAC_DATA_RV
手順3. ASMバランス確認
手順1. レプリケート
手順5. ホットバックアップモードを解除
手順4. セパレート
手順6. 制御ファイルバックアップ作成
手順2. ホットバックアップモードへ移行
業務サーバ バックアップサーバ
手順3. ASMバランス確認
手順1. レプリケート
手順5. ホットバックアップモードを解除
手順4. セパレート
手順6. 制御ファイルバックアップ作成
手順2. ホットバックアップモードへ移行
業務サーバ バックアップサーバ
- 22 -
手順 2. 表領域をホットバックアップモードへ移行 （業務サーバ）
データベースにバックアップの開始を通知し、各表領域をホットバックアップモードへ移行します。
• MV上に存在する全ての表領域をホットバックアップモードに移行します。
SQL> alter tablespace 表領域 begin backup;
手順 3. ASM バランス確認 (業務サーバ)
ASMが再バランス中か確認します。
• “select”コマンドを発行し、ASM ディスク・グループが再バランス中か確認します。
再バランス中でなければ、“no rows selected”と表示されます。
SQL> select * from v$asm_operation
再バランス中であれば、“alter diskgroup”コマンドを発行し再バランスを停止させます。
SQL> alter diskgroup ディスク・グループ名 rebalance power 0
手順 4. セパレート （業務サーバ）
同期状態にある MVと RVを切り離します。
• コンソール上から“iSMrc_separate”コマンドを使用してセパレートを実行します。
“-wait”オプションを使用し、セパレートが完全に終了するのを待ちます。
[root@業務サーバ]# iSMrc_separate –file レプリケーション操作ファイル –wait
レプリケーション操作ファイルは「レプリケート」と同じファイルを使用してください。
手順 5. 表領域のホットバックアップモードを解除
MVセパレート終了後、ホットバックアップモードに移行していた表領域のモードを解除します。 • ホットバックアップモードに移行した全ての表領域を解除します。
SQL> alter tablespace 表領域 end backup;
手順 6. 制御ファイルバックアップ作成 （業務サーバ）
- 23 -
稼動しているデータベースの制御ファイルとサーバパラメータファイルのバックアップを作成します。
SQL> alter database backup controlfile to ‘/u01/app/oracle/ctlSID.bak’ reuse; SQL> create pfile='/u01/app/oracle/initSID.bak'from spfile=’ SPFILE 保存先ディスク・グループ/spfilename'
（３）アーカイブバックアップフロー
（４）アーカイブバックアップ手順
手順 1. tempRV のアンマウント （バックアップサーバ）
アーカイブログのコピーを保存する RV(以下 tempRV)ボリュームをシステムからアンマウントし、ファイルシステ
ムのバッファ内に残っているデータをディスクに反映します。
[root@バックアップサーバ] # umount マウントポイント
手順 3. RMANを使用したアーカイブログファイルのコピー
手順 1. tempRVアンマウント
手順 5. セパレート
手順 4. tempMVアンマウント
手順 6. tempMVマウント
手順 2. レプリケート
業務サーバ バックアップサーバ
手順 8. tempRVマウント
手順 7. セパレート完了を待機
手順 3. RMANを使用したアーカイブログファイルのコピー
手順 1. tempRVアンマウント
手順 5. セパレート
手順 4. tempMVアンマウント
手順 6. tempMVマウント
手順 2. レプリケート
業務サーバ バックアップサーバ
手順 8. tempRVマウント
手順 7. セパレート完了を待機
- 24 -
手順 2. レプリケート （業務サーバ）
アーカイブログのコピーを保存する MV(以下 TempMV)ボリュームのレプリケートを実行します。
• コンソール上から“iSMrc_replicate”コマンドを利用して MVのレプリケートを実行します。
“-nowait”オプションを使用しレプリケートが終了する前に次の処理へ進むことができます。
[root@業務サーバ] # iSMrc_replicate –file レプリケーション操作ファイル -nowait
レプリケーション操作ファイルの内容
0:LX_RAC_ARCTMP_MV 0:LX_RAC_ARCTMP_RV
手順 3. RMAN を使用したアーカイブログファイルのコピー （業務サーバ）
RMAN を使用し、ASM ディスク・グループ内のアーカイブログを tempMV へコピーします。
• アーカイブログのイメージ・コピーを tempMV へコピーします。
RMAN> RUN { BACKUP DEVICE TYPE DISK FORMAT ‘tempMVマウントポイント/%U ARCHIVELOG ALL DELETE INPUT };
このコマンドを実行すると、カレントのオンライン REDO ログファイルをアーカイブし、強制的にグループの切り替えも行うた
め、別途 SQL コマンドを実行せずに処理を進められます。
手順 4. tempMV アンマウント （業務サーバ）
tempMV をシステムからアンマウントし、ファイルシステムのバッファ内に残っているデータをディスクに反映しま
す。
[root@業務サーバ] # umount マウントポイント
手順 5. セパレート （業務サーバ）
手順 4 のアンマウント終了後に tempMV の更新は終了していますので、tempMV-tempRV 間のセパレートを実
行します。
• RV 即時活性化セパレート機能を利用することで同期を待たずにセパレートすることができます。
- 25 -
[root@業務サーバ] # iSMrc_separate –file レプリケーション操作ファイル –rvuse immediate -nowait
レプリケーション操作ファイルは手順 2 と同じファイルを使用してください。
手順 6. tempMV のマウント （業務サーバ）
手順 4 でアンマウントした tempMV をシステムにマウントします。
[root@業務サーバ] # mount –t フォーマットタイプ デバイスファイル名 マウントポイント
手順 7. セパレート完了を待機 （業務サーバ）
手順5でRV即時活性化セパレート機能を利用し「-nowait」オプションを使用しましたので、この時点でまだセパ
レートが完了していない場合があります。MV と RV が完全に切り離させるまで待機してください。
[root@業務サーバ] # iSMrc_wait –cond sep –file レプリケーション操作ファイル
レプリケーション操作ファイルは手順 5 と同じファイルを使用してください。
手順 8. tempRV のマウント （バックアップサーバ）
手順 5 で MV-RV のセパレートを行いましたので、手順 1 でアンマウントした tempRV をシステムにマウントしま
す。
[root@バックアップサーバ] # mount ‒t フォーマットタイプ デバイスファイル名 マウントポイント
- 26 -
7.2.3 リカバリ手順
（１）リカバリフロー
（２）リカバリ手順
手順 1. RAC データベース シャットダウン （業務サーバ）
ディスク障害などの復旧後、RAC データベースを一度停止します。サーバがシャットダウンしている状態ならば
サーバを立ち上げて、RAC データベースを停止させます。すでに Oracle が停止していればシャットダウンは不要
です。
• “srvctl”コマンドを利用し、RACデータベースを停止します。
[oracle@業務サーバ] $ srvctl stop database –d データベース名 –o immediate
手順 2. ASM インスタンス シャットダウン （業務サーバ）
DDR リストアを行うため、両ノードの ASM インスタンスをシャットダウンします。
手順 3. DDRリストア
手順 1. RACデータベース シャットダウン
手順 5. 片ノードインスタンス スタートアップ
手順 4. ASMインスタンス スタートアップ
手順 6. データベースリカバリ
手順 2. ASMインスタンス シャットダウン
業務サーバ バックアップサーバ
手順 7. 片ノードインスタンス シャットダウン
手順 8. RACデータベース スタートアップ
手順 3. DDRリストア
手順 1. RACデータベース シャットダウン
手順 5. 片ノードインスタンス スタートアップ
手順 4. ASMインスタンス スタートアップ
手順 6. データベースリカバリ
手順 2. ASMインスタンス シャットダウン
業務サーバ バックアップサーバ
手順 7. 片ノードインスタンス シャットダウン
手順 8. RACデータベース スタートアップ
- 27 -
• “srvctl”コマンドを利用し、両ノードの ASM インスタンスを停止します。
[oracle@業務サーバ] $ srvctl stop asm –n ノード名 –i ASMインスタンス名 –o immediate
必ず両ノードでインスタンスをシャットダウンさせてください。
手順 3. MV のリストア （業務サーバ）
データレプリケーション機能を利用して RV上のデータを MV上にリストアします。
• コンソール上から“iSMrc_restore”コマンドを利用して MVへリストアを実行します。
“-nowait”オプションと“-mode protect”オプションを使用することにより MV-RV 間の同期を待たずに次に進むことができ
ます。
[root@業務サーバ] # iSMrc_restore –file レプリケーション操作ファイル –mode protect -nowait
レプリケーション操作ファイルはバックアップと同じファイルを使用してください。
手順 4. ASM インスタンス スタートアップ （業務サーバ）
手順 2 で停止していた ASM インスタンスを両ノードで起動します。
• “srvctl”コマンドを利用し、両ノードの ASM インスタンスをオープンします。
[oracle@業務サーバ] $ srvctl start asm -n ノード名 –i ASMインスタンス名 –o open
手順 5. 片ノードインスタンス マウント （業務サーバ）
手順 1 で停止していたインスタンスの内、復旧に使用するインスタンスを起動します。
• “srvctl”コマンドを利用し、データベースインスタンスをマウントします。
[oracle@業務サーバ] $ srvctl start instance –d データベース名 –i インスタンス名 –o mount
手順 6. データベースリカバリ （業務サーバ）
データベースの完全リカバリを行います。
[oracle@業務サーバ] $ sqlplus / as sysdba SQL> SET AUTORECOVERY ON; SQL> SET LOGSOURCE tempMVマウントポイント; SQL> RECOVER DATABASE; リカバリの実行 SQL> ALTER DATABASE OPEN;
- 28 -
手順 7. 片ノードインスタンス シャットダウン （業務サーバ）
データベースリカバリ用に起動していたインスタンスをシャットダウンします。
• “srvctl”コマンドを利用し、データベースインスタンスを停止します。
[oracle@業務サーバ] $ srvctl stop instance –d データベース名 –i インスタンス名 –o immediate
手順 8. RAC データベース スタートアップ （業務サーバ）
RAC データベースを open モードで起動します。
• “srvctl”コマンドを利用し、RACデータベースをオープンします。
[oracle@業務サーバ] $ srvctl start database –d データベース名 –o open
- 29 -
（保護用紙）