solaris ディープダイブセミナー #4: a-3 障害管理アーキテクチャー solaris fault...


障害管理アーキテクチャー Solaris Fault Manager

Presenting with ORACLE

PRODUCT

LOGO

佐藤和幸

システム事業統括ソリューショ本部


以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。

文中の社名、商品名等は各社の商標または登録商標である場合があります。


Program Agenda

Predictive Self-Healing

Solaris Fault Manager

Solaris 11 における Fault Management 新機能

参考情報


Predictive Self-Healing

ハードウェアやソフトウェア障害に対する可用性を大幅に向上させる

シンプルかつ効果的なインターフェースでシステム管理者の負担を軽減

自動的に障害や欠陥を診断するソフトウェアコンポーネントの提供

– 従来のエラーメッセージだけでは判別が困難であった

– 自動診断の結果により、セルフヒーリングを発動

管理者などへの通知

障害のあるコンポーネントの分離または非アクティブ化

ガイド付きの修復

Solaris 10 から提供される機能

Predictive Self-Healing - 予測的セルフヒーリング機能


Fault Management Architecture

エラーが発生すると、それぞれのコンポーネントで・・・

– 個々にデータを集め… (専門知識が必要)

– 個々にエラーへの対処を実施し…(メッセージの未統一)

– 個々の syslog メッセージを確認…(メッセージからの推測)

人類に与えられた解読という使命・・・・

Solaris 9 までの障害イベント処理

pci

md

sd

Applications

ufs

CPU

WARNING:/io-unit@fe0200000/sbi@0,0/dma@0,81000/esp@0,8000000

(esp0):Connected ....

NOTICE:correctable error detected by pci0 (upa mid 1f) during DVMA

readtransaction....

[AFT0]:errID 0x0000004d.23105c04 ECC Data Bit 14 was in error and corrected


Welcome to FMA!



1999 社運をも左右しかねない大問題発生！

August 10, 2001: 障害管理の新しいアプローチを探る

ディスカッションをSun 社内にて開始

January 15, 2002: Solaris 障害管理アーキテクチャに

関する最初の社内資料を作成

March 18, 2004: Solaris 10 Build 56 に FMA を実装。

March 7, 2005: FMA を搭載した初めての OS となる、Solaris 10 をリリース

FMA の開発について: Mike Shapiro



自動診断エンジンによる障害の報告

– “エラーを生成”することが問題を抱えていた

– エラーではなくイベントを生成

– イベントの解析は、Fault Manager に

委ねられる

– 自動で対処可能なものは自動化する

– 全てのイベントは統一された管理インター

フェースにて通知される

– 影響範囲、対処方法などのナレッジも

提供

Solaris 10 以降の障害イベント処理

pci

zfs

sd

smf

CPU

error

error

error Event “Z”

Event “Y”

Event “X”

agent 管理者

fault manager


Fault Management Architecture FMA における障害管理制御フロー

エラー検出

データ収集

エラー対処

Error Detection

診断エンジン

イベントの記録

Error Handling

Fault Handling

ereport イベント生成

障害イベントの生成

アクションの実行

Repair and Restoration

コンポーネントの分離

ログ出力,

通知動作

修復コマンド

の実行

エラーイベントの発生



エラー検出機構(Error Detector)

– エラー遠隔測定法に沿ってエラーを検出する機構

デバイスドライバなどに実装される

診断エンジン(Diagnosis Engines)

– 診断を生成または障害を予測

応答エージェント(Response Agents)

– 診断または修復に応答してアクションを実行するソフトウェアコンポーネント

Fault Manager (fmd daemon または fmd)

– エラー検出機構, 診断エンジン、エージェントが接続するFMD(fault manager

daemon)であり、測定イベントを適切な診断エンジンにディスパッチする




エラーハンドラーから生成された情報が診断エンジンへ送られる

容疑者リストを作成し、アクションを起こすよう agent へ通知

同様にイベントとしてエラーや障害リポートをシステムに通知

– このロジックは、Evershoｌｔ fault tree (EFT) をベースにしている

EFT は、Eversholt と呼ばれる言語にて診断ルールが記述された

ソースファイル(.esc)を、Eversholt コンパイラを通すことで生成される

バイナリファイル。診断エンジンは EFT として提供される

診断結果をもとに、FRU (Filed Replacement Unit), ASRU (Automated

System Reconfiguration Unit)などに対応するアクションを実施

Solaris FMA 動作の流れ



FMRI (Fault Management Resource Identifier)

– URL に似た表記で各コンポーネントを現す

– fmri-scheme://[authority]/path

fmri-scheme

– リソースリポジトリ

authority

– リソースの識別子

path

– リソースの実態へのパス

FMA Event Naming Schemes

hc://:product-id=ORCL,SPARC-T4-4:server-id=ssc0104-app1/chassis=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-

id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/motherboard=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-

id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/sp=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-

id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/cpuboard=0



ソフトウェアまたはハードウェアシステムを表現したトポロジ(topology

snapshot)を用意する必要がある

– Fault Manager にて障害が発生した可能性のある箇所を識別するため

トポロジは、自動生成される

– # /usr/lib/fm/fmd/fmtopo (default: ハードウェアコンポーネントを表示)

– # /usr/lib/fm/fmd/fmtopo –s svc –P all (SMF サービスを表示)

トポロジの情報を診断エンジンに提供し、障害イベント発生箇所を出力

FRU, ASRU コンポーネントかも確認可能

– ASRU (Automated System Reconfiguration Unit) は、障害発生時にソフトウェアまたはハードウェアから無効にできるコンポーネント

/usr/lib/fm/fmd/fmtopo




# /usr/lib/fm/fmd/fmtopo -s hc -b TIME UUID Aug 20 08:34:33 142c540c-f46b-4437-a029-9ff8488ac333 hc://:product-id=ORCL,SPARC-T4-4:server-id=ssc0104-app1/chassis=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/motherboard=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/sp=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/cpuboard=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/cpuboard=1 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/ioboard=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C/chassis=0/ioboard=0/ioboard=0 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C:serial=00AD01115039C7C323/chassis=0/cpuboard=1/dimm=32 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C:serial=00AD0111503947C315/chassis=0/cpuboard=1/dimm=33 : hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C/chassis=0/cpuboard=0/chip=0/core=4/strand=39 : : hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C/chassis=0/motherboard=0/hostbridge=0/pciexrc=0/pciexbus=1/pciexdev=0/pciexfn=0/pciexbus=2/pciexdev=0/pciexfn=0/pciexbus=3/pciexdev=0/pciexfn=0/iport=0/scsi-device=0


Fault Management Architecture ASRU の確認(Automated System Reconfiguration Unit)


# /usr/lib/fm/fmd/fmtopo –p TIME UUID Aug 21 11:35:10 e10ccacb-861f-c55c-faac-d528f8cd3098 hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-id=1145BDYC2C/chassis=0/motherboard=0 ASRU: - FRU: hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C:serial=465769T+1144H700KV:part=7013691:revision=03/chassis=0/motherboard=0 Label: /SYS/MB : hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:ch assis-id=1145BDYC2C/chassis=0/cpuboard=0/chip=0/core=0/strand=0 ASRU: cpu:///cpuid=0/serial=2a015ad4c0282935a4 FRU: hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C:serial=465769T+1149L90139:part=7019789:revision=05/chassis=0/cpuboard=0 Label: /SYS/PM0 : hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-id=1145BDYC2C:serial=001204PGMSAB-----

---PVGGMSAB:devid=id1,sd@n5000cca0251a9d60:part=HITACHI-H106060SDSUN600G:revision=A2B0/chassis=0/motherboard=0/hba=0/bay=0/disk=0

ASRU: dev:///:devid=id1,sd@n5000cca0251a9d60//scsi_vhci/disk@g5000cca0251a9d60 FRU: hc://:product-id=ORCL,SPARC-T4-4:product-sn=1145BDYC2C:server-id=ssc0104-app1:chassis-

id=1145BDYC2C:serial=001204PGMSAB--------PVGGMSAB:devid=id1,sd@n5000cca0251a9d60:part=HITACHI-H106060SDSUN600G:revision=A2B0/chassis=0/motherboard=0/hba=0/bay=0/disk=0

Label: /SYS/MB/HDD0



fmtopo で参照可能なトポロジ

– 現在は、赤字のみ


/usr/include/sys/protocol.h -- 188 /* scheme name values */ 189 #define FM_FMRI_SCHEME_FMD "fmd" 190 #define FM_FMRI_SCHEME_DEV "dev" 191 #define FM_FMRI_SCHEME_HC "hc" 192 #define FM_FMRI_SCHEME_SVC "svc" 193 #define FM_FMRI_SCHEME_CPU "cpu" 194 #define FM_FMRI_SCHEME_MEM "mem" 195 #define FM_FMRI_SCHEME_MOD "mod" 196 #define FM_FMRI_SCHEME_PKG "pkg" 197 #define FM_FMRI_SCHEME_LEGACY "legacy-hc" 198 #define FM_FMRI_SCHEME_ZFS "zfs" 199 #define FM_FMRI_SCHEME_SW "sw" --



Solaris Fault Manager のサービスを提供するデーモン

– svc:/system/fmd:default

バックグラウンドで動作

– システムソフトウェアが検出した問題に関する遠隔測定情報の受け取り

– 診断エンジン、エージェントへとの情報交換

問題を診断

障害のあるコンポーネントの無効化

予測的自己修復操作を担う重要なサービス

/usr/lib/fm/fmd/fmd



Fault Manager の情報を管理するためのユーティリティ

– 診断エンジン、エージェントの表示 (# fmadm config)

– 障害の概要を出力 (# fmadm faulty)

– 蓄積された障害を管理 (修復手順として指示された場合いにのみ使用)

障害報告解除の通知 (# fmadm acquit)

修復手順実行の通知 (# fmadm repaired)

FRU などの交換通知 (# fmadm replaced)

通常の運用においては、障害を確認するための faulty サブコマンドを利用

– Fault Manager が多くの操作にたいし自動化を試みている

fmadm ユーティリティ



# fmadm faulty 実行例 # fmadm faulty --------------- ------------------------------------ -------------- --------- TIME EVENT-ID MSG-ID SEVERITY --------------- ------------------------------------ -------------- --------- Aug 13 11:48:33 21a8b59e-89ff-692a-c4bc-f4c5cccca8c8 SUN4V-8002-6E Major Host : s4v-t5140a-bur02 Platform : sun4v Chassis_id : BDL1024FDA Product_sn : BDL1024FDA Fault class : fault.cpu.generic-sparc.strand Affects : cpu:///cpuid=21/serial=000000000000000000000 faulted and taken out of service FRU : "/SYS/MB" (hc://:product-id=sun4v:product-sn=BDL1024FDA:server id=s4v-t5160a-bur02:chassis-

id=BDL1024FDA:serial=1005LCB-1019B100A2:part=511127809:revision=05/chassis=0/motherboard=0) faulty Description : The number of correctable errors associated with this strand has exceeded acceptable levels. Refer to http://sun.com/msg/SUN4V-8002-6E for more information. Response : The fault manager will attempt to remove the affected strand from service. Impact : System performance may be affected. Action : Schedule a repair procedure to replace the affected resource, the identity of which can be determined using fmdadm faulty.


Fault Management Architecture cpuid=21 (strand) は、ASRU となるため障害発生箇所を無効とすることで継続動作

– インパクトは、パフォーマンス影響のみ

管理者へ提示されるアクションは、障害を持つコンポーネントのリプレースをスケジュールするのみ (FRU コンポーネントの交換)

# fmadm faulty 実行例 (続き)

# fmadm faulty : Description : The number of correctable errors associated with this strand has exceeded acceptable levels. Refer to http://sun.com/msg/SUN4V-8002-6E for more information. Response : The fault manager will attempt to remove the affected strand from service. Impact : System performance may be affected. Action : Schedule a repair procedure to replace the affected resource, the identity of which can be determined using fmdadm faulty.



FMA を構成するモジュール一覧の表示

– これらのモジュールが、自動診断、自己修復、メッセージの配信などを提供

fmadm

# fmadm config MODULE VERSION STATUS DESCRIPTION cpumem-retire 1.1 active CPU/Memory Retire Agent disk-transport 2.0 active Disk Transport Agent eft 1.16 active eft diagnosis engine etm 1.2 active FMA Event Transport Module ext-event-transport 0.2 active External FM event transport fabric-xlate 1.0 active Fabric Ereport Translater fmd-self-diagnosis 1.0 active Fault Manager Self-Diagnosis fru-monitor 1.0 active FRU Monitor generic-mem 1.0 active SPARC-Generic-Memory Diagnosis io-retire 2.0 active I/O Retire Agent ses-log-transport 1.0 active SES Log Transport Agent software-diagnosis 0.1 active Software Diagnosis engine software-response 0.1 active Software Response Agent sp-monitor 1.0 active Service Processor Monitor sysevent-transport 1.0 active SysEvent Transport Agent syslog-msgs 1.1 active Syslog Messaging Agent zfs-diagnosis 1.0 active ZFS Diagnosis Engine zfs-retire 1.0 active ZFS Retire Agent


fmdump

– fmd が生成するログ情報の詳細を出力

error log file

fault log file

resource cache log file

– 各種ログファイルは、/var/fm/fmd に格納

ログファイルを直接参照することも可能

– 他システムのログを参照するなどの用途にも利用可能

fmdump


エラーログを出力

– # fmdump

– # fmdump -e

障害ログを出力

– # fmfump (-v または、-V で詳細表示)

– # fmdump -v -u UUID

fmdump

# fmdump TIME UUID SUNW-MSG-ID EVENT 8月 19 17:44:56.8725 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 SMF-8000-YX Diagnosed 8月 19 17:46:23.2414 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-4M Repaired 8月 19 17:46:23.2439 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-6U Resolved



# fmdump 実行例

# fmdump -v -u ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 TIME UUID SUNW-MSG-ID EVENT 8月 19 17:44:56.8725 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 SMF-8000-YX Diagnosed 100% defect.sunos.smf.svc.maintenance Problem in: svc:///system/ocm:default Affects: svc:///system/ocm:default FRU: - Location: - 8月 19 17:46:23.2414 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-4M Repaired 100% defect.sunos.smf.svc.maintenance Repair Attempted Problem in: svc:///system/ocm:default Affects: svc:///system/ocm:default FRU: - Location: - 8月 19 17:46:23.2439 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-6U Resolved 100% defect.sunos.smf.svc.maintenance Repair Attempted Problem in: svc:///system/ocm:default Affects: svc:///system/ocm:default FRU: - Location: -

# fmdump TIME UUID SUNW-MSG-ID EVENT 8月 19 17:44:56.8725 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 SMF-8000-YX Diagnosed 8月 19 17:46:23.2414 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-4M Repaired 8月 19 17:46:23.2439 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-6U Resolved



障害管理に現在関与しているモジュールの統計情報を表示

– 診断エンジン

– エージェント

– 対象モジュールは、# fmadm config で出力されるリストで active になっているもの

fmstat



fmstat

# fmstat module ev_recv ev_acpt wait svc_t %w %b open solve memsz bufsz cpumem-retire 0 0 0.0 190.9 0 0 0 0 12b 0 disk-transport 0 0 0.5 3349486.4 49 0 0 0 40b 0 eft 37 47 0.0 218.6 0 0 1 1 1.4M 807b etm 1 0 0.0 0.1 0 0 0 0 8.6K 144b ext-event-transport 4 0 0.0 11.5 0 0 0 0 2.1K 2.0K fabric-xlate 0 0 0.0 0.1 0 0 0 0 0 0 fmd-self-diagnosis 308 0 0.0 34.3 0 0 0 0 0 0 fru-monitor 2 0 0.0 0.8 0 0 0 0 20K 0 generic-mem 0 0 0.0 190.9 0 0 0 0 0 0 io-retire 1 0 0.0 189.7 0 0 0 0 0 0 ses-log-transport 0 0 0.0 1.1 0 0 0 0 48b 0 software-diagnosis 1 1 0.0 373.3 0 0 0 0 320b 0 software-response 2 0 0.0 380.3 0 0 0 0 2.3K 2.0K sp-monitor 0 0 0.0 78.2 0 0 0 0 24b 0 sysevent-transport 0 0 0.0 36.7 0 0 0 0 0 0 syslog-msgs 1 0 0.0 189.7 0 0 0 0 0 0 zfs-diagnosis 4 0 0.0 187.0 0 0 0 0 0 0 zfs-retire 4 0 0.0 556.2 0 0 0 0 4b 0

ev_recv: 受け取ったイベント数

ev_acpt: 扱うと判断したイベント数

wait: 確認待ちイベント数

svc_t: 平均イベント処理時間(ms)

%w: 待ち時間の割合

%b: 処理時間の割合

open: 処理完了していないイベント数

solve: 処理完了させたイベント数

memsz: 使用中の動的メモリサイズ

bufsz: 使用中の固定バッファサイズ



管理アクションを決定するための情報は、fmadm faulty の情報を優先

– fmdump の出力は、障害以外の情報も含まれるため

ナレッジ(MOS)を検索し、診断内容の確認を推奨

– イベント重要度、障害情報の詳細を確認

– 推奨アクションの確認

ソフトウェアで対処可能か？

FRU 交換か？

無害なイベントか？

ユーザ側における管理アクションの決定手順



概要に含まれる URI へアクセス

(例: sun.com/msg/SUN4V-8002-6E)

– My Oracle Support へのリダイレクト

または、MOS(My Oracle Support)

にて MSG-ID を key に検索

管理者への推奨アクションを提示

– SUN4V-8002-6E は、CPU 障害の為

FRU 交換を推奨アクションとして提示

MSG-ID (ナレッジの確認)



fmd は、遠隔測定法に基づいて適切な診断エンジンにイベントをディスパッチする

イベントは、UUID にて識別され蓄積される

障害解決の準備が整うと、list.suspectイベントが応答エージェントに渡されアクションが実行される

– 障害は、1つ以上の疑わしい障害イベントと関連付けられる

– アクションで解決される場合は、Repaired に移行

– その障害が取り払われることを認識し、Resolved に移行(障害の解決)

または、 MSG-ID 従った推奨アクションの実行

自己修復管理モデルの概要


ILOM FMA Software Stack



Oracle Hardware 搭載の ILOM (Service Processor)

– FMA Software Stack を実装

– XSCF (SPARC Enterprise M シリーズ) にも実装

Solaris FMA と ILOM FMA の連携

– 両者の FMD が連携し、障害を検知/報告

SPARC サーバでは、hypervisor にも実装 (SPARC T シリーズのみ)

– Oracle VM for SPARC 稼働環境においても FMA との連携は継続

– OBP (Hostconfig/POST) , Hypervisor は ereports 機能を実装

– ILOM, Solaris の FMD がカバー



Fault Management Architecture ILOM FMA Software Stack

Service Processor

Solaris Fault

Manager

Fault

Manager

Chassis HW monitoring

FRUID/LED

Control




Oracle(R) Integrated Lights Out Manager Version 3.0.16.5.a r69665 Copyright (c) 2011, Oracle and/or its affiliates. All rights reserved. -> start /SP/faultmgmt/shell Are you sure you want to start /SP/faultmgmt/shell (y/n)? y faultmgmtsp> fmdump TIMESTAMP UUID MSGID 2012-05-21/05:07:13 2801505f-9a62-c132-a758-b42f6b37abee FMD-8000-6U Resolved 2012-07-07/09:25:49 9005418b-18ff-4528-e45b-f1568f4bc011 FMD-8000-4M Repaired 2012-07-07/10:36:56 abd3a201-570b-e63c-be29-f568c2e0da43 FMD-8000-4M Repaired faultmgmtsp> fmstat fdd statistics 2012-08-19/13:21:23 engine status evts_in evts_out errors platform empty 0 0 0 repair empty 1 0 0 hysteresis empty 0 0 0 simple empty 0 0 0


Solaris 11 における Fault Management 新機能


Solaris 11: New Fault Management Features

ハードウェア障害からの復旧を迅速に

障害検知からサービス・リクエスト (SR) 登録までを自動化

Solaris 11 では ASR client (asr-notify) を提供

Oracle Auto Service Request (ASR) との連携

お客様

パートナー様

ドラフト SR

故障パーツを自動選出

パーツ手配

(エンジニア手配)

解析オンサイト SR 作成

SR


Automatic Service Request (ASR)

通知対象コンポーネント

CPU, メモリ, ディスク, チップセット

ファン, 電源

ASR Fault Coverage 一覧 http://www.oracle.com/technetwork/server-storage/asr/documentation/

– ILOM FMA http://www.oracle.com/technetwork/systems/asr/documentation/fault-coverage-ilom-337688.pdf

– Solaris FMA http://www.oracle.com/technetwork/systems/asr/documentation/fault-coverage-fma-337686.pdf

Oracle Auto Service Request (ASR) との連携

http://www.oracle.com/technetwork/server-storage/asr/documentation/fault-coverage-ilom-337688.pdf

http://www.oracle.com/technetwork/server-storage/asr/documentation/




http://www.oracle.com/technetwork/systems/asr/documentation/fault-coverage-ilom-337688.pdf







http://www.oracle.com/technetwork/systems/asr/documentation/fault-coverage-fma-337686.pdf









Oracle Premier Support 契約でご利用可能です。

Oracle Database のアラート等、SW のエラーは SR 登録されません。

Database Appliance の場合、本体にASR Manager機能が組み込まれています。

ASR とは別のシステム監視ソリューションを主とし、それら監視ソリューションに加えて補助的にご使用されることを推奨します。

SR 登録後のサービスレベルは、通常のOracle Premier Support において提供されるサービスレベルと同等です。

HW障害の自動SR登録の仕組み

(ASR Manager ) My Oracle Support

SR 登録 HW障害検知 https

お客様の監視ツールへ通知

Oracle Systems

お客様へメール通知



SMTP, SNMP, Syslog での通知をサポート

– pkg://solaris/system/fault-management/snmp-notify (IPS)

– svc:/system/fm/snmp-notify:default (smf)

svccfg (SMF) の setnotify にて設定

– /usr/lib/fm/notify/smtp-notify (sendmail を利用)

– /usr/lib/fm/notify/snmp-notify (net-snmp を利用)

診断内容やアップデートの通知をサポート


Email Notification 診断内容やアップデートの通知をサポート

# svcs -n Notification parameters for FMA Events Event: problem-diagnosed Notification Type: smtp Active: true reply-to: root@localhost to: root@localhost Notification Type: snmp Active: true Notification Type: syslog Active: true Event: problem-repaired Notification Type: snmp Active: true Event: problem-resolved Notification Type: snmp Active: true


Email Notification

通知可能な内容

– problem-diagnosed

新しい問題が FMA により診断された

– problem-updated

既存の診断が更新された（障害コンポーネントの修復や再度障害が発生など)

– problem-repaired

既存の診断に含まれていた障害原因が修復された

– problem-resolved

既存の診断に含まれていた障害箇所が全て解決された



Email Notification

例) problem-resolve の報告先として syslog と smtp を追加

– smtp のあて先は、root@localhost を指定


# svccfg setnotify problem-resolved syslog:active # svccfg setnotify problem-resolved mailto:root@localhost # svcs -n Event: problem-resolved Notification Type: snmp Active: true Notification Type: syslog Active: true Notification Type: smtp Active: true to: [email protected]

smtp, syslog での通知が追加


Email Notification 診断内容やアップデートの通知をサポート (例-smtp_1)

Date: Sun, 19 Aug 2012 17:44:56 +0900 (JST) From: No Access User <noaccess@solaris> Message-Id: <201208190844.q7J8iuDC024826@solaris.> X-FMEV-HOSTNAME: solaris X-FMEV-CLASS: list.suspect X-FMEV-UUID: ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 X-FMEV-CODE: SMF-8000-YX X-FMEV-SEVERITY: major Reply-To: root@solaris Subject: Fault Management Event: solaris:SMF-8000-YX To: root@solaris Content-Length: 758 SUNW-MSG-ID: SMF-8000-YX, TYPE: defect, VER: 1, SEVERITY: major EVENT-TIME: Sun Aug 19 17:44:56 JST 2012 PLATFORM: 4170CTO, CSN: R9M32P0, HOSTNAME: solaris SOURCE: software-diagnosis, REV: 0.1 EVENT-ID: ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 DESC: A service failed - the instance is restarting too quickly. AUTO-RESPONSE: The service has been placed into the maintenance state. IMPACT: svc:/system/ocm:default is unavailable. REC-ACTION: Run 'svcs -xv svc:/system/ocm:default' to determine the generic reason why the service failed, the

location of any logfiles, and a list of other services impacted. Please refer to the associated reference document at http://sun.com/msg/SMF-8000-YX for the latest service procedures and policies regarding this diagnosis.

障害発生:

problem-diagnosed


Email Notification 診断内容やアップデートの通知をサポート(例-smtp_2)

Date: Sun, 19 Aug 2012 17:46:23 +0900 (JST) From: No Access User <noaccess@solaris> Message-Id: <201208190846.q7J8kNMj026367@solaris.> X-FMEV-HOSTNAME: solaris X-FMEV-CLASS: list.resolved X-FMEV-UUID: ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 X-FMEV-CODE: FMD-8000-6U X-FMEV-SEVERITY: Minor Reply-To: root@solaris Subject: Fault Management Event: solaris:FMD-8000-6U To: root@solaris Content-Length: 528 SUNW-MSG-ID: FMD-8000-6U, TYPE: Resolved, VER: 1, SEVERITY: Minor EVENT-TIME: Sun Aug 19 17:44:56 JST 2012 PLATFORM: 4170CTO, CSN: R9M32P0, HOSTNAME: solaris SOURCE: fmd, REV: 1.2 EVENT-ID: ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 DESC: All faults associated with an event id have been addressed. AUTO-RESPONSE: All system components offlined because of the original fault have been brought back online. IMPACT: Performance degradation of the system due to the original fault has been recovered. REC-ACTION: No action is required.

障害の解決

problem-resolved


Email Notification 診断内容やアップデートの通知をサポート(例-syslog)

Aug 19 17:46:23 solaris fmd: [ID 377184 daemon.notice] SUNW-MSG-ID: FMD-8000-6U, TYPE: Resolved, VER: 1, SEVERITY: Minor

Aug 19 17:46:23 solaris EVENT-TIME: Sun Aug 19 17:44:56 JST 2012 Aug 19 17:46:23 solaris PLATFORM: 4170CTO, CSN: R9M32P0, HOSTNAME: solaris Aug 19 17:46:23 solaris SOURCE: fmd, REV: 1.2 Aug 19 17:46:23 solaris EVENT-ID: ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 Aug 19 17:46:23 solaris DESC: All faults associated with an event id have been addressed. Aug 19 17:46:23 solaris AUTO-RESPONSE: All system components offlined because of the original fault have been

brought back online. Aug 19 17:46:23 solaris IMPACT: Performance degradation of the system due to the original fault has been

recovered. Aug 19 17:46:23 solaris REC-ACTION: No action is required.

障害の解決

problem-resolved


Email Notification 診断内容やアップデートの通知をサポート(例-3)

root@solaris:/usr/lib# fmadm faulty -u ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 --------------- ------------------------------------ -------------- --------- TIME EVENT-ID MSG-ID SEVERITY --------------- ------------------------------------ -------------- --------- 8月 19 17:44:56 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 SMF-8000-YX major Host : solaris Platform : 4170CTO Chassis_id : R9M32P0 Product_sn : Fault class : defect.sunos.smf.svc.maintenance Affects : svc:///system/ocm:default ok and in service Problem in : svc:///system/ocm:default repaired Description : A service failed - the instance is restarting too quickly. Response : The service has been placed into the maintenance state. Impact : svc:/system/ocm:default is unavailable. Action : Run 'svcs -xv svc:/system/ocm:default' to determine the generic reason why the service failed, the location of any logfiles, and a list of other services impacted. Please refer to the associated reference document at http://sun.com/msg/SMF-8000-YX for the latest service procedures and policies regarding this diagnosis.

root@solaris:/usr/lib# fmdump TIME UUID SUNW-MSG-ID EVENT 8月 19 17:44:56.8725 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 SMF-8000-YX Diagnosed 8月 19 17:46:23.2414 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-4M Repaired 8月 19 17:46:23.2439 ccf2cb98-75b0-e82e-b4f7-a0c68b215ab7 FMD-8000-6U Resolved



パニック発生後の再起動にて、障害ログおよび通知が生成される

– 障害ログにパニックメッセージおよびスタックトレース情報が含まれる

カーネルパニックは、下記 MSG-ID にて通知

– SUNOS-8000-KL - Kernel Panic [ID 1173706.1]

パニックに関する通知の強化


Solaris 11: New Fault Management Features # fmadm –Vp –u fb2b23db-8f75-ee79-a91e-ece2ecbd9354

TIME UUID SUNW-MSG-ID 1月 09 2012 08:10:03.036954000 fb2b23db-8f75-ee79-a91e-ece2ecbd9354 SUNOS-8000-KL TIME CLASS ENA 1月 09 2012 08:10:02 ireport.os.sunos.panic.dump_available 0x0000000000000000 1月 09 2012 08:08:53 ireport.os.sunos.panic.dump_pending_on_device 0x0000000000000000 nvlist version: 0 version = 0x0 class = list.suspect uuid = fb2b23db-8f75-ee79-a91e-ece2ecbd9354 code = SUNOS-8000-KL diag-time = 1326064202 814436 de = fmd:///module/software-diagnosis fault-list-sz = 0x1 __case_state = 0x1 topo-uuid = bf74c336-dd8f-e381-e0a5-f7c03e42527b fault-list = (array of embedded nvlists) (start fault-list[0])

nvlist version: 0 version = 0x0 class = defect.sunos.kernel.panic certainty = 0x64 asru = sw:///:path=/var/crash/.fb2b23db-8f75-ee79-a91e-ece2ecbd9354 resource = sw:///:path=/var/crash/.fb2b23db-8f75-ee79-a91e-ece2ecbd9354 savecore-succcess = 1 dump-dir = /var/crash dump-files = vmdump.0 os-instance-uuid = fb2b23db-8f75-ee79-a91e-ece2ecbd9354 panicstr = BAD TRAP: type=d (#gp General protection) rp=ffffff0011e4a950 addr=0 panicstack = unix:die+131 () | unix:trap+3b2 () | unix:cmntrap+e6 () | nvidia:_nv002206rm+113 () | crashtime = 1326008412 panic-time = 2012年01月08日 16時40分12秒 JST (end fault-list[0]) fault-status = 0x1 severity = Major __ttl = 0x1 __tod = 0x4f0a224b 0x233df90



非大域ゾーンにて Fault Manager の動作をサポート

– svc:/system/fmd:default

ソフトウェア障害検知のみに特化させる

– 非大域ゾーンの Fault Manager の役割は、SMF インスタンスの監視

– ハードウェア障害は、大域ゾーンの FMD にてカバーできるため

IPS パッケージのインストールが必要

– pkg:/solaris/system/fault-management/smtp-notify

– pkg:/solaris/system/fault-management/snmp-notify

非大域ゾーンのサポート



OS だけではなく、HW 側にも実装される Fault Management Architecture

– Solaris Fault Manager

– ILOM FMA Software Stack (ILOM, XSCF)

SMF(Service Management Facility) との連携によりソフトウェアとハードウェアの可用性を最大化する

他社システムでは実現できない、予測的自己修復機能を実現

– Solaris + Oracle HW の優位性

OS と HW を提供できる、Oracle だからこそ可能な技術

– ハードウェアとソフトウェアに、真の自己修復機能実現

まとめ


参考情報

Oracle Solaris の管理: 一般的なタスク >第 8 章障害管理の使用 http://docs.oracle.com/cd/E26924_01/html/E25810/glgki.html#scrolltoc

Fault Management Community http://hub.opensolaris.org/bin/view/Community+Group+fm/WebHome

Oracle Solaris 11: New Fault Management Features http://hub.opensolaris.org/bin/view/Community+Group+fm/Solaris11FCS

Self-Healing in Modern Operating Systems http://queue.acm.org/detail.cfm?id=1039537

http://docs.oracle.com/cd/E26924_01/html/E25810/glgki.html

http://hub.opensolaris.org/bin/view/Community+Group+fm/WebHome

http://hub.opensolaris.org/bin/view/Community+Group+fm/Solaris11FCS

http://queue.acm.org/detail.cfm?id=1039537


参考情報

fault management daemon の実装について http://hub.opensolaris.org/bin/download/Community+Group+fm/WebHome/FMDPRM.pdf

– fmtopo(topology snapshot ), fminject (event error injector), Debugging など、様々な情報を掲載

デバイスドライバの記述 (Writing Device Drivers)

– 障害管理アーキテクチャーの入出力障害サービス

http://docs.oracle.com/cd/E24845_01/html/E22201/fmaiofs.html#scrolltoc

– FMA をデバイスドライバに実装する方法などを解説

Fault Management Daemon Programmer's Reference Manual

http://hub.opensolaris.org/bin/download/Community+Group+fm/WebHome/FMDPRM.pdf

http://docs.oracle.com/cd/E24845_01/html/E22201/fmaiofs.html


参考情報

Eversholt compiler and other utilities (ESC)

– # pkg install system/fault-management/eversholt-utilities

EFT module

– /usr/platform/`uname –i`/lib/fm/eft (platform specific)

– /usr/lib/fm/eft

Eversholt Fault Tree Description Language Document http://hub.opensolaris.org/bin/download/Community+Group+fm/WebHome/EVERSHOLT.pdf

source directory for the eversholt fault diagnosis technology http://cvs.opensolaris.org/source/xref/onnv/onnv-gate/usr/src/cmd/fm/eversholt/

Eversholt Fault Tree Description Language

http://hub.opensolaris.org/bin/download/Community+Group+fm/WebHome/EVERSHOLT.pdf

http://hub.opensolaris.org/bin/download/Community+Group+fm/WebHome/EVERSHOLT.pdf

http://cvs.opensolaris.org/source/xref/onnv/onnv-gate/usr/src/cmd/fm/eversholt/





参考情報

PSARC 2002/412 Solaris Fault Management Architecture (FMA)

PSARC 2003/089 Solaris Fault Management Daemon

PSARC 2004/694 Update to Solaris FMA Event Protocol and Resource

Identification

PSARC 2004/807 FMA Event Registry

PSARC 2005/754 FMA SNMP Agent

PSARC 2005/755 FMA Transport Layer


参考情報

製品情報とダウンロード

– oracle.co.jp/solaris

Oracle Technology Network

– http://www.oracle.com/technetwork/jp/server-storage/solaris11/overview/index.html

System administrators community

– oracle.com/technetwork/systems

@ORCL_Solaris

facebook.com/SolarisJP

SlideShare.net/SolarisJP

SlideShare.net/SolarisJPNight (Solaris ナイトセミナー資料)

solaris ディープダイブセミナー #4: a-3 障害管理アーキテクチャー solaris fault...

Technology

revisiona2b0chassis0motherboard0hba0bay0disk0

id1145bdyc2cchassis0motherboard0

id1145bdyc2cchassis0sp0

access user

brought back

exceeded acceptable

fault management

fault management