weblogic serverトラブルシューティングのポイント

Copyright © 2013, Oracle and/or its affiliates. All rights reserved. 1

WebLogic Server トラブルシューティングのポイント

日本オラクル株式会社オラクルユニバーシティ岡田大輔 2013年12月19日


以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。


はじめに

WebLogic Serverがスローダウン / ハングする

– データソースの接続先のデータベースからの応答が悪くなる

– プロセスのCPU使用率が100%近くなり応答が返らない

Javaヒープ使用量が徐々に増え続けていく

WebLogic Serverがクラッシュする (Coreを吐く)

WebLogic Serverが起動しない

よくあるWebLogic Serverのトラブル …

原因の特定には適切な情報収集が不可欠！


トラブルシューティングに必要な情報を集める


トラブル発生時に集めるべき情報は？

WebLogic Serverの設定情報

WebLogic Serverのログ情報

JVMのスレッドダンプ

診断イメージキャプチャ

Flight Recorder

手がかりとなる情報を集める



WebLogic Serverの構成情報は、ドメイン単位で保持される

設定情報

ドメイン

マシン

マシン

クラスタ

管理対象サーバー



アプリケーション

セキュリティ

診断モジュール

管理サーバー

JDB

C データソース

永続ストア

ログ etc

ログ etc

ログ etc

ログ etc

トランザクション

NM

NM

設定ファイルトランザクション

JMSモジュール

JMSサーバー

$DOMAIN/config



WebLogic Serverのログファイル

– サーバーログ … <DOMAIN>/servers/<server_name>/logs/<server_name>.log

WebLogic Serverのアクティビティが記録されるログファイル。

– ドメインログ … <DOMAIN>/servers/<admin_server>/logs/<domain_name>.log

サーバーログを集約したもの。障害調査ではあまり使わない。

– HTTPログ … <DOMAIN>/servers/<server_name>/logs/access.log

クライアントからのアクセスを記録。拡張フォーマットを使うとリクエスト処理時間も取得可能

ログ情報 TIPS: 拡張フォーマットの設定方法 ( [サーバー]-[ロギング]-[HTTP] ▼詳細 )

1. フォーマットを拡張に変更

2. 拡張ロギング・フォーマットのフィールドを指定

date time c-ip s-ip cs-method cs-uri cs-uri-query sc-status bytes time-taken



サーバーの標準出力ログ

– サーバーログの一部は

標準出力にも出力される

– スレッドダンプやJVMの

GCログなどが出力される

ログ情報

運用環境では標準出力はファイルにリダイレクトを推奨


Tips: サーバーの標準出力のリダイレクト

サーバーの標準出力のリダイレクトは環境変数 WLS_REDIRECT_LOG

を指定する

startWebLogic.sh(cmd)を編集

WLS_REDIRECT_LOGの設定を追記


サーバーログのフォーマット

サーバーログの属性の一部は標準出力にも表示される

– Formatted Timestamp, Severity, SubSystem, Message ID, Message Text

– Transation IDやDiagnostic Context IDが存在しない場合は山括弧のみ出力

####<2013/12/15 9時26分37秒 JST> <Notice> <WebLogicServer> <DAOKADA-JP>

<AdminServer> <Main Thread> <<WLS Kernel>> <> <> <1347927997496> <BEA-000365> <サーバー状態がRUNNINGに変化しました。>

####<Formatted Timestamp> <Severity> <SubSystem> <Machine Name> <Server Name> <Thread ID> <User ID> <Transaction ID> <Diagnostic Context ID> <Raw Time value> <Message ID> <Message Text>


サーバーログの重大度

Severity 説明ドメインログ

TRACE 診断フレームワークからのメッセージ

DEBUG デバッグメッセージ(Debug=ONの場合)

INFO 通常の処理を通知するために使用する低レベルの情報メッセージ

NOTICE 重要度の高いINFOメッセージ ○

WARNING 問題のあるオペレーションまたはコンフィグレーションがあったが、通常のオペレーションに支障は生じない

○

ERROR ユーザエラーが発生したことを示す。システムまたはアプリケーションでは、割り込みやサービスの限定的な低下を起こすことなくエラーに対処できる

○

CRITICAL システムエラーまたはサービスエラーが発生したことを示す。システムを回復できるが、サービスの一時的な損失や永久的な低下が発生する場合がある

○

ALERT システムの特定のサービスだけが使用不能の状態にある。自動回復を実行できない。この問題を解決するには管理者がすぐに措置を講じる必要がある

○

EMARGENCY サーバが使用不能な状態にある。この重大度は、重大なシステム障害または問題があることを示す

○

NOTICE以上のメッセージはデフォルトでドメインログに転送される

低

高


Tips: Message IDの確認方法 WebLogic Server Error Message Reference

http://docs.oracle.com/cd/E28613_01/doc.1211/e26117/chapter_bea_messages.htm


Tips: デバッグ情報サーバー単位で設定可能

デバッグ出力例: DebugJDBCSQL(コンソール:weblogic→jdbc→sql→DebugJDBCSQL/WLST ServerDebugMBean) ####<2013/12/15 15時43分43秒 JST> <Debug> <JDBCSQL> <DAOKADA-JP> <ManagedServer1> <[ACTIVE]

ExecuteThread: '4' for queue: 'weblogic.kernel.Default (self-tuning)'> <<anonymous>> <BEA1-00036DDE372208547105> <1b7e5955c26b51de:29038235:142f4fe00cd:-8000-000000000000003e> <1387089823815> <BEA-000000> <[[weblogic.jdbc.wrapper.JTAConnection_weblogic_jdbc_wrapper_XAConnection_oracle_jdbc_driver_LogicalConnection-hrDataSource-4, oracle.jdbc.driver.LogicalConnection@2460cd3]] prepareStatement(SELECT EMPLOYEE_ID, COMMISSION_PCT, DEPARTMENT_ID, EMAIL, FIRST_NAME, HIRE_DATE, JOB_ID, LAST_NAME, MANAGER_ID, PHONE_NUMBER, SALARY FROM EMPLOYEES WHERE (FIRST_NAME LIKE ? OR LAST_NAME LIKE ?))>

デバッグ属性を選択して

有効化 or 無効化



GC … JVMによる使用済みメモリ領域を回収する機構

– GCは高コストな処理

スローダウンやハングの原因になる場合もある

メモリ管理方式はJVM実装によって異なる

GCログ

Old space Eden

New space

Su

rviv

or

Su

rviv

or Perm Old space Nursery

[HotSpot] [JRockit]


Tips: GCログオプション

説明 HotSpot JRockit

GCログ -verbose:gc -verbose:gc

GCログ(詳細) -XX:+PrintGCDetails -Xverbose:gcreport

-Xverbose:gcpause

GCのタイムスタンプ出力 -XX:+PrintGCTimeStamps (サーバー起動からの経過時間)

-Xverbosetimestamp

GCログをファイル出力 -Xloggc:<file_name> -Xverboselog:<file_name>

[gcpause][Tue May 21 10:42:45 2013][04868] [YC#25] [---] 26.105 ms (1236.973000-1236.999000) YC [gcpause][Tue May 21 10:42:45 2013][04868] [YC#25] [con] 0.002 ms (1236.973000-1236.973000) YC:PreGC [gcpause][Tue May 21 10:42:45 2013][04868] [YC#25] [pau] 26.062 ms (1236.973000-1236.999000) YC:Main [gcpause][Tue May 21 10:42:45 2013][04868] [YC#25] [con] 0.008 ms (1236.999000-1236.999000) YC:PostGC

[gcpause][Tue May 21 10:42:45 2013][04868] [OC#1] [---] 45.613 ms (1236.999000-1237.045000) OC [gcpause][Tue May 21 10:42:45 2013][04868] [OC#1] [con] 0.004 ms (1236.999000-1236.999000) OC:PreGC [gcpause][Tue May 21 10:42:45 2013][04868] [OC#1] [pau] 44.730 ms (1236.999000-1237.044000) OC:Main [gcpause][Tue May 21 10:42:45 2013][04868] [OC#1] [con] 0.810 ms (1237.044000-1237.045000) OC:PostGC



スレッドダンプとは

– JVMで実行中のスレッドのスナップショット

スレッドがどんな処理を実行しているのか？

– JVMの標準機能

WebLogic Serverの障害解析以外でも活用可能

標準出力(/標準エラー出力)に出力される

Javaスレッドダンプ

スレッドダンプはシステムに負荷をかけずに情報収集できる最良のツール

スレッドダンプ取得時は

一定間隔で複数回取得


スレッドダンプの取得方法

OS

– CTRL + BREAK / wlsvc -dump -svcname:service-name (Windows)

– kill -3 <pid> (Linux/UNIX)

WLST

– ThreadDump()

JVM

– jstack <pid> (HotSpot)

– jrcmd <pid> print_threads (JRockit)

Tips: Javaプロセスのpidは jps コマンドで確認 (HotSpot/Jrockitどちらでも使用可能)


スレッドダンプの取得例 JRockitの場合

複数のサーバーを起動している場合は

–lv オプションでクラスの完全名と

起動オプションを表示してpidを識別

ファイルへのリダイレクトは追記(>>)

の方が便利。一定間隔で複数回取得


スレッドダンプ出力例(1) JRockitのスレッドダンプ

"[ACTIVE] ExecuteThread: '4' for queue: 'weblogic.kernel.Default (self-tuning)'" id=55 idx=0xc8 tid=7484 prio=2 alive, waiting, native_blocked, daemon -- Waiting for notification on: weblogic/work/ExecuteThread@0x0000000007F5DC78[fat lock] at jrockit/vm/Threads.waitForNotifySignal(JLjava/lang/Object;)Z(Native Method) at java/lang/Object.wait(J)V(Native Method) at java/lang/Object.wait(Object.java:485) at weblogic/work/ExecuteThread.waitForRequest(ExecuteThread.java:205) ^-- Lock released while waiting: weblogic/work/ExecuteThread@0x0000000007F5DC78[fat lock] at weblogic/work/ExecuteThread.run(ExecuteThread.java:226) at jrockit/vm/RNI.c2java(JJJJJ)V(Native Method) -- end of trace "[ACTIVE] ExecuteThread: '21' for queue: 'weblogic.kernel.Default (self-tuning)'" id=73 idx=0x110 tid=9956 prio=2 alive, native_blocked, daemon at dummy/web/Dummy1Servlet.doGet(Dummy1Servlet.java:38)[optimized] at javax/servlet/http/HttpServlet.service(HttpServlet.java:731)[optimized] at javax/servlet/http/HttpServlet.service(HttpServlet.java:844)[optimized] … (途中略) …

at weblogic/work/ExecuteThread.execute(ExecuteThread.java:256)[optimized] at weblogic/work/ExecuteThread.run(ExecuteThread.java:221) at jrockit/vm/RNI.c2java(JJJJJ)V(Native Method) -- end of trace

アイドルスレッド

実行中のスレッド


スレッドダンプ出力例(2) JRockitのスレッドダンプ

"[ACTIVE] ExecuteThread: '8' for queue: 'weblogic.kernel.Default (self-tuning)'" id=51 idx=0xb8 tid=14820 prio=2 alive, native_blocked, daemon at sun/security/provider/SecureRandom.engineNextBytes(SecureRandom.java:208)[optimized] ^-- Holding lock: sun/security/provider/SecureRandom@0x000000001BB2DC10[thin lock] at java/security/SecureRandom.nextBytes(SecureRandom.java:433)[inlined] at java/util/UUID.randomUUID(UUID.java:159)[inlined] at dummy/ejb/Dummy2Bean.processQuery(Dummy2Bean.java:48)[optimized] ^-- Holding lock: java/security/SecureRandom@0x000000001BB2DBD0[fat lock] … (途中略) …

at jrockit/vm/RNI.c2java(JJJJJ)V(Native Method) -- end of trace "[ACTIVE] ExecuteThread: '4' for queue: 'weblogic.kernel.Default (self-tuning)'" id=47 idx=0xa8 tid=7528 prio=2 alive, blocked, native_blocked, daemon -- Blocked trying to get lock: java/security/SecureRandom@0x000000001BB2DBD0[fat lock] at jrockit/vm/Threads.waitForUnblockSignal()V(Native Method) at jrockit/vm/Locks.fatLockBlockOrSpin(Locks.java:1411)[optimized] at jrockit/vm/Locks.lockFat(Locks.java:1512)[optimized] at jrockit/vm/Locks.monitorEnterSecondStageHard(Locks.java:1054)[optimized] … (途中略) …

at weblogic/work/ExecuteThread.run(ExecuteThread.java:221) at jrockit/vm/RNI.c2java(JJJJJ)V(Native Method) -- end of trace

ブロック中の

スレッド

(ロック保持中)

ブロックされた

スレッド

(ロック取得待ち)

Tips: スレッドダンプの解析はツールを活用

侍 , Thread Dump Analyzer , ThreadLogic

http://samuraism.jp/samurai/ja/index.html

http://mchr3k.github.io/javathreaddumpanalyser/

https://java.net/projects/threadlogic


スレッドダンプの解析 ThreadLogic

2つのスレッドダンプの

差分や長時間実行中の

スレッド情報を表示可能グループ定義とアドバイザリ定義

に従ってスレッド情報を表示可能

(定義はカスタマイズ可能)



WLDF診断イメージキャプチャはWebLogic Serverの状態を単一のアーティファクトとして出力

– コンフィグレーション、ログ情報、ワークマネージャ、サブシステム(JMS,

JDBC, EJB, JNDI)のイメージやJVM情報(ヒープ状態、スレッドダンプ)など

トラブル原因の解明に必要な情報をまとめて取得可能

– 手動もしくはルールに基づいた自動キャプチャが可能

WLDF診断イメージキャプチャ


診断イメージキャプチャに含まれるもの必要なものはすべて含まれる

イメージキャプチャの出力先: <DOMAIN>/servers/<server_name>/

logs/diagnostic_images


診断イメージキャプチャの取得方法管理コンソールを使った取得

次のイメージキャプチャが

取得できるまでの

ロックアウト時間


Tips: WebLogic Server診断フレームワーク WebLogic Server全体を監視、診断するための機能

監視データを生成する仕組み

構成情報や解析に必要な情報を統合的に取得する仕組み

監視対象の設定と通知の仕組み

監視データを取得する仕組み

監視データを

画面表示する

仕組みインスツルメンテーション

データパブリッシャ

データプロバイダ

(MBean)

イメージキャプチャ

データをファイルとして出力する仕組み

アーカイバ

ロガー

ハーベスタ

監視と通知

アクセサ


障害時に集めるべき情報は？

スレッドダンプやGCログはトラブル解決に有益だが…

– トラブルが発生した瞬間に取得できるわけではない

– 必要な情報が得られない場合もある

Java Flight Recorder

– トラブル解決に必要な情報を常時記録可能 (=本番環境でも低負荷)

– JVMからアプリケーション(+WLS)まで幅広い情報を記録

必要なときに情報が得られるか？

トラブルの確実な原因を「遡って」追跡可能に

トラブルの発生から改善までのサイクルと手間を大きく短縮に


Java Flight Recorder 全ては記録される

WebLogic Server

Mission Control

WLDF イベントイベント

Disk File

古いデータ

WLST

Applicatio

n Application WebLogic

JVM

Runtime

jrcmd/jcmd

ダンプ解析

ダンプ依頼

ダンプ依頼

ダンプ

ルールに基づくダンプトリガー

ダンプ依頼

イベント

診断イメージ

キャプチャダンプ依頼

Thread Buffer

Global Buffer

新しいデータあふれたら移動

あふれたら移動

Rotating Buffer

Flight Recorder Runtime

FlightRecorder.jfr


WebLogic ServerとFlight Recorderの連携

WebLogic ServerはFlight Recorderとの連携可能

– サーバーで発生したイベントをFlight Recorderに送信

– WLDF診断イメージキャプチャにFlight Recorder記録を含める

WLDF Flight

Recorder

イベント

イメージキャプチャ


Flight Recorderで記録できる情報

各GCフェーズの詳細情報やヒープの増加傾向情報

Servlet/JSP毎、EJB毎等の主要コンポーネントの呼び出しイベント等

各スレッド毎に発生したイベントを記録

（1イベントあたり50～150byte程度）


WebLogic Server イベントの取得サーバーの診断ボリュームを設定

デフォルトの診断ボリュームは低(Low)


Flight Recorder記録の開始

JRockit

– 起動オプション

-XX:FlightRecorderOptions=disk=true -XX:StartFlightRecording=filename=<出力ファイル名>,settings=<テンプレートファイル名>,maxage=<ディスク上に保持する期間>

– jrcmdコマンド

jrcmd <jrockit_pid> start_flight_recording settings=<テンプレートファイル名>

HotSpot

– jcmdコマンド

jcmd <pid | main class> <command | PerfCount.print | -f filename>

Mission Control

– JVMブラウザ → フライト記録の開始…

→テンプレート選択

3つの記録方法

HotSpotは起動オプションに以下を追加

-XX:+UnlockCommercialFeatures -XX:+FlightRecorder


Flight Recorder記録の開始 Mission Control

■ Flight記録のテンプレート(組み込み) - JRockit

•通常のプロファイリング標準的なプロファイリング・イベント。低レベルのイベントやリソース消費が大きい一部のイベントは除外。オーバヘッドは低い。

•ロックを含むプロファイリング通常のプロファイリング・テンプレートに低レベルのロック・イベントが含む。オーバーヘッドは大きい。

•例外を含むプロファイリング通常のプロファイリング・テンプレートにスタック・トレースを伴う例外イベントを含む。オーバーヘッドは通常よりも大きい。

•リアル・タイムガベージ・コレクション情報などメモリー関連の情報に重点を置く。オーバーヘッドは考慮不要。

■Flight記録のテンプレート(組み込み) - HotSpot

•Continuous(連続) 本番環境で連続的に使用しても問題のない低オーバーヘッド構成 (通常は1%未満のオーバーヘッド)

•Profiling(プロファイリング) プロファイリング用の低オーバーヘッド構成 (通常は2%程度のオーバーヘッド)


Flight Recorder記録 Mission Controlでの表示


WebLogic Serverイベント Mission Controlでの表示


WebLogic Serverイベントスレッドごとに発生したイベントを可視化


JRockit Mission Control その他の機能: コンソール

Tips: JMXコンソールは

Java Mission Consoleでも使用可能


JRockit Mission Control その他の機能: MemoryLeak Detector


まとめ

WebLogic Serverが提供する様々な情報を活用する

– 設定情報

– ログ情報

– JVMのスレッドダンプ

– 診断イメージキャプチャ

– Flight Recorder記録

トラブル発生時に情報を集めるには？

やっぱりトラブルシューティングも総合力。

様々な情報を活用してトラブル解決に役立てましょう


まとめ

利点考慮事項

ログサーバーで発生するイベントを時系列で取得可能。トラブル発生時の初期情報の収集に最適。

サーバログ … サーバのアクティビティ

GCログ … GCの発生頻度

HTTPログ … ユーザリクエスト

情報が各ログファイルに分散しているため一元的に情報を把握しにくい

・Enterprise Managerを使用すると横串検索可能

Javaスレッドダンプ JVMで行われているスレッド処理のスナップショットを取得。低負荷のため本番環境でも取得可能。

スレッドダンプはテキスト情報のため必要に応じてデータ加工の必要あり

・侍, ThreadLogicなど各種ツールを活用

WLDFイメージキャプチャサーバーの設定、モニタ情報、ログ、スレッドダンプをまとめて取得可能。WLDFモジュールを設定すればルールに基づいて自動的にイメージキャプチャを取得可能。

イメージキャプチャ取得のオーバーヘッドとディスクサイズを考慮する必要アリ

自動キャプチャにはWLDFモジュールを構成する必要がある

Flight Recorder JVM+WebLogic Serverで発生するイベント詳細レベルで取得。Mission Controlを使用してGUIベースで解析可能。

常時Flight 記録を取得する場合はディスクサイズを考慮する必要アリ

情報収集ツールの比較


オラクルユニバーシティからのお知らせ


Oracle Universityからのお知らせ

WebLogic Serverの管理方法を体系的に学習したい方に最適な研修コースをご提供しています。

– Classroomトレーニングだけでなく、Live Virtual Classや『Oracle トレーニング・オンデマンド』など多様な受講形態から選択いただけます。


Oracle WebLogic Server 11g: 管理コースを90日間いつでも何度でも。

新時代のラーニングソリューション •インターネット経由でお好きな時間にお好きな場所で

• 実際の講義をそのまま収録してストリーミング配信

•教室と同じ演習環境を6日間使用可能

•担当講師による Q&A

•eKit(電子媒体テキスト)付き

Oracle WebLogic Server 11g の学習は Oracle トレーニング・オンデマンドで！

いまなら無償体験版を視聴可能です！


コース内容

■Oracle WebLogic Server概要

■ドメインの作成

■Administration Console

■ドメインのモニタリング

■アプリケーションのデプロイメント

■WebLogic Server セキュリティ

■ドメインのバックアップおよびリカバリ

■WebLogic Serverのインストールおよびパッチ適用

■サーバーの起動および停止

■JDBCデータソースの構成

■ノードマネージャ

■WebLogic Serverクラスタリング

■トランザクション・サービスのコンフィグレーション

受講前提条件・Linux の基本的な操作方法の理解・Java EE の基礎知識（サーブレットや JSP など） ※推奨

対象者・Oracle WebLogic Server 管理者

・Javaアプリケーション開発者

・アーキテクト

コース日程５日間日程の詳細は Oracle University Webサイトにてご確認ください。

受講料定価￥３７４，８５０（税込） ※Oracle PartnerNetwork会員様は、パートナー割引価格で受講いただけます。

Oracle WebLogic Server 12c の運用管理スキルをしっかり習得待望のWebLogic Server 12c(12.1.2)対応研修がいよいよ提供開始です。

このコースでは、アプリケーション・サーバー管理者がOracle WebLogic Server 12cのインストールおよび設定方法を習得することができ

ます。管理コンソールやコマンドラインツール（WLST）などを使用してドメインを構成する方法やJava EEアプリケーションをサーバー

にデプロイする方法についても説明します。さらに、Oracle WebLogic Server のプロキシとしてOracle HTTP Serverを設定し、WebLogic

Serverクラスタによるアプリケーションのフェイルオーバーとロードバランシングをサポートする方法など、環境構築に必要なスキルと

WebLogic Serverのモニタリングやログ情報の収集など運用に必要なスキルを実機演習を通して習得できます。さらに、Oracle WebLogic

Server 12cで強化されたActive GridLink for RACの構成方法やWebLogic Server 12.1.2の新機能である動的クラスタなど注目の新機能もカバ

ーします。

Oracle WebLogic Server 12c：管理 I

ミドルウェア

開催日程 ■2014/1/20(月) – 1/24(金) トレーニングキャンパス赤坂

http://education.oracle.com/pls/web_prod-plq-dad/db_pages.getCourseDesc?dc=D58682JP10




キャンペーンのご案内1:

OCJP Gold SE 7 試験限定再受験可能受験チケット発売

万が一試験に不合格になってしまっても同一試験に再挑戦可能な受験チケットを特別販売します。この機会にJava認定資格に挑戦してみてください！

– 対象試験:

Java SE 7 Programmer II (1Z0-804) / Upgrade to Java SE 7 Programmer(1Z0-805)

– 販売期間: 2013年12月2日(月) ～ 2014年2月28日(金)

枚数限定(200枚)販売につき予定数に達した場合は販売を終了します。予めご了承ください

OCJP Gold SE 7 試験受験を検討されている皆さまに朗報です！

お問い合せはオラクルユニバーシティまで

http://www.oracle.com/jp/education/ Tel: 0120-155-092


キャンペーンのご案内2:

OCJP Silver SE 7 試験成績上位 20 名様に受験チケットプレゼント

期間中にOCJP Silver 試験に合格された成績上位者20名様にOCJP Gold SE 7資格試験に使用可能な受験チケットをプレゼントします。この機会にJava認定資格に挑戦してみてください！

– 対象者:

2014年1月1日(水)～3月31日(月)までに、Java SE 7 Programmer I (1Z0-803) 試験に合格しOracle Certified Programmer, Silver SE 7 資格を取得された方

対象者が20名を超える場合は抽選となります。予めご了承ください。

OCJP Silver SE 7 試験受験を検討されている皆さまにも朗報です！

お問い合せはオラクルユニバーシティまで

http://www.oracle.com/jp/education/ Tel: 0120-155-092

weblogic serverトラブルシューティングのポイント

Technology