micro focus solutions business manager 效能測試結果 · 測試當中,200...
TRANSCRIPT
Micro Focus Solutions Business Manager 效能測試結果作者:RT Tangri。2015 年 4 月 24 日
White PaperSolutions Business Manager
目錄 頁碼
本文目標讀者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1測試方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1執行時期測試架構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
負載測試情境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3關於資料集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6效能測試結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7其他資訊 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1www.microfocus.com
本文目標讀者
本文是為系統管理員,或其他想知道 Micro Focus® Solutions Business Manager
10.1.5.1 效能測試結果的讀者所寫。本文所討論的測試結果為內部部署使用 Windows
2008 R2 及 Oracle 11gR2 的 Micro Focus Work Center 共 200 名虛擬使用者的測試
結果。
測試方法
在私人企業效能測試實驗室使用 HP 的 LoadRunner 12.00 進行測試。本次測試
測量應用程式回應時間、輸送量與系統資源使用量,採用 200 名虛擬使用者負載
及大型的企業資料集,每次交易之間設定 10 秒鐘的暫停思考時間。此次測試於
LoadRunner 建立虛擬使用者 (每五秒新增一名虛擬使用者,直到獲得所需的負載程
度) 製造負載,以模擬使用者活動。每一名虛擬使用者均執行程序檔預先定義的工
作,並傳送特意設計的 HTTP 要求。接著由 LoadRunner 使用線串執行模式建立個
別虛擬使用者的複數執行例項,在 SBM 應用程式產生負載及同步運算作業。在
測試當中,200 名虛擬使用者均各自執行效能測試套件的每一個使用案例 (交易)
600 次。本次測試所使用的程序檔與資料集請另外來信索取。
執行時期測試架構
此效能測試使用五部不同的 64 位元伺服器,在分散式 SBM 安裝中執行。此環境中
包含一組專用的 Micro Focus License Manager 安裝,擁有 80,000 份授權:
伺服器 1 – SBM Application Engine Web 伺服器 (Win2008R2-IIS 7 或 Win2012R2-IIS 8.5) 配備 8GB 記憶體
伺服器 2 – SBM JBoss1:單一簽入、SBM 郵件服務、SBM 協調化引擎,配備 8GB 總記憶體,其中 4GB 記憶體配置給 JBoss
2
White PaperMicro Focus Solutions Business Manager 效能測試結果
伺服器 3 – SBM JBoss2:SBM 通用服務 (智慧搜尋、資源管理、關係服務、 SSF 服務) 配備 8GB 總記憶體,其中 4GB 記憶體配置給 JBoss
伺服器 4 – SBM 記錄服務 (Mongod64) 配備 8GB 總記憶體
伺服器 5 – Oracle 11gR2 資料庫配備 16GB 總記憶體
_______________________________________________________________
注意:第 10.1.5.1 版的 SBM 組態設定程式讓您能在不同伺服器上安裝 SBM 記錄服務
(MongoDB)。作為效能測試的一部分,我們會在不同伺服器上安裝 SBM 記錄服務,
測量直接處理 200 名虛擬使用者負載所造成的影響。通常僅建議當您計畫要將記錄
等級設為 TRACE 進行除錯時,才使用此組態。
_______________________________________________________________
3www.microfocus.com
負載測試情境
負載測試模擬在 200 名虛擬使用者執行常見工作的狀況下進行調整。此測試利用可
讓團隊追蹤產品瑕疵的標準瑕疵追蹤應用程式,重現瑕疵自提交、核准以至於指派的
生命週期。每一個項目通過此流程之時,系統均會加上備註與附件。通知伺服器則透
過 SMTP 傳送電子郵件至測試用的 SMTP 郵件伺服器儲存庫。在系統上執行活動、
待處理項目,及行事曆摘要共用檢視,以及共用的多檢視窗報告儀表板檢視。
測試執行方式是以 20 分鐘為基線,由固定 200 名各自獨立的虛擬使用者進行。
每一件使用案例 (LoadRunner「交易」) 之間思考時間為 10 秒鐘 (例外:來自
Micro Focus Work Center 的交易會在 60 秒思考時間後進行索引交易;90 秒
思考時間後進行通知交易)。此效能工作流程由下列動作所構成:
於複數執行線串中執行 LoadRunner 虛擬使用者
200 名不同的虛擬使用者以單一簽入登入 vuser_init 中的 Work Center
重複執行循環 (瑕疵追蹤應用程式) 使用案例
200 名不同的虛擬使用者透過單一簽入從 vuser_end 中的 Work Center 登出
Work Center (SBM 應用程式引擎) 使用案例虛擬使用者初始化時,對大型企業資料集執行的 Work Center 使用案例:
Web SSO Login
VUser Init Notification Remove All
Settings Save Preferred Project
Settings Save Items Per Page 40 And Notification Poll Interval 90 Second
SWC Home Add Report Widget (使用多檢視窗報告 #1)
SWC Home Add Activity Widget (使用我的活動)
虛擬使用者退出時,對大型企業資料集執行的 Work Center 使用案例:
SWC Home Delete Report Widget (使用多檢視窗報告 #1)
SWC Home Delete Activity Widget (使用我的活動)
VUser End Notification Remove All
Web SSO Logout
4
White PaperMicro Focus Solutions Business Manager 效能測試結果
每一名虛擬使用者對大型企業資料集重複執行的 Work Center 使用案例:
Submit-Form
Submit-Form OK (提交項目)
ransition Owner In
Defect Tracking Activities Tab
Defect Tracking My Activity After Owner IN
Defect Tracking Shared Activity Feed View After Owner IN
Defect Tracking Calendars Tab
Defect Tracking My Calendar
Defect Tracking Shared Calendar Feed View After Owner IN
Transition Owner Out
Transition Owner Out Ok
Transition Secondary Owner In
My Activity After Secondary Owner In
Shared Activity View All Items I Own Primary and Secondary
Transition Secondary Owner Out
Transition Secondary Owner Out Ok
Transition-SyncTest (進行同步 AE Web 服務呼叫)
AddNote
Add Attachment In Note (從磁碟附加 27KB JPEG 檔案)
AddNote-Ok (含有 HTML5 標籤的文字加上 27KB JPG 與 2KB 備註)
AddAttachment
AddAttachment-OK (從磁碟附加 11KB .txt 檔案)
Email_Link
Email_Link SearchUser
Email_Link-OK (訊息含有 HTML5 標籤)
Transition Assign To CCB
Transition Assign To CCB OK
Transition Assign To Area Owner
Transition Assign To Area Owner OK
Social View Of BUG
5www.microfocus.com
BUGID Lucene Text Search
BUGStar Lucene Text Search
BUGIDStar Lucene Text Search
Attachment Lucene Text Search
TitleDescription Lucene Text Search
TitleDescriptionStar Lucene Text Search
Submitter Lucene Text Search
User Profile Card
Contact Card AD Client Logging
Add then Delete From Favorites
PinUp Defect Tracking (應用程式)
Select Defect Tracking PinUp
Defect Tracking Manage Views
Defect Tracking My Dashboard
Defect Tracking Shared Dashboard View (使用多檢視窗報告 #1)
Defect Tracking Backlogs Tab
Defect Tracking Shared Backlog Feed View
Report Center
CTOSDS Elapsed Time Duration
CTOSDS Time in State Duration
CTOSDS Average Time To State Duration
CTOSDS Open And Completed Trend
CTOSDS Entering A State Trend
CTOSDS State Activity Trend
Multi-View Report 1
Static Listing For Performance EG
Static Listing For Multi-View Performance
All Issues By Project and State
All Issues by Issue Type
Listing Report
6
White PaperMicro Focus Solutions Business Manager 效能測試結果
All Open Issues
My Open Issues
All Issues by Project and Issue Type
All Issues by State
All Issues by Owner
Notification UI View All
Notification UI MarkRead and Remove N (於每一個通知物件執行)
Each Iteration Notification Remove Al
關於資料集
本次測試所使用的大型企業資料集摘要如下:
注意:資料庫另外包含以下組態設定:
程序 = 300 (新版的應用程式引擎在每一名使用者有更多工作階段時才能執行 Word Center)
READ_COMMITTED_SNAPSHOT = OFF
SBM 實體 數量 工作流程 (定義各項目遵照的程序) 31
專案 (儲存處理項目,如問題與案件) 5,302
使用者 21,100
SBM 群組 138
資料夾 (儲存個人與群組的最愛) 147,570
問題 (處理有工作流程的項目) 1,130,000
聯絡人 (類似通訊錄項目) 20,053
資源 24,249
7www.microfocus.com
效能測試結果
以下圖表為效能測試結果摘要。
平均交易回應時間個別交易的回應時間摘要如下:
測量 最低時間 平均時間 最高時間 ContactCard AD Client Logging 0.009 0.017 0.052
SWC Home Delete Activity Widget 0.035 0.04 0.046
BUGIDStar Lucene Text Search 0.031 0.041 0.052
SWC Home Delete Report Widget 0.037 0.042 0.052
Add Attachment 0.031 0.053 0.096
User Profile Card 0.036 0.058 0.086
User End Notification Remove All 0.043 0.059 0.079
Defect Tracking Backlogs Tab 0.057 0.07 0.092
Defect Tracking My Calendar 0.051 0.083 0.11
Defect Tracking Calendars Tab 0.083 0.096 0.114
Add Note 0.075 0.097 0.133
Email Link Search User 0.058 0.098 0.131
All Open Issues 0.067 0.101 0.146
Listing Report 0.065 0.103 0.173
Notification UI View All 0.09 0.103 0.122
Defect Tracking Activities Tab 0.09 0.105 0.143
TitleDescription Lucene Text Search 0.083 0.11 0.19
續下頁
8
White PaperMicro Focus Solutions Business Manager 效能測試結果
測量 最低時間 平均時間 最高時間 My Open Issues 0.084 0.113 0.148
Notification UI MarkRead and Remove 10 0.092 0.117 0.144
Notification UI MarkRead and Remove 3 0.104 0.117 0.134
Notification UI MarkRead and Remove 6 0.105 0.117 0.131
Notification UI MarkRead and Remove 7 0.106 0.117 0.139
Notification UI MarkRead and Remove 9 0.1 0.117 0.145
Notification UI MarkRead and Remove 2 0.1 0.118 0.145
Notification UI MarkRead and Remove 4 0.102 0.118 0.134
Notification UI MarkRead and Remove 1 0.102 0.12 0.137
Notification UI MarkRead and Remove 5 0.106 0.12 0.145
Notification UI MarkRead and Remove 8 0.105 0.12 0.151
Email Link 0.087 0.121 0.149
CTOSDS Time in State Duration 0.08 0.125 0.188
Add then Delete From Favorites 0.119 0.136 0.159
TitleDescriptionStar Lucene Text Search 0.112 0.152 0.214
CTOSDS Entering A State Trend 0.113 0.193 0.272
Settings Save Items Per Page 40 And Notification Poll Interval 90 Second
0.169 0.209 0.248
Defect Tracking Manage Views 0.191 0.217 0.257
BUGID Lucene Text Search 0.036 0.223 0.758
Static Listing For Multi-View Performance 0.152 0.244 0.321
Email Link OK 0.159 0.246 0.297
Defect Tracking My Activity After Owner IN 0.203 0.282 0.335
My Activity After Secondary Owner IN 0.184 0.282 0.356
Social View Of BUG 0.241 0.286 0.35
Submit Form 0.206 0.323 0.46
Transition Secondary Owner OUT 0.288 0.357 0.425
Add Attachment In Note 0.29 0.358 0.432
Transition Owner OUT 0.266 0.373 0.441
Add Note OK 0.295 0.378 0.47
Transition Assign To Area Owner 0.301 0.409 0.485
Defect Tracking Shared Calendar Feed View After Owner IN
0.323 0.415 0.469
Transition Assign To CCB 0.289 0.415 0.488
Issues by Issue Type 0.34 0.421 0.497
All Issues by Project and Issue Type 0.314 0.421 20,053
All Issues by Owner 0.338 0.426 20,053
All Issues by State 0.336 0.428 20,053
Transition Owner OUT OK 0.354 0.434 0.526
Transition Secondary Owner OUT OK 0.365 0.435 0.523
WebSSO Logout 0.377 0.448 0.551
All Issues By Project and State 0.354 0.449 0.534
PinUp Defect Tracking 0.425 0.469 0.513
Transition Owner IN 0.441 0.513 0.621
Transition Secondary Owner IN 0.419 0.55 0.662
續下頁
9www.microfocus.com
根據紀錄,使用 Oracle 資料庫的提交者在未完成與已完成的趨勢報告,及 SBM 搜尋上有較高的平均回應時間;其他所有交易的平均回應時間均為 2.49 秒或以下。
在提交與轉換表單中的備忘/備註欄啟用富文字編輯器 (Rich Text Editor) 時,未觀察到任何顯著效能衝擊。
測量 最低時間 平均時間 最高時間 Transition Assign To CCB OK 0.44 0.555 0.65
Add Attachment OK 0.465 0.566 0.668
Report Center 0.496 0.583 0.688
Submit Form OK 0.484 0.642 1.411
Attachment Lucene Text Search 0.558 0.663 0.862
Transition Assign To Area Owner OK 0.519 0.686 0.769
Static Listing For Performance EG 0.463 0.72 0.94
Select Defect Tracking Pin Up 0.481 0.725 0.899
Defect Tracking My Dashboard 0.497 0.745 0.96
Transition Sync Test 0.611 0.784 0.943
Each Iteration Notification Remove All 0.58 0.797 1.056
Defect Tracking Shared Activity Feed View After Owner IN
0.668 0.83 0.957
Shared Activity View All Items I Own Primary and Secondary
0.848 0.979 1.208
BUGStar Lucene Text Search 0.942 1.019 1.43
CTOSDS Elapsed Time Duration 0.868 1.028 1.191
CTOSDS State Activity Trend 0.902 1.074 1.256
Multi-View Report 1 0.873 1.11 1.287
Defect Tracking Shared Dashboard View 0.886 1.128 1.378
Settings Save Preferred Project 0.985 1.236 2.019
WebSSO Login 1.084 1.262 2.183
VUser Init Notification RemoveAll 1.122 1.542 2.443
SWC Home Add Report Widget 1.516 1.735 2.08
Defect Tracking Shared Backlog Feed View 1.374 1.843 2.474
CTOSDS Average Time To State Duration 1.794 2.208 2.569
SWC Home Add Activity Widget 2.223 2.492 2.825
Submitter Lucene Text Search 3.192 3.289 3.478
CTOSDS Open And Completed Trend 3.641 4.395 5.047
10
White PaperMicro Focus Solutions Business Manager 效能測試結果
每秒交易次數
以下為 SBM 中同步執行的 HTTP 每秒交易次數摘要:
每秒交易位元組
以下為 SBM 中同步執行的 HTTP 每秒交易位元組摘要:
11www.microfocus.com
200 名虛擬使用者負載同步執行的交易數量以下為 SBM 中同步執行的 HTTP 交易數量摘要:
Web 伺服器處理器使用率以下為 Web 伺服器處理器使用率摘要:
Web 伺服器處理器使用率
12
White PaperMicro Focus Solutions Business Manager 效能測試結果
Web 伺服器記憶體使用率以下為 Web 伺服器記憶體使用率摘要:
Web 伺服器線串數以下為 Web 伺服器線串數摘要:
13www.microfocus.com
Web 伺服器處理數以下為 Web 伺服器處理摘要:
Web 伺服器虛擬位元組以下為 Web 伺服器虛擬位元組摘要:
14
White PaperMicro Focus Solutions Business Manager 效能測試結果
通用服務處理器使用率
以下為通用服務處理器使用率摘要:
通用服務記憶體使用率
以下為通用服務記憶體使用率摘要:
15www.microfocus.com
通知伺服器處理器使用率
以下為通知伺服器處理器使用率摘要:
通知伺服器記憶體使用率
以下為通知伺服器記憶體使用率摘要:
16
White PaperMicro Focus Solutions Business Manager 效能測試結果
資料庫伺服器處理器使用率
以下為資料庫伺服器處理器使用率摘要:
資料庫伺服器記憶體使用率
以下為資料庫伺服器記憶體使用率摘要:
17www.microfocus.com
SBM 記錄服務處理器使用率以下為 SBM 記錄服務 (mongod64) 處理器使用率摘要。請注意主動診斷記錄層級設
為 INFO:
SBM 記錄服務記憶體使用率以下為記錄服務記憶體使用率摘要。請注意主動診斷記錄層級設為 INFO:
18
White PaperMicro Focus Solutions Business Manager 效能測試結果
關係服務效能
單一 Neo4J 執行例項 (非叢集化)、JBoss 3GB 緩衝區 + Neo4J 1GB 緩衝區,預設 10
工作線串的結果摘要如下:
最初負載 Neo4J Java CPU% 峰值為 25% (最需要處理器的階段)。
最初負載總計 120 萬筆記錄 (輸出為 CSV + 輸入至圖表資料庫),總計費時 108 秒完成。
複製/同步化 TS_CHANGEACTIONS 資料表中的新記錄處理速度為每分鐘 2,400 筆記錄。
在 1,137,446 筆記錄 (及 14,118,424 組關係) 之時,Neo4J 資料庫的磁碟使用狀況為 3.9GB。
智慧搜尋索引程式效能
以 4 GB 通用服務 Java 緩衝擊執行智慧搜尋索引程式 (Lucene) 結果摘要如下:
最初製作索引或重新製作索引的操作均已成為多線串。6 個工作線串執行很快即依序完成所有主要資料表。
經過最初製作索引或重新製作索引後,索引程式每 30 秒 (預設) 定期輪詢資料庫,以更新其索引資料存入 TS_CHANGEACTIONS 資料表的新記錄,而此則可透過 Work Center 搜尋。
最初製作 TTT_ISSUES 資料表索引 1,102,276 個項目,總計費時 2 小時 6 分鐘完成 (indexdir 資料夾大小為 230MB)。
最初製作 TTT_ISSUES 資料表索引 1,102,276 個項目的衝擊:通用服務 Java CPU 增加 18%、通用服務 Java Working Set 增加至 720MB。
索引程式於 17 分鐘 45 秒後完成更新 46,357 項變更項目。
從 TS_CHANGEACTIONS 資料表新記錄更新索引的衝擊:通用服務 Java CPU 增加 2%、通用服務 Java Working Set 增加至 457MB。
其他資訊
請注意下列效能測試資訊:
組態注意事項 若於配備 8GB 記憶體的 64 位元系統啟用主動診斷中的 TRACE 記錄等級以除錯
SBM 元件,則 mongod64 程序將與 SBM 通用服務爭奪記憶體,導致 JBoss 無法使用已配置的 4GB 緩衝擊。
19www.microfocus.com
SBM 設定程式中使用預設效能設定進行負載測試:
– 通知:伺服器強制傳送 = 關
– 協調化限速 = 關
在安裝 SBM 通用服務的伺服器上,將索引程式設定變更以進行 SBM 設定程式的負載測試:
– 模擬搜尋使用率 = 高
– 資料庫輪詢間隔時間 = 30 秒
Oracle ODBC 用戶端連線 Oracle 伺服器的組態秘訣:
– 另一個所使用工作階段數量的變數是視應用程式引擎對 Oracle 11gR2 伺服器建立何種 ODBC 連線。ODBC 要以 Client10 (SSL) 連線或透過 Oracle Advanced Security 連線,即需要在 Oracle 11gR2 伺服器增加程序/工作階段數量。
– 若要避免應用程式申請事件檢視器產生伺服器拒絕連線錯誤,以及避免於 JBoss server.log 產生 JBDC 連線例外,只要將效能實驗室 Work Center 200 名虛擬使用者負載調整為 300 個程序與 400 個工作階段即可:
sqlplus system/testauto@hpq5 > alter system set processes=300 scope=spfile;
確認變更:
sqlplus system/testaut0@hpq5 > show parameters processes; > show parameters sessions;
SBM 10.1.5.1 報告中的瑕疵已提交以下 SBM 10.1.5.1 的 GA 組建瑕疵:
DEF261371 – SWC 效能 200 虛擬使用者預設 W3WP 程序識別指標數量溢漏
DEF267809 – SWC 效能 200 虛擬使用者新增活動小工具 – 在 Oracle 11gR2 反應較佳,超越 SQL Server 2008R2 (非回歸)
DEF267213 – SWC 效能:可編輯的網格檢視報告執行兩次。此問題會導致回應時間與資料庫處理器值增加,但是這並不是回歸。報售於下列時間點執行兩次:
– 使用首頁報告時
– 選用已於 Work Center 釘選為最愛的應用程式時
– 當報告用於我的儀表板時
– 當報告用於共用的待處理項目摘要檢視時
20
White PaperMicro Focus Solutions Business Manager 效能測試結果
效能測試除外項目
效能測試並未包括下列項目:
系統報告交易未包含於 200 虛擬使用者負載測試。
162-TW0092-002 | S | 04/17 | © 2017 Micro Focus。版權所有。Micro Focus 及 Micro Focus 標誌等項目,是 Micro Focus 或 其子公司或關係企業在英國、美國及其他國家/地區的商標或註冊商標。所有其他標記皆為個別擁有者的財產。
www.microfocus.com
台灣+886 2 2376 0000
Micro Focus總公司英國+44 (0) 1635 565200
www.microfocus.com