1_overall

Control-M新世代數位業務自動化

Product Consultant

黃駿逸

2017.11.091

國家產業創新獎

卓越中堅企業

讓批次排程變敏捷

[email protected]

以金融單位為例，批次作業複雜

2

Process 1…

Web Services

Java

(EOD close)

Process 2…(ATM Transaction

Management)

工作排程面臨的具體問題

3

無法對未來情況進行預測

發生故障時難以及時發現問題

依賴人工對作業結果驗證

無法對所有運行作業行全面統一監視難以對作業運行結

果進行集中統計

無法有效控制系統負載

跨系統作業間邏輯關係複雜無法實現

大量手動干預帶來人為錯誤

重新手動運行失敗的程序浪費大量的時間

人工調度存在安全隱患

業務調度和系統維護調度經常產生衝突

Control-M 集中控管批次作業

4

ftp sftp PGP ssh

Web Services Java

第四世代自動化

5

Monolithic

Client–Server

Web e-commerce

[Waterfall]

APPLICATIONS

INFRASTRUCTURE

MobileIOT

Cloud [Agile]

CENTRALIZED

ADAPTIVE

DECENTRALIZED

FLEXIBLE

Job Scheduling

Workload Automation

Batch Processing

Digital Business Automation

Distributed

Virtualized

Mainframe

Software-Defined

Digital Business Automation

INFRASTRUCTURE

新世代批次作業面臨的挑戰

6

Digital Business

Automation

多樣性的平台

加速應用系統作業部署

資料異質性高

多樣性的平台解決方案

7

Managed File TransferBuild, schedule, and manage file

transfers within in a single system via an ecosystem-wide

dashboard view

Automation APIBuild job flows in JSON,

and manage them together with other applications in a source code environment

On the CloudProvision, install,

configure, and scale up / down automation

environments to meet changing business needs

Self-ServiceSubmit and monitor jobs

through an easily-understandable interface

(incl. mobile) without interfacing with IT.

For HadoopDevelop, schedule, manage,

monitor, and integrate Hadoop workflows within a single,

centralized system.

Application Integrator

Extend workflow automation solutions to any application via

a simple, web-based design tool.

Batch Impact Manager

Automatically detect delays and errors in workflows, and

extrapolate those errors to see a system-wide impact

Workload Change Manager

Build workflows that automatically adhere to enterprise-wide standards

Control-M

資料異質性高解決方案

8

Managed File Transfer

Build, schedule, and manage file transfers within in a

single system via an ecosystem-wide dashboard

view

Automation APIBuild job flows in JSON,








For HadoopDevelop, schedule,

manage, monitor, and integrate Hadoop

workflows within a single, centralized system.

For DatabasesConnect Control-M to any

database using JDBCcompliant drivers for a

single view to all database jobs


Extend workflow automation solutions to any application

via a simple, web-based design tool.


Automatically detect delays and errors in workflows, and extrapolate those errors to see a system-wide impact

Control-M

加速應用系統作業部署解決方案

9

Managed File Transfer

Build, schedule, and manage file transfers within in a single system via an ecosystem-wide

dashboard view

Automation APIBuild workflows in JSON,








For HadoopDevelop, schedule, manage,

monitor, and integrate Hadoop workflows within a single, centralized system.

Workload Change Manager

Build workflows that automatically adhere to enterprise-wide

standards


Extend workflow automation solutions to any application

via a simple, web-based design tool.

Batch Impact ManagerAutomatically detect delays and

errors in workflows, and extrapolate those errors to see a

system-wide impact

Control-M

排程使用工具調查

10

0.0%

5.0%

10.0%

15.0%

20.0%

25.0%

30.0%

35.0%

40.0%

目前用何種軟體或方式進行

排程控制

0.0%

10.0%

20.0%

30.0%

40.0%

50.0%

60.0%

70.0%

目前批次作業管理有遭遇的

困擾

53%

21%

26%

是否有建置排程控

管機制的計畫

是否不清楚

Why Control-M

11

簡單

Source: Gartner Report 2012

單一強大

Source: Gartner Report 2014

Why Control-M

12

簡單單一強大

Source: EMA Radar 2016

批次作業的生命週期

13

開發人員

作業新增/修改

批管人員

作業/流程設計

OP

監控/異常處理

歷史紀錄

報表功能

預測未來流程

Planning

MonitoringHistory

Forecast

Reporting

Facility

需求單

Batch Impact

Manager

Control-M Change

Manager

單一介面滿足所有需求

14

作業設計

作業監控

歷史資料

未來預測

警訊中心

日曆管理

負載平衡


15

開發人員

作業新增/修改

批管人員

作業/流程設計

OP

監控/異常處理

歷史紀錄

報表功能

預測未來流程

Planning

MonitoringHistor

y

Forecas

t

Reporting

Facility

作業設計–跨系統/平台/應用程式

16

DatabasesReal Time Applications

Web ServicesMessaging

Java

UNIX Cloud Enablement

Windows Z/OS ERP Applications

File TransfersiSeries直覺、簡單

Time Driven Event Driven

滿足彈性的排程要求

多組萬年曆

多樣化的排程年、季、月、週

工作/日曆日

跨國、跨時區

假日排除

提前、延後、

跳過

啟動時間限制

如1:00~6:00

定時重複執行

17

警訊主動通知 – 多種服務水平判斷

18

告警發送

Control-M 告警視窗

Control-M Log

使用者E-Mail

整合其他系統

判斷：

執行OK／NOTOK、重新執行

逾時執行／結束

高於／低於平均執行時間

排程自動化

19

依動態結果Return Code與System Output，執行不同的復原或後續動作，減少人工的介入

Exit code 8

JOB-

A

JOB-

B

JOB-

C

Exit code 16+ “DB Corrupted”

Restart-DB

“DB Error”

Clear-

DBRoll-

Back

JOB-D

JOB-D


20

開發人員

作業新增/修改

批管人員

作業/流程設計

OP

監控/異常處理

歷史紀錄

報表功能

預測未來流程

Planning

MonitoringHistor

y

Forecas

t

Reporting

Facility

顏色區分批次作業狀態

21

作業執行紀錄/訊息

2222

Log：執行記錄

Sysout：Job Output

Statistics：統計記錄

批次影響管理Batch Impact Manager

23

2:30 am

關鍵作業–必須於 06:30 前完成

UNIX_Scri

pt

AS400_proces

s

Java_proce

ss

Win.bat

ERP_proces

sFTP

Web_Servic

e

Java_proce

ssWin.bat

Web_Servic

e

AS400_proces

s

FTP

Win.bat

DB_Backu

p

MF_process

ERP_proce

ss

ERP_proce

ss

最重要的批次流程在哪裡?

Users_Online

BIM_SLA

動態追蹤所有前置作業狀態

DB_Backu

p

MF_proces

s

AS400_proce

ss

UNIX_Scri

pt

UNIX_Scri

pt

UNIX_Script

FTP

MF_process

Web_Servic

e

Win.bat

UNIX_Scri

pt

FTP

DB_Backu

p

Java_proce

ss

Java_proce

ss

Win.bat

Java_process

UNIX_Script

AS400_process

FTP

還剩下多少安全時間 ?預計執行到何時


24

開發人員

作業新增/修改

批管人員

作業/流程設計

OP

監控/異常處理

歷史紀錄

報表功能

預測未來流程

Planning

MonitoringHistor

y

Forecas

t

Reporting

Facility

各式報表細節一目了然

25


26

開發人員

作業新增/修改

批管人員

作業/流程設計

OP

監控/異常處理

歷史紀錄

報表功能

預測未來流程

Planning

MonitoringHistor

y

Forecas

t

Reporting

Facility

Forecast 分析與預估作業執行

27

產生排程計劃

模擬作業執行

確認作業執行狀況

What-if 變數模擬

服務執行預估

Control-M 系統整合

28

界接其他IT系統

Control-M 應用系統整合模組

作業系統

Control-M 附加元件

29

作業系統

Control-M

•AIX•Solaris•Linux: RHEL, SUSE, Oracle Linux, CentOS,Ubuntu•HP/UX

•Windows server

•Windows desktop

•z/OS • iSeries

•UNISYS

•Tandem

•OpenVMS

•Agentless

Unix Windows Mainframe Others

Control-M 支援各式作業系統

30


31

作業系統



32

Control-M Forecast

預測、模擬未來日期的批次作業流程以及執行時間

Control-M Self-Service

使用者可以在不安裝軟體的情況下利用網頁監控批次作業的執行狀況


定義重要的流程，動態監控流程執行時間以確保流程可以按時結束

Control-M Self-Service

33

網頁介面，不需安裝用戶

端程式

作業狀態呈現方式一致

可比較兩支作業的差異

可做權限控管

與行動裝置結合


34

作業系統



Control-M 應用系統模組

35

串連各種批次環境，提供個別專屬設定

使用應用系統模組的好處

密碼儲存安全，不需另外撰寫程式處理

可擷取作業執行訊息，不需導出至檔案再做處理

統一作業設計介面

直接整合應用系統，不須額外撰寫批次程式

36

MFT 模組

37

提供FTP, FTPS, SFTP 功能

減少FTP Script

Job統一設定

增加檔案完整性判斷

可監控傳檔的進度

File Watcher

Database模組

38

SQL Server

Oracle

DB2

Sybase

PostgreSQL

Any JDBC

Compatible


39

界接其他IT系統


作業系統


常見的Control-M 介接系統

40

ERP

ETL / ODS / 資料倉儲

檔案傳輸

資料庫

核心 / 帳務系統

大數據 / 商業智慧 BI

大型主機

Control-M Workload Automation

41

單一監控介面監控服務流程支援行動裝置完整稽核機制

IBM InfoSphere DataStage

Oracle Business

Intelligence

IBM Cognos

Big Data / Hadoop

Backup

SAP

Workload Discovery

Control-M V9

Workload Change

Manager

Self Service Mobile

Workload Archiving


Usage Reporting

Workload Conversion

Planning Monitoring Forecast HistoryReporting Facility

42

國家產業創新獎

卓越中堅企業 Vital 雲端服務家族GSS 叡揚資訊

謝謝聆聽Q&A

GSS 技術部落格

http://www.cloudgss.com/

