從網路層到應用服務層 的大數據分析: 資安應用、商業分析, 一 … · fit...

49
© 2018 SPLUNK INC. 『金融數位轉型』 即時營運分析 Jesse Chen 資深技術諮詢顧問 Splunk, Taiwan

Upload: others

Post on 22-Oct-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

  • © 2018 SPLUNK INC.

    『金融數位轉型』即時營運分析

    Jesse Chen

    資深技術諮詢顧問

    Splunk, Taiwan

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    2

  • © 2018 SPLUNK INC.

    企業『數位轉型』的趨勢

    智慧汽車 E化醫療 E化政府服務數位音樂

    線上購物 線上訂房網站服務數位金融 行動App收集的資料來源,越來越豐富

    相對也越來越困難,去找出『含金量高』的資訊( Data Rich Insight Poor )

  • © 2018 SPLUNK INC.

    過往企業決策基於上個月、上週、昨天的資料

    企業應該透過即時資料去營運企業

    如何有效即時收集、利用『機器資料 』資料分析是 企業數位轉型的成功秘方

  • © 2018 SPLUNK INC.

    以『即時資料分析』營運企業,敏捷支援數位轉型

  • © 2018 SPLUNK INC.

    透過『機器資料』實現 金融業數位轉型、持續創新

    AI機器學習

    實體環境管理

    即時商業分析

    雲端服務管理

    資訊安全防護

    社群媒體資訊收集

    防偽冒防詐欺

    即時大數據收集、營運智慧分析平台

    行動App金融服務

    自有 IT 機房基礎設施管理

    網路基礎架構

    網站、全通路金融服務

    個人資料保護

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    7

  • © 2018 SPLUNK INC.

    Splunk 一網打盡 將 『機器資料』 轉換成 『商業價值』Turning Machine Data Into Business ValueReal-time Index Data: Any Source, Type, Volume Ask Any Question

    應用服務管理Application Delivery

    即時 商業分析Business Analytics

    On-Premises

    Private Cloud

    Public

    Cloud

    Storage

    Online

    Shopping Cart

    Telecoms

    Desktops

    Security

    Web

    Services

    Networks

    Containers

    Web

    Clickstreams

    RFID

    Smartphones

    and Devices

    Servers

    Messaging

    GPS

    Location

    Packaged

    Applications

    Custom

    Applications

    Online

    Services

    DatabasesCall Detail

    Records

    Energy MetersFirewall

    Intrusion

    Prevention

    • 全球 16,000+ 付費客戶 ( 85+ of Fortune 100) • 台灣 300+ 付費客戶

    • 每天收超過TB的客戶超過數百家,最大每天收 4.0+ PB網路層

    應用服務層

    公司治理、防詐欺Compliance and Fraud

    日誌管理 和 資安事件管理Log Mgmt. and SIEM

    IT 維運IT Operations

  • © 2018 SPLUNK INC.

    ORDER, 2016-05-21T14:04:12.484,10098213,569281734,67.17.10.12,1688.00. B8322,SA-2100

    MAY 21 14:04:12.996 wl-01.acme.com Order 569281734 failed for customer 10098213.

    Exception follows: weblogic.jdbc.extensions.ConnectionDeadSQLException:

    weblogic.common.resourcepool.ResourceDeadException: Could not create pool connection. The

    DBMS driver exception was: [BEA][Oracle JDBC Driver] Error establishing socket to host and port:

    ACMEDB-01:1521. Reason: Connection refused

    05/21 16:33:11.238 [CONNEVENT] Ext 1207130 (0192033): Event 20111, CTI Num:ServID:Type

    0:19:9, App 0, ANI T7998#1, DNIS 5555685981, SerID 40489a07-7f6e-4251-801a-

    13ae51a6d092, Trunk T451.16

    05/21 16:33:11:242 [SCREENPOPEVENT] SerID 40489a07-7f6e-4251-801a-13ae51a6d092

    CUSTID 10098213

    05/21 16:37:49.732 [DISCEVENT] SerID 40489a07-7f6e-4251-801a-13ae51a6d092

    {actor:{displayName: “Go Boys!!”,followersCount:1366,friendsCount:789,link:

    http://dallascowboys.com/,location:{displayName:“Dallas, TX”,objectType:“place”},

    objectType:“person”,preferredUsername:“B0ysF@n80”,statusesCount:6072},body: “Can’t buy

    this device from @ACME. Site doesn’t work! Called, gave up on waiting for them to answer! RT if

    you hate @ACME!!”,objectType:“activity”,postedTime:“2016-05-21T16:39:40.647-0600”}

    數位轉型的過程,產生的『機器資料』長得像什麼?SOURCES

    Order Processing

    Twitter

    Care IVR

    Middleware Error

  • © 2018 SPLUNK INC.

    透過這些『資訊』可以串連起來,產生不同的『商業價值』SOURCES

    Order Processing

    Twitter

    Care IVR

    Middleware Error

    客戶帳號 訂單編號 產品編號

    ORDER, 2016-05-21T14:04:12.484,10098213,569281734,67.17.10.12,1688.00. B8322,SA-2100

    MAY 21 14:04:12.996 wl-01.acme.com Order 569281734 failed for customer 10098213.

    Exception follows: weblogic.jdbc.extensions.ConnectionDeadSQLException:

    weblogic.common.resourcepool.ResourceDeadException: Could not create pool connection. The

    DBMS driver exception was: [BEA][Oracle JDBC Driver] Error establishing socket to host and port:

    ACMEDB-01:1521. Reason: Connection refused

    05/21 16:33:11.238 [CONNEVENT] Ext 1207130 (0192033): Event 20111, CTI Num:ServID:Type

    0:19:9, App 0, ANI T7998#1, DNIS 5555685981, SerID 40489a07-7f6e-4251-801a-

    13ae51a6d092, Trunk T451.16

    05/21 16:33:11:242 [SCREENPOPEVENT] SerID 40489a07-7f6e-4251-801a-13ae51a6d092

    CUSTID 10098213

    05/21 16:37:49.732 [DISCEVENT] SerID 40489a07-7f6e-4251-801a-13ae51a6d092

    {actor:{displayName: “Go Boys!!”,followersCount:1366,friendsCount:789,link:

    http://dallascowboys.com/,location:{displayName:“Dallas, TX”,objectType:“place”},

    objectType:“person”,preferredUsername:“B0ysF@n80”,statusesCount:6072},body: “Can’t buy

    this device from @ACME. Site doesn’t work! Called, gave up on waiting for them to answer! RT if

    you hate @ACME!!”,objectType:“activity”,postedTime:“2016-05-21T16:39:40.647-0600”}

    訂單編號

    Twitter帳號

    客戶帳號

    客戶帳號

    Customers Tweet

    1688.00

    購買金額

    67.17.10.12

    來源 IP 店家編號

    B8322

    B0ysF@n80

  • © 2018 SPLUNK INC.

    Splunk 特性:不限格式的資料先收,讀取時才產生欄位(Schema at Read)

    SQL Search

    Schema at Write Schema at Read

    Traditional Splunk

    ETL Universal Indexing

    Volume Velocity Variety

    UnstructuredStructured

    RDBMS

  • © 2018 SPLUNK INC.

    12

  • © 2018 SPLUNK INC.

    即時資料收集、資料分析、視覺化、儀表板,一步到位

    13

  • © 2018 SPLUNK INC.

    Splunk 各式大數據即時收集、應用分析,在『數位轉型』針對不同使用者,提供全面的360度商務價值

    Fit the Core Splunk Intelligence Platform to the needs of specific key stakeholders

    Machine Data

    Intelligence

    Platform IT Ops Intelligence Platform

    Security Intelligence Platform

    Customer Analytics Platform

    + Security Content

    Audience: VP, IT Ops

    Audience: CSO

    Audience: VP Sales/Mktg,VP, PM /

    Business Users CEO,

    CMO,

    COO,

    CIOtogether address

    all key CxO

    responsibilities:

    • Corporate

    Strategy

    • Decision Making

    • Time to Market

    • Ops Excellence

    • Protect Info

    Assets

    • Contribute to Biz

    執行長、行銷長、營運長、資訊長

    IT 維運部門、AP部門

    資安部門

    業務單位、行銷部門

  • © 2018 SPLUNK INC.

    100+ 國家,16,000+ 個客戶,最大客戶每日收 4.0+ PB85 + of the Fortune 100

    Technology Travel and Leisure

    ManufacturingGovernment

    Education

    Healthcare

    Telecommunications

    Energy and Utilities

    Media

    Financial Services and Insurance

    Retail

    Cloud and Online Services

  • © 2018 SPLUNK INC.

    可支援企業分散式即時機器資料收集和分析架構

    Search head and job server

    總公司

    澳洲

    亞洲

    美洲

    歐洲

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    17

  • © 2018 SPLUNK INC.

    金融業各式數位通路, IT 維運智慧管理 儀表板

    19

  • © 2018 SPLUNK INC.

    全球知名證券公司(高頻交易IT基礎建設)Enabling High Performance Global Trade Infrastructure

    Trading infrastructure - thousands of transactions across many applications and silos

    (What is each transaction worth?)

    In-depth visibility across silos:– Troubleshoot cross-silo problems within seconds

    – Improves system uptime with predictive capacity alerts

    – Understand user trends

    – Improve user experience

    – Accelerates trade processing times

    – Report back to management

    Leading European Financial

    FirmToday, we run threshold-based alerts to address issues before they cause downtime.

    Team Lead Trading Infrastructure

  • © 2018 SPLUNK INC.

    透過 Splunk 即時調查 數位轉型 各式服務系統的問題(Production Issue Investigation )

    21

    How Splunk is Used

    Alerts on application errors

    Quick Root Cause Analysis

    Correlate to system utilization

    Correlate to Corporate Asset DB

  • © 2018 SPLUNK INC.

    提早預知未來PREDICTIVE

    主動偵測PROACTIVE

    有效找到問題EFFECTIVE

    不只協助快速找到問題,也做到『主動偵測』『預知未來』

    Machine Learning

    改善 客戶體驗Improve Customer

    Experience

    最小化 系統當機Minimize Outage

    提升 商業和IT維運Enhance Business & IT

    Operations

    加速創新Accelerate Innovation

  • © 2018 SPLUNK INC.

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    24

  • © 2018 SPLUNK INC.

    台灣知名銀行:各式應用系統即時監控、使用分析、應用資安分析

    25

    網路銀行、行動銀行

    實體分行企業戰情中心 信用卡、理專系統、ATM、補摺機

    防偽冒分析、應用層的防詐欺分析

  • © 2018 SPLUNK INC.

    知名金融業: 網路銀行、行動銀行 App 即時監控和分析

  • © 2018 SPLUNK INC.

    知名信用卡、線上支付 : 交易、成功率分析、追蹤調查

    27

    TxnVolume

    ResponseTime

    SuccessfulRate

    ReturnCode

    其他知名美國、中國第三方支付服務也是 Splunk 客戶

  • © 2018 SPLUNK INC.

    28

    虛擬通路交易分析(新版網站下單、行動下單 App) 行動下單 App 即時監控、使用分析

  • © 2018 SPLUNK INC.

    證券業 行動下單 App 即時使用狀況分析

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    30

  • © 2018 SPLUNK INC.

    台灣知名銀行: 資訊安全應用、應用服務監控、行銷活動監控(網路設備、資安設備、防火牆、重要伺服器、重要端點設備)

    網路設備、資安設備的監控分析

    重要應用服務的服務監控、使用分析

    重要資安事件即時告警

    重要行銷活動服務監控、服務管理

  • © 2018 SPLUNK INC.

    資訊安全和法規遵循(Security & Compliance)

    33

  • © 2018 SPLUNK INC.

    知名銀行:應用資安管理、網銀 AP面 防偽冒即時監控

  • © 2018 SPLUNK INC.

    Splunk Reducing Fraud To Protect Your MoneySplunk 降低金融詐騙,確保企業的金錢

    Perform Multi-factors

    Analysis

    提供多因子分析

    Instantly Identify Possibility of Fraud

    立即辨識詐欺可能性

    Factors and Patterns Profiling Potential Hackers

    針對可疑駭客科學記錄使用行為

    Provide Real-Time Respond to Business

    針對 關鍵業務提供 即時有效反應

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    36

  • © 2018 SPLUNK INC.

    監控各種存取資料,以符合『個資法』之證據保全

    不用事先定義資料欄位,不用客製化連接器,不用資料庫,不需要事先過濾

  • © 2018 SPLUNK INC.

    某金融業者:客服中心 存取『個人資料』的稽核監控Call Cetner, WAF, Web Tier (IIS) , DB Audit

    39

  • © 2018 SPLUNK INC.

    某金融業: 內部 所有員工存取『個人資料』的稽核監控(Web Tier, Application Tier, DB Tier)

    40

  • © 2018 SPLUNK INC.

    證明

    已執行GDPR

    安全控制措施

    檢測、防止

    和調查

    資料洩漏情況

    提供

    個人資料處理的

    調查和報告

    Splunk 同時也可以協助 GDPR 的範圍和項目包含:項目: 15, 17, 18, 21, 22, 28, 30, 32, 33, 34, 58, 82

  • © 2018 SPLUNK INC.

    GDPR 『視覺化』『流程圖化』的 即時監控儀表板

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    43

  • © 2018 SPLUNK INC.

    『一網打盡』 的 銀行全通路 客戶使用軌跡即時收集

    44

    ATM

    系統

    各式網路服務系統

    行動App

    系統

    電話客服中心系統

    分行系統

    理專系統動態行銷系統

    提款機 電子(帳單)電子(DM)

    網路銀行、網路ATM各式電子網路服務

    行動 APP(手機、平板)

    客服中心 實體分行、櫃檯服務 財富管理服務

    信用卡系統

    信用卡

    - 初期從金融服務各式伺服器端、網路設備 收集

    - 未來可直接客戶終端設備收集

  • © 2018 SPLUNK INC.

    金融業: 即時全通路銀行使用概況監控、應用分析

  • © 2018 SPLUNK INC.

    證券業 電子下單(網站、手機App) 即時交易軌跡分析

  • © 2018 SPLUNK INC.

    47

    新電商平台(保險 3.0 、新險種) 即時銷售分析(保單金額、險種、網頁點擊、廣告成功率)

    IT Infra 監控(伺服器效能)

  • © 2018 SPLUNK INC.

    客戶使用裝置、點選廣告分析、使用區域分析

    分析廣告總點閱率、QR點閱率、Link 點閱率

    紙本QR掃描成功比率分析 紙本QR掃描成功比率分析 Link 點選成功比率分析 Link 點選成功比率分析

    看每天點選廣告的排行熱門廣告排行 以區域分析 裝置排行榜

  • © 2018 SPLUNK INC.

    金融業、證券業 客戶的 360度 全通路使用狀況分析

  • © 2018 SPLUNK INC.

    內容大綱

    金融業在進行『數位轉型』,面臨的問題和需求

    Splunk『一魚五吃』大數據平台– 第一吃:全通路的 IT 基礎建設管理– 第二吃:各式應用服務管理(行動App、網站服務)– 第三吃:新世代資安事件管理平台– 第四吃:客戶個資的保護– 第五吃:即時商業分析(行銷活動、即時360度客戶分析)

    提問與討論

    50

  • © 2018 SPLUNK INC.

    Splunk 一魚五吃 大數據平台,協助企業數位轉型即時營運分析 ,『機器資料』 轉換成 『企業價值』

    Real-time Index Data: Any Source, Type, Volume Ask Any Question

    應用服務管理Application Delivery

    即時 商業分析Business Analytics

    On-Premises

    Private Cloud

    Public

    Cloud

    Storage

    Online

    Shopping Cart

    Telecoms

    Desktops

    Security

    Web

    Services

    Networks

    Containers

    Web

    Clickstreams

    RFID

    Smartphones

    and Devices

    Servers

    Messaging

    GPS

    Location

    Packaged

    Applications

    Custom

    Applications

    Online

    Services

    DatabasesCall Detail

    Records

    Energy MetersFirewall

    Intrusion

    Prevention

    • 全球 16,000+ 付費客戶 ( 85+ of Fortune 100) • 台灣 300+ 付費客戶

    • 每天收超過TB的客戶超過數百家,最大每天收 4.0+ PB網路層

    應用服務層

    公司治理、防詐欺Compliance and Fraud

    日誌管理 和 資安事件管理Log Mgmt. and SIEM

    IT 維運IT Operations

  • © 2018 SPLUNK INC.

    即時 ,可以立即 問任何問題、得到你要的答案( Any Question, Any Data, In Real Time. )

    單一平台,多重用途Single Platform,

    Many Lenses

    開發平台、應用套件Open Ecosystem

    混合雲架構Hybrid

    高效能、延展性Performance at

    Scale

    人工智慧Artificial

    Intelligence