Lee at MOS Asia

SMARTSIGHTSANDBIGDATA

부서별 사용

특화리포트

QOS/ 포렌식 /BI

통합모니터링

빅데이터 BIZ - 고객과의 눈높이 ..

원인분석 /트레이싱

빅데이터

현업 / 지속활용

예측 / 전사 활용

smallBig

smart

all

Data

End-to-End APM>

4Global Field Enablement - Copyright © 2014 Splunk, Inc.

뱅킹 애플리케이션 아키텍처

4

Loans&Credits

FX Import / ExportDeposit (TD,DD) FBS Securities Promissory

Notes

MerchantChequesNBS EFT

DAL

Batch Operations

ATM

POS

Teletel

Telerom

Teller (Branch)

Internet Banking

Phone Banking

Internet Shopping

PCM CampaignManagement

Credit RiskManagement Productivity

CIF Product Factory PortfolioManagement

INFO

CENTER

Sales SupportSystem YKB HRPaymentsCMS Treasury

Relationship Management

Deliv

ery

Serv

ices

Management & Control

Reporting

Info

rmati

on

Deliv

ery

Settlement

GL / Accounting

Corporate Tables

5Global Field Enablement - Copyright © 2014 Splunk, Inc.

PIB 아키텍쳐의 샘플 개요

5

Internet Banking Application

Back-end Con-nector

Put/Get messages

Business Ser-vices

Business Ser-vices Gover-nance Application

Server

Back-end mes-sage queue manager

Back-end mes-sage queue manager

Database

Communicates

Store data

Uses / Calls

Monitors

ManagesPut/Get messages

6Global Field Enablement - Copyright © 2014 Splunk, Inc.

스플렁크 도입 전 – 해결 과제

6

로그는 중앙 로그 서버에 저장된– 액세스 로그인이 필요 . 고객에 로그온할 때 , 그는 실제로 10 개의 다른

시스템을 통해 서비스 접속 문제 해결 중 , 하나의 연속적인 세션에 서로 다른 로그

구성 요소를 젤하기 쉽지 않다 . 필요한 정보를 'grep' 하는 복잡한 스크립트를 작성해야

– 어렵고 시간이 소요 - 건초 더미에서 바늘을 찾으려고 . 문제를 해결하려면 , 한사람이 응용 프로그램 및 로깅

흐름을 모두 이해해야 합니다 .

7Global Field Enablement - Copyright © 2014 Splunk, Inc.

스플렁크 도입 후 – 서비스 향상

7

지원 팀을 위한 아주 간단한 인터페이스 생성

지원팀은 PIB 서비스 문제가 발생하는 고객의 이름을 입력하기만 하면 됩니다 .

고객이 PIB 서비스를 사용했을 때 Splunk 는 사용자의 활동의 엔드 - 투 – 엔드 뷰를 수행합니다 .

즉각적인 원인 파악

8Global Field Enablement - Copyright © 2014 Splunk, Inc.

이기종 분산 시스템에서 엔드 - 투 – 엔드 뷰

8

Request-ing App

MessageBroker

MQ App

accountNumber=COT6037774908, host=10.34.50.48, messageDetails=Begin posting mes-sage to content store

Requesting App

accountNumber=COT6037774908 threadID=“46321 transactionStatus="COMPLETE”

Message Broker

46321: An ItemNotFoundException occurred: Queue_ID_9

MQ App

Tracking transaction across differ-ent components across the infra-structure

9

2010-03-24 11:28:54,301 [WEB] INFO messageType = POST, messageStatus = INIT, accountNumber = COT6037774908, host = 10.34.50.48, messageDetails = Begin posting message to content store

2010-03-24 11:28:54,322 [WEB] INFO messageType = POST, messageStatus = TASK, accountNumber = COT6037774908, host = 10.34.50.48, messageDetails = Opening connection to host: [ www.contentstore.com:80 ]

2010-03-24 11:28:54,397 [WEB] INFO messageType = POST, messageStatus = TASK, accountNumber = COT6037774908, host = 10.34.50.48, messageDetails = Connection established to host: [ www.contentstore.com:80 ]

2010-03-24 11:28:54,474 [WEB] INFO messageType = POST, messageStatus = TASK, accountNumber = COT6037774908, host = 10.34.50.48, messageDetails = Writing message to host: [ www.contentstore.com:80 ]

<TRANSACTION date=”24032010 11:28:54,797" activityCode="1010" sequenceNumber="100198887" accountNumber="COT6037774908” threadID=”46321" callerID="MAR10209LA" transactionStatus=”FAILURE" result=”FATAL" host="10.34.51.91" comment="Invocation of Content API for sequenceNumber 100198887 failed” >

이기종 분산 시스템에서 엔드 - 투 – 엔드 뷰

웹 서비스 이상 분석

10

WEB 서버 - 서버 OS

환경- 시스템 로그- Web 로그

Load Balancer

WAS 서버 - 서버 OS

환경- 시스템 로그- WAS 로그- APP 로그

DB 서버 - 서버 OS

환경- 시스템 로그- DB 로그

특화 서버 - 서버 OS

환경- 시스템 로그- APP 로그

시스템 명령어 내역 , 시스템 로그 , APP 로그 , DB 데이터 등 총 200+ 관리 포인트 발생

Inter-nal Server Er-ror

?문제발생

500에러 발생

WAS 2 문제

DB 3 문제

11

서비스 이상 분석서비스 이상 분석

외부 인터넷데이터

서비스시스템

미들웨어오류

문제 IP 세션정보

유해 감염 정보

서비스 정보

문제 외부 IP

사용자 ID

WHO IS 의 외부 DB

문제 IP프로세스

문제 IP

Data-base

여러 이종의 데이터의 복합 검색 및 분석의 요구사항 충족

123.23.56.45 문제의 IP 검색

비정형 데이터분석>

인터넷

내부 정보

증권사 사이트주요 신문 사이트

일반 개인 및 PDA 서비스

스포츠건강 , 의학

지역정보 , 예술

뉴스 , 미디어비즈니스 , 경제

사회 , 문화

학문 , 과학

엔터테인먼트

수집정보제공

수집 정책 관리 www.daum.netwww.yahoo.co.krwww.naver.comwww.paran.com

스켸쥴관리웹정보 수집(DB, HTML, 워드문서 , 동영상 , 이미지 등 )

특정 URL특정 정보 수집

수집 지시

웹정보 Dead Checker

& Update Checker

URL DB

원문 DB수집 DB저장

DB 관리

스플렁크의 정형 / 비정형 수집 모듈iRS Apps

비정형화된 Data(WEB, Twitter, Facebook 등… ) 를 IRS InfoCature, iDocuFilter 를 이용하여 형태소 분석 후 스클렁크에 인덱싱하여 분석 , 대쉬보드 , 경고 , 리포팅 기능을 수행한다 .

형태소분석

비정형 데이타

Text Data

ex) 대한민국은 세계최강의 IT 강국중의 하나이다

ex) 대한민국은 세계최강의 IT 강국중의 하나이다 | 대한민국 | 한국 | 세계 | 최강 |IT| 강국

추이 , 민감도 ,감성 , 소셜등

분석

스플렁크의 정형 / 비정형 분석iRS Apps

비정형화된 Data 를 Splunk 시스템에 인덱싱하여 대쉬보드 , 리포트 , Splunk APP 로 구성

Dashboard Report Splunk APP

비정형 데이터

정형 데이터 (OLAP)

WEB, SNS, 외부 의료 약품 정보

JOIN

비정형 데이터

HTTP /FTP/SCP날씨정보

………………의료 ,약품정보

날씨정보………………

날씨정보………………의료 ,

약품정보의료 ,약품정보

사용자Visualization

InfoCap-ture

통합 데이터 플랫폼Splunk

iDocuFilter

스플렁크의 정형 / 비정형 분석iRS Apps

센서 : 보행자 , 수량 , 수위 , 교통량 , 지하수

DB : 예산 , 회계 , 사건 사고 , 범죄 , 조례 , 법규

외부기관 : 소방 , 화재 , 지도 , 날씨 , 지질정보 , 토양 , 농작물 / 수산 정보

소설 : 웹 크롤링 , 트위터 , 페이스북 , 소셜 사이트 정보

예산 삭감에 따른 범죄율 및 사고 증감의 상관 관계출산율과 건강교육과의 상관 관계화재발생화 질병 발생률 간의 상관 관계지자체 간의 강수량에 따른 침수 및 홍수 발생 관계………

민원 : 민원 데이터

웹 : 서비스 포텅 및 서비스 데이터

정책 DB : 상위 기관 정책 , 내부 지역 정책지역민들의 최근 관심의 대상인 정책 사안 파악중앙기관 정책에 따른 지역민들의 반응 및 동향 분석과거 언론 보도에 따른 지역 이슈들의 상관 관계 및 통계 분석….….….

각종 언론 매체

스플렁크의 공공 데이터 분석

사례 – 소셜 / 검색 분석

검색어 모니터링

Splunk 를 활용하여내부전문가가 즉각적인 Visual 분석을

통해 이슈를 해결

빅데이터 플랫폼의 지속적인 활용

+

Successful Ingredient of Data Analysis

19

MachineData

+

Splunk Plat-form Analysis

LogicData

Science

Very Satisfied Customer

같은 생각 /행동

다른 결과