빅데이터 분석 플랫폼, 스플렁크~~!!

빅데이터 엔진 !스플렁크

Copyright © 2012, Splunk Inc. Listen to your data.

이제 답을 찾아 드리게 되어 기쁩니다 .Up-to-the-minute

dashboards

Searching your way through the dark

Human 생성 데이터1. 고객 정보

2. 물류 및 제조 정보3. 금융 신용 정보 4. 판매 및 거래 기록

RDBMSIT 데이터

엔진

시간적 요인이 적용된 데이터 구조나 포멧을 예측할 수 없는 비 정량화 된 데이터

10011010001011001

1001

1010

0010

1100

1

#&%((&

^()*

*%$#

%&

사용자 거래 내역

사용자 습성

기계의 습성

보안 위협 정보

불법 및 비 허가 활동

내역

데이터 습성

데이터 유형

모든 IT 시스템으로 여러 벤더로 부터 생성된 모든 방대한 종류의 데이터

방대한 양의 데이터

빠른 호출 , 분석 및 상관관계 분석 요구


SELECT customers.* FROM customers WHERE customers.customer_id NOT IN(SELECT customer_id FROM orders WHERE year(orders.order_date) = 2004)

RDBMS/SQL – Early-structure Binding

구조 데이터 Schema – 시스템

구축과 디자인 Queries – 디자인

시점에 정확한 이해를 통한 최적의 Query 정의

단일유형 – 설정된 구조에 맞게 입력하거나 변환이 요구됨

여러 DB 의 구조적 요건을 맞추어야 함


Late-structure Binding

구조 데이터 Schema 가 요구되지

않음 데이터의 속성이

검색과 함께 정의 됨 Queries 나 검색은

그때그때 다이나믹하게 구성

여러 이종의 데이터 수용 – 모든 종류의 Raw 데이터 수용

지속적인 변경을 수용 Conversion 이나

데이터 규격에 따른 제약 조건이 없음 .

eventtype=firewall accept OR allow | top src_port


스플렁크 특허

7

10X-100X Faster “Rare” Search( 블룸 필터 : 데이터 스캔 없이 원하는 데이터 검색 )

Integrated Real-time and Historical Search

( 실시간과 기간을 주고 찾는 검색이 모두 가능 )


이기종 DB 와 데이터 상관 분석 엔진

……

Very Likely Shared Storage

서로 다른 DB 와 데이터에서 데이터를 가져와서 상관분석

A DB 의 데이터의 조건일 때 B DB 의 데이터 검색

많은 시간의 리포팅 작업을 획기적으로 단축

Virtualized &Shared

Network

Oracle DB2Sysbase MS - Sql TEXT Log


스플렁크는 매우 독특한 아키텍쳐를 제공하는 빅데이터 엔진입니다 .

9

Listen to your data.© Copyright 2012, Splunk Inc.

실시간 가시성 실시간 대시보드 이벤트 상관관계 분석 모니터 및 Alerts

성능문제 감시Transaction 감시SLA 감시

3 가지 주요 기능검색

데이터 세부 검색“Needle in a haystack”Root cause 분석 /장애해결

사건 조사 및 관리

과거 분석Baseline 및 임계치 분석

데이터 트렌딩 분석 운영 사후 분석 과거 데이터 패턴 분석

컴프라이언스 분석 및리포트

단일 데이터 스토어 단일 인터페이스 여러 목적의 사용

스플렁크는 지능적인 IT 관리를 제공합니다 .


Raw Data 수집 Universal Index

Terabytes

ScriptsMetrics

RAW DATARAW DATA

Raw Log

Messages

• 다양한 포맷의 Raw데이터를 Rule Set 없이 흡수 .

• 패턴 자동 인식 및 인덱싱 . • 파일시스템에 10:1 압축

저장 .

Configurations

조 건 검 색

연관관계분석

리 포 트

모 니 터 링

알 람

통 계

이종시스템연동

기 타

사용자 정의

Splunk 는 획기적인 데이터 처리 엔진입니다 .스플렁크는 획기적인 Architecture 를 통하여 다양한 조직에 다양한 목적으로 사용됩니다 .


실시간 인덱싱 및 저장

실시간 검색엔진

핵심 모듈Search

LanguageStats/

Analytics Alerts DashboardsReports

개발 UIApplication

ManagementIT OperationsManagement Security Business

AnalyticsCompliance

Access Controls

User Interface APIs SDK

… …

IT Data Sources

Correlate with Other Data Sources

Real-timeNo predefined SchemaMassive Scale

Correlation High Performance

Real-Time MonitoringData DrilldownHistorical Analytics

User-developedSplunk-developedCommunity, Partners

Role-based

Web-based

스플렁크는 아래 핵심기술로 작동됩니다 .


• Web logs• Log4J, JMS, JMX• .NET events• Code and scripts

• Configurations• syslog• SNMP• netflow

• Configurations• Audit/query logs• Tables• Schemas

• Hypervisor• Guest OS, Apps• Cloud

• Configurations• syslog• File system• ps, iostat, top

• Registry• Event logs• File system• sysinternals

Logfiles Configs Messages Traps Alerts

Metrics Scripts TicketsChanges

Linux/UnixWindows NetworkingDatabasesApplicationsVirtualization & Cloud

• Click-stream data• Shopping cart data• Online transaction

data

Customer Facing Data

Outside the Datacenter

• Manufacturing, logistics…

• CDRs & IPDRs• Power consumption• RFID data• GPS data

사전 스키마도 필요없고 , 에이전트도 필요없고 , DB 도 필요없고 , 필터링장치도 필요없습니다 .

모든 데이터를 수집하여 분석하는 엔진입니다 .


perfperf

shellshell

codecode

Mounted File Systems\\hostname\mount

syslogTCP/UDP

WMIEvent Logs

Performance

Active Directory

syslog compatible hostsand network devices

Unix, Linux and Windows hosts

Windows hosts Custom apps and scripted API connections

Local File Monitoringlog files

config filesdumps and trace files

Windows InputsEvent Logs

performance countersregistry monitoring

Active Directory monitoring

virtualhost

Windows hosts

ScriptedInputs

shell scriptscustom parsersbatch loading

Agent-less Data Input Splunk Forwarder

IT Data 를 수집하는 방법은 아래와 같습니다 .


Category TYPESplunk Agent

SSH / TELNET

FTPNFS/SCP/RSYNC

TCP/ UDP

DBI / SQL

Script SNMP

Network Routers 　 O 　　 O 　 O O

　 Switch 　 O 　　 O 　 O O

　 Firewall 　 O 　　 O 　 O O

Servers Linux O O O O 　　 O O

　 AIX O O O O 　　 O O

　 Solaris O O O O 　　 O O

　 Windows O O O O 　　 O O

　 MAC O O O O 　　 O O

　 TANDEM 　 O O O 　　 O O

　 TRU64 　 O O O 　　 O O

　 AS400 　 O O 　　　 O O

　 Mainfreme 　 O O 　　　 O 　Database Oracle O O O O 　 O O 　

　 Informix O O O O 　 O O 　　 Sybase O O O O 　 O O 　　 Mysql O O O O 　 O O 　　 MS SQL O O O O 　 O O 　

Applications apache O O O O 　　 O 　　 Weblogic O O O O 　　 O 　　 Websphere O O O O 　　 O 　　 SAP O O O O 　　 O 　　 Custom App O O O O 　　 O 　

IT Data 를 아래 다양한 방법으로 수집합니다 .


Data Inputs

• 지속적 실시간 데이터 수집 , 인덱스 .

• 사용자 정의 어뎁터 없이 모든 데이터 포맷 지원 .

• 자동으로 단일 및 멀티 라인 데이트를 식별 .

• 전체 시스템의 모든 이벤트 및 로그를 인덱스 .

• 고효율 데이터 저장 .

• Schema 및 RDBMS 불필요 .

• 데이터 무결정 보장 .

• 고성능 및 무제한 확장성 제공 .

모든 데이터를 자동으로 인식하여 인덱싱합니다 . 어플리케이션 , 서버 , 네트워크 장비 등 데이터가 남겨지는 모든 H/W, S/W 에서 데이터를

수집합니다 .


전체 IT Data 의 정확한 트랜드분석 및 검색을 위한 활성화

자동 이벤트 경계 식별

자동 타임스탬프 정규화

실시간으로 수집한 데이터를 자동인식합니다 .


원본 이벤트에 대해 신속한 검색

모든 항목을 세분화 , 정밀한 색인

수집한 데이터는 세분화하여 인덱싱합니다 .


하나의 포인트에서 전체 시스템 통합 검색

실시간 스트리밍 데이터와 과거 색인 데이터의 연관 관계 검색

Application 별 실시간 특화 검색

특정한 시간내의 모든 데이터 및 특정 이벤트의 세부 정보 검색

서로 다른 데이터 센터와 지역에서 여러 서버에 걸쳐 발생한 데이터의 통합 검색 및 분석 간단한 논리연산자 사용 . 시간 및 조건에 의한 검색 . 어떠한 용어나 문자열 검색 . 시간에 따른 결과값을 시각화 . 결과값 내에서 관계 검색 .

다양한 조건으로 데이터를 검색하게 됩니다 .


사용자 지정 필드값

자동으로 필드값 식별

정확하고 신속한 검색치 제공

검색을 하면 자동으로 필드값들을 찾아냅니다 .


이벤트 타입으로 검색결과 저장

이벤트 , 호스트 , 다른 필드값 태깅

정규 보고서 , 지식공유 및 세분화된 액세스 제어를 활성화

찾아낸 결과를 바로 저장하게 됩니다 .


실시간으로 데이터를 검색하고 처리합니다 .


• 여러 호스트에서 발생한 데이터의 연관성 분석

• 멀티라인 데이터 및 특화 서비스 프로그램 로그 분석

• 대화형 리포팅 기능을 결합한 빠르고 유연한 분석

• IT 데이타의 볼륨 데이터의 결과를 쉽게 시각화 요약 , 통계 , 동향 . 비즈니스 데이타 ( 타 시스템 연계 시 ) 통합 . •복잡한 스키마 또는 데이타 re-indexing 없이 모든 분야의 데이타 Mining 지원•일정에 맞춰 RSS 또는 이메일로 리포트 자동 송부

검색 및 분석 결과를 그 자리에서 리포트를 만듭니다 .


사전 모니터링 , Alerts 및 자동 대응

• 실시간 Alerts 및 예약 검색• 검색 결과와 내용을 기반으로 통지 및 자동

대응 설정• RSS, 이메일 또는 SNMP 를 통해 다른 관리 (NMS, SMS) 콘솔로 연계

• 서버 재 시작 또는 트러블 티켓 발행과 같은 정기적 자동화를 사용자 정의 스크립트로 설정

리포팅후 실시간으로 모니터링하도록 지정합니다 .


인증모든 사용자에 대한 접속 및 시스템 변경내역 인증

데이터 무결성 보장데이터 수집 및 저장의 무결성 제공

Digital Forensics

유연한 Roles60 가지 이상의 조절점을포함한 Role-based

access

감사 능력관리 체계 모니터링 및

Splunk 액세스 감사 추적

Directory 통합사용자 , 역할 및 조직을

Active Directory 또는 LDAP 에 반영

자체 적인 보안 기능을 제공합니다 .


협업기반으로 업무 지식을 공유하게 되어 업무처리속도가 획기적으로 향상됩니다 .

compliance issueevent ok

restart server

이벤트 타입 지정

Client IP, Status,etc.

필드 정의

Weblogic Shutdown,sshd login,etc.

트랜잭션 Label

Email Delivery, Checkout,Etc.

시간이 지남에 따라 지식 전파

여러부서에서 동시에 지식관리를 할수 있습니다 .

검색 , 경보 , 보고서 저장

권한 및 업무별 대시보드

이벤트 Tag


Send data from 1000s of servers using combination of Splunk Forwarders, syslog, WMI, message queues, or other remote protocols

Auto load-balanced forwarding to as many Splunk Indexers as you need to index terabytes/day

Offload search load to Splunk Search Heads

다중 인덱서를 이용한 분산 검색 및 리포팅이 가능하여 하루 수십테라의 데이터를 처리합니다 .

스플렁크는 방대한 확장성을 제공합니다 .


개발 연동 툴

28

APIs Tools IDEs

Java

REST

.NET

Python

Contextual Editing

Debugging

Validation/Testing

Eclipse

Visual Studio


3rd Party 연동

29

Analyst Plug-insMicrosoft

ReportsMicrosoft Reports

Protovis

GoogleViz


Hadoop™ 을 품은 스플렁크

30

Report and

analyze

Custom dashboards

Monitor and alert

Add knowledge

Ad hoc search

Data Archival and Batch AnalyticsReal-time data collection, indexing, search, analysis, reporting and dashboards

Archive data

Run MR Queries

Re-index data

Result setsData


Completely Flexible모든 IT 관리영역에 대한

분석 ,감시 ,보고를 지원

직무에 따른 유연한 Dashboard 생성 및 정보 제공

Device, OS, Application 등의 환경변화로 인한 로그 및 데이터 변경에 유연한 대처

Immediate Results필요한 만큼 확장하는 구

조 : 노트북에서 데이타센타까지 설치 후 바로 사용 가능

빠른 ROI 실현

Splunk: the IT Data Engine

Any Data 데이터 포맷 및소스에

관계없이 데이타 처리

데이터 무결성 보장으로 모든 원시 데이타접근

데이타 라이프 사이클 관리 - 수집 , 검색 , 분석 , 보관 , 폐기

Splunk 는 아래 특장점을 제공합니다 .


어떠한 목적으로 Splunk 를 사용할 수 있을까요 ?

32


대부분의 기업데이터는 머신데이터

33

Virtual PhysicalCloud

Energy

Manufacturing

Shipping RFID

WebServices

DevelopersApplications

Telecoms

Networking

Desktops

Servers

Security

Databases

Storage

Messaging

Online Shopping

Carts

Clickstream

GPS/CellularSocial Media

Industrial Data + Additional Sources

Core IT Customer-facing IT


데이터양과 복잡성이 폭발적으로 증가

34


Energy

Manufacturing

Shipping RFID

WebServices


Telecoms

Networking

Desktops

Servers

Security

Databases

Storage

Messaging

Online Shopping

Carts

Clickstream


Fastest growing, most complex segment of big dataGenerated continuously by websites, communications, networking and complex IT infrastructuresContains categorical record of all activity and behaviorValue from data largely untapped – extremely difficult to process and analyze by traditional methods or in a timely manner

Industrial Data + Additional Sources

Core IT Customer-facing IT


기존에는 각 분야별 툴로 별도 분석

35


Energy

Manufacturing

Shipping RFID

WebServices


Telecoms

Networking

Desktops

Servers

Security

Databases

Storage

Messaging

Online Shopping

Carts

Clickstream


TransactionMonitoring

Security Incident

Trouble Ticket

Compliance AuditOperational

Insights

SIEM APM DW ECA Business Analytics


Stop current task to identify and

gather production logs for developer.

ESCALATE. ESCALATE. ESCALATE. RESPOND. NOW WHAT?

원인분석과 해결 / 판단에 너무 많은 시간이 소요

36

Service DeskApplication

SupportSystems

AdministratorApplication Developer

Application Developer

Database Administrator

Log call. The console says everything is

green.

Java monitoring tools don’t

show anything either. Call the

developer.

Stop working on new code to

troubleshoot. Need

production logs!

Manual investigation

establishes not application problem.

DBA analyzes audit logs which

points to bad query.

ESCALATE.


머신데이터를 통한 다양한 접근

37

Sources

Twitter

Care IVR

Middleware Error

Order Processing


머신데이터를 통한 정밀 분석

38

Customer ID Order ID

Customer’s Tweet

Time Waiting On Hold

Twitter ID

Product ID

Company’s Twitter ID

Sources

Twitter

Care IVR

Middleware Error

Order Processing

Customer IDOrder ID

Customer ID


머신데이터를 통한 정밀 분석

39

Order ID

Customer’s Tweet

Time Waiting On Hold

Product ID

Company’s Twitter ID

Sources

Twitter

Care IVR

Middleware Error

Order Processing

Order ID

Customer ID

Twitter ID

Customer ID

Customer ID


WebServices

이제 즉석에서 데이터를 검색 / 분석 가능합니다 .

40

Find and fix issues and incidents dramatically faster across your organization

Energy

Manufacturing

Shipping RFID WebServicesDevelopers

App SupportTelecoms

Networking

Desktops

Servers Security

Databases/DWH

StorageMessaging

Online Shopping

Carts

Clickstream



데이터 처리에 대한 새로운 접근

41

Machine-generated DataBusiness Application Data Human-generated Data

Relational data, highly structured, based on inflexible schema

Financial records, multidimensional data, math computation

Monthly reporting, not for real-time events

Time series, diverse, unstructured, no predefined schema

Encapsulates human-generated content (e.g. social data)

Generated by all IT systems and technology devices

Massive volume; fast navigation and correlation paramount

Generated by human-to-human interaction

Includes email, IM, voice, video, text

Stored in centralized corporate servers, fileshares and desktops


모든 데이터를 쉽게 수집 / 검색 / 분석하는 툴 !

42

Splunk storage Other Big Data stores

DeveloperPlatform

Data collectionand indexing

Report and analyze

Custom dashboards

Monitor and alert

Ad hoc search


DeveloperPlatform

Report and analyze

Custom dashboards

Monitor and alert

Ad hoc search

모든 데이터를 쉽게 수집 / 검색 / 분석하는 툴 !

43

Splunk storage Other Big Data stores

Data collectionand indexing

Any amount, any location, any source.No upfront schemaNo custom connectorsNo RDBMSNo need to filter/forward


Search and InvestigateSearch and Investigate

Proactive Monitoring and

Alerting

Proactive Monitoring and

Alerting

Operational Visibility

Operational Visibility

Real-time Business Insight

Real-time Business Insight

머신데이터를 통한 지능적 운영

44

Proactive

Reactive


모든 사용자 기준의 Dashboards 및 리포트 제공 .

Mash-up 및 웹 애플리케이션웹 사이트 관리자

마케팅 팀

새로운 수준의 인프라 및 비즈니스가시성 확보

45


LOB Owners/Executives

SystemAdministrator

OperationsTeams

SecurityAnalysts

IT ExecutivesApplication Developers Auditors

Website/BusinessAnalysts

CustomerSupport

비즈니스 View 와 IT 운용 View 를 통합분석

46

IT Operations Management Web Intelligence

Business AnalyticsApplication Management

Security and Compliance


전형적인 IT 장비분야를 넘어선 분석 제공

47

Personal Activity Tracking

Flood monitoring warning

Health and Safety

Cars as telemetry sensors

Supporting the next gen airliner

Commercial Transport

Home Energy Management

Building Power Consumption

Power and Energy


A Growing Community of Apps

48

IronPort WSAIronPort WSA

Security

185 Apps Currently Available for Customer Use

AS/400 - iSeries

Unix and Linux

Google Maps

Windows

Radio Stations

Security

F5

Geo Location

XenDesktopNetScalerPDF Report Server

BlueCoat ProxySG

Splunk MonitoringNagios POST/GET RqstsSNORT

WebSphereWeather

Python MailWhois lookup

TCP/UDP Sending RSS Input

Javamail

Stock Quote

SCOM VMware Fin. Inf. eXchange

Puppet Conf. Mgt

Multicast

Audible Alerts

FireEye Malware

Encrypt/Decrypt Splunk ESS

Ruby on Rails

BigFix

Twitter

YouTube

JMS receiver

Solera DeepSee IMAP

PCI Compliance

Sourcefire

NetFlow

Sendmail


스플렁킹 빅데이터

49

1TB References 500GB References


최근 이슈 사항

50

IT 장애 예측 시스템

사이버 포렌식

빅데이터 기반 BI

실시간 생산데이터분석


“ 스플렁크를 통해 클라우드 관제 , 고객 분석

“ 내부 데이터 용량이 1TB 이상 , 추가 라이선스 구매 예정”

통합 클라우드 및 앱 관제단말기 IP, MAC Address 비교AWS 상의 관제

XX 전자


XX 전자

“ 스마트 TV 로그 분석 , 보안 분석 , 시스템 로그 분석”

“ 각 사업부분 별로 별도 도입 하여 구축 예정”

초기 애플리케이션 관제 구축 , 원인분석 못함20 일 -> 2 시간 분석단말기 서비스 분석


XX 금융

“ 전사적인 보안 관제를 스플렁크로 시행중”

“ 고객과의 협업으로 내부통제 패턴 ( 시나리오 ) 구현을 위한 조건 검색 및 앱 제작”

전사적인 보안 관제개인 정보보호 관점내부통제 시스템


XXX쇼핑

“ 전사적인 고객 데이터 분석을 시행”

“ 마케팅 및 BI 를 위한 스플렁크 첫 구축사례”

전사적인 고객 분석모든 데이터 통합하여 맞춤 분석


• 물리적인 Splunk 웹 서버와 Splunk Amazon 클라우드 웹 서버를 이용 :시스템 및 Application 문제 해결보안 관리 및 포렌식 분석비즈니스 인텔리젼스 분석

• 많은 물리적 인프라는 물론 가상 인프라의 System, Network, Application, Security 및 사용자 Transaction 분석

Amazon - Indexing ~ 일일 20TB 의 데이터 수집

30 Indexers - Amazon Extra Large Instances8 vCPU, 8 GB of RAM each

Physical boxes – in house datacenter

AWS

AWS

AWS

AWS

AWS

2 Search Heads : 8 vCPU, 8 GB of RAM each

2 Search Heads: 4-way, 4 cores, 8GB RAM

10 Indexers: 4-way,4 cores, 8 GB RAM


US San FranciscoData Center

IndiaData Center

EuropeData Center

시스코 – 전세계 IDC 보안 분석


57

국내 구축사례

58

Loomis Creative Pitch Ideas

Thank You!

빅데이터 분석 플랫폼, 스플렁크~~!!

Technology