빅데이터 플랫폼 splunk 6.2 인트로

O r i g i n a l i n E v e r y t h i n g

WWW.MOTREX.CO.KR

Splunk 6.2 소개

2015. 01

SP컨설팅팀연준명팀장[email protected]


WWW.MOTREX.CO.KR

차목 회사 소개

주요 사례

Splunk Solution 소개

03

02

01


WWW.MOTREX.CO.KR

회사 소개01

4COPYRIGHT ⓒ 2015 MOTREX ALL RIGHTS RESERVED.

회사 소개01

2004년에설립되어 2006년에첫제품을발표한이래 100 여개국에서비즈니스를하고있는 Splunk는기계가생성하는

데이터를수집, 분류, 분석을원활하게지원하여 IT운영, 보안, 규격준수, 애플리케이션관리, 비즈니스분석등의분야에서

혁신을이끌어왔습니다.

Splunk 일반 현황 및 연혁

회사

• 글로벌 HQs:

샌프랜시스코(AMER)

런던(EMEA)

홍콩(APAC)

• 직원수 1,300명

• 연매출 3,000억이상 (YoY +52%)

• 나스닥상장 : SPLK

제품

• 무료트라이얼에서대규모확장

• 스플렁크제품:

Splunk Enterprise

Splunk Cloud

Hunk

Splunk MINT

Premium Apps

고객

• 고객사: 8,400+

• 고객사: 300+ (한국)

• 국가기준: 100개국+

• 중소기업,대기업그룹계열사

• 포춘 100대기업: 75+

• 최대라이센스:

400+ TB/일


회사 소개01

Splunk는고속성장을배경으로 2012년 4월에 NASDAQ에상장하였으며, 패스트컴퍼니및가트너, SC매거진등다양한

평가기관으로부터빅데이터및보안, IT 운영부문에서상위권의평가를받고있습니다.

Splunk 대외 기관 평가

LEADER

#1 Worldwide

#3 Worldwide

Best SIEM North America

Best Enterprise Security Solution EMEA

Big Data Innovator #1

MostInnovative #4

2014 SIEM Magic Quadrant

2012 Security Market Growth

2012 IT Operations Market Growth


WWW.MOTREX.CO.KR

Splunk Solution 소개02


가장빠르게성장하고있으며복잡하지만큰가치를가지고있는빅데이터의한형태인머신데이터는사용자의행동, 사이버

보안위협, 애플리케이션의동작방식, 서비스수준, 사기성활동과사용자경험등다양한이력을담고있지만과거의

방법론으론분석하는것이쉽지않습니다.

머신 데이터란?


빅데이터의원천은 ‘머신’용량(Volume) | 속도(Velocity) | 다양성(Variety) | 다변성(Variability)

GPS,

RFID,

웹서비스,

하이퍼바이저,

이메일, 메신저,

클릭스트림, 모바일,

통신, IVR, 데이터베이스,

센서, 컴퓨터통신, 서버,스토리지,

보안장비, 데스크탑, 네트워크, 제조설비


머신데이터에서얻을수있는통찰력은 IT부서와업무부서전반에걸쳐전략적관심영역(strategic priorities)에 특별한

‘가치’를 전달합니다. 머신데이터에대해더향상된가시화가가능하다면효율적이면서광범위한영역에걸친요구사항을

식별하고지원할수있게되며이로인해사업적경쟁적우위를선점할수있게됩니다.

머신 데이터의 가치


지속적애플리케이션개발및배포

클라우드및모바일체널확장

‘소프트웨어정의인프라’로안정적이동

새로운사업영역의확장

핵심애플리케이션100% 가동시간보장

사일로(Silo) 관리가아닌서비스관리

외부위협(APT)의식별및중화

사기방지활동

경쟁적우위선점을위한통찰력제공

핵심

경쟁우위


Splunk의목표는머신데이터를접근하기쉽고, 사용하기쉽게하여머신데이터로부터충분한가치를찾아낼수있도록

도와드리는데있습니다.

Splunk의 목표


모두에게머신데이터에대한접근성과사용성그리고가치를제공


Splunk의강점은대규모데이터수집및인덱싱을제공하며, 이를통한강력한검색능력및 UI 상에서현업도사용할수있는

손쉬운대시보드작성을통해신속하게실시간통찰력을제공하는데있습니다.

Power of Splunk


제약없는데이터수집능력

무엇이든검색하고분석

실시간운영인텔리전스


Splunk의고객사들은포춘 100대기업에서부터중소기업, 서비스제공사그리고정부기관까지다양하며서비스수준향상, IT

운영비용절감, 보안위협감소, 품질향상등사례기반의검증된가치를제공받고있습니다.

검증된 가치 제공


가동시간향상으로매줄증가

사기방지로불필요한지출감소

빠른신제품출시로시장선점

센서데이터를이용한

연비 최적화

SLA미충족손실의

절감

APT공격의예방과정보보호

$11.0 M $25.0 M $10.0 M $200+ M $1.8 M $1.0 + B$11.0 M

(약 121억원)$25.0 M

(약 275억원)$10.0 M

(약 110억원)$200+ M

(약 2,200억원)$1.8 M

(약 19.8억원)$1.0 + B(약 1조원)

석유/가스산업

통신서비스

운수서비스

금융서비스

하이테크제조

온라인서비스

다양한업종과사례기반의검증된가치제공


Splunk는 100여개국, 8,400여고객사를통해검증된솔루션으로고객들은 Splunk를통해이전에파악하지못했던다양한

문제들을발견하고이에대한해답을스스로찾을수있는능력을갖게되었습니다.

전세계 8,400+ 고객사


교육

헬스케어

기술

에너지 및 공공

제조

통신

클라우드 및온라인 서비스

정부기관

유통

금융 및보험

미디어

여행 및레저

포춘 100대기업의 4분의 3이도입


Splunk는수분내에설치가가능하고바로데이터를수집해서분석할수있는단일플랫폼솔루션입니다. 이를통해신속하게

가치를실현할수있는검증된제품입니다.

Splunk 선택 이유


신속한가치 실현(FAST TIME-TO-VALUE)

단일플랫폼, 다양한활용(ONE PLATFORM, MULTIPLE USE CASES)

계층과영역을 초월하는 통합된시각화(VISIBILITY ACROSS STACK, NOT JUST SILOS)

단순한 ‘조회’가 아닌 ‘해답’ 제공(ASK ANY QUESTION OF DATA)

데이터의종류, 형태, 규모와무관(ANY DATA, ANY SOURCE)


Splunk는데이터의형태에상관없이수집하고, 검색하는시점에스키마를적용하여유연하게데이터를분석처리하며, 수평적

확장을통해데이터를분산저장/ 분산검색함으로써빅데이터분석을가능하게해줍니다.

데이터 처리 방식


정형데이터RDBMS

SQL 검색

Schema at Write Schema at Read

기존방법 Splunk

ETL 유니버셜인덱싱

Volume Velocity Variety

비정형데이터


Splunk는일수 GB에서수백 TB에달하는데이터를처리하는데사용합니다. 단일소스뿐만아니라수만개의데이터소스로

부터안정적으로데이터를실시간수집하고인덱싱합니다. 데이터가수집되고나면사용자는검색및분석을통해보고서를

만들고그결과를시각화하거나대시보드를작성하고다른사용자들과쉽게공유할수있습니다.

Splunk 개요


원시데이터 그대로 수집 :위치, 형태, 규모에 상관없이!

온라인서비스 웹

서비스

서버보안 GPS

위치정보

스토리지

데스크탑

네트워크

상용애플리케이

션

사용자애플리케이

션

메시징

통신온라인장바구니

웹접속기록

데이터베이스

에너지측정센서

고객센터통화기록

무선단말기

RFID

자체호스팅

프라이빗클라우드

퍼블릭클라우드

어떠한질문도 OK!

애플리케이션개발

보안,규정준수,사기방지

IT운영

비즈니스분석

업종데이터및사물인터넷


Splunk는 On-premises 모델의 Splunk Enterprise, 하둡데이터관리및분석을위한 Hunk, 클라우드방식의 Splunk Cloud,

모바일앱관리를위한 Splunk Mint 등의제품라인업을구성하고있습니다.

제품 라인업


메인프레임데이터

VMware

머신데이터플랫폼

Exchange PCI보안

DB Connect 모바일포워더Syslog / TCP /etc.

센서 및제어시스템

다양한앱생태계

Stream

개발자플랫폼

보고및분석

사용자대시보드

모니터링및경고

유연한검색


설치하고설정만하면바로사용할수있는 500개이상의무료/유료앱을지원합니다.

다양한 무료/유료 앱 제공


서버,스토리지및네트워크

서버가상화 운영체제사용자

애플리케이션비즈니스

애플리케이션클라우드서비스

Web Intelligence

모바일애플리케이션

Stream

네트워크트래픽분석

ID및 접근통제경계방어 이메일페이로드분석

보안분석

위협인텔리전스 엔드포인트행위분석

DLP 클라우드보안

엔드포인트변경추적


Splunk는 IT 운영부터보안및비즈니스영역에이르기까지데이터분석이필요한모든분야와모든사용자에게신속한결과를

제공합니다.

적용 분야


문제의근원파악

핵심문제해결

선제적모니터링

및실시간경고

더좋은품질로

더빨리코드개발

클라우드앱및

인프라모니터링

모바일앱

트러블슈팅

사용자및사용율분석

보안및

규정준수보고

인시던트조사

및포렌직

알려진위협의

실시간모니터링

알려지지않은

위협의발견

사기

감지

내부

위협

사용자경험 제품분석 업무분석디지털마케팅

원격진단

및예방정비

운영

효율화

장치사용량

및사용자분석

IT운영

애플리케이션관리

비즈니스분석

업종데이터사물인터넷

보안,규정준수및사기방지

품질분석예지정비 사용자위치분석 오류모니터링설비생산량분석


Splunk Enterprise 6.2 새로운기능

Splunk Enterprise 6.2 주요 기능


빠른데이터수집정의

유연한확장성및중앙 관리

다수사용자를 위한강력한분석 기능

데이터입력위저드

진보된필드추출기

검색헤드클러스터링

분산관리콘솔

인스턴스피벗

이벤트패턴탐지

사전정의패널



데이터수집부터저장및검색을위한핵심엔진과사용자및개발자인터페이스지원,다양한기개발된컨텐츠까지데이터

처리전과정을지원하는아키텍처를제공합니다.

아키텍처

데이터수집

인덱싱

Search Processing Language

핵심기능

입력설정,다양한앱등

SDK콘테츠

코어엔진

사용자및개발자인터페이스

웹프레임워크

REST API



유연한확장성을제공하여고객의요구에따라스토리지와네트워크가허용하는한도내에서수집데이터용량을확장해갈수

있는아키텍처를제공합니다. 또한 Query를실행하는 Search Head, 데이터를저장하는 Indexer, 데이터를수집하는

Forwarder 등을필요에따라분산배치할수있습니다. 데이터저장용량은 Indexer node를늘려손쉽게확장시킬수

있습니다.

Auto load-balanced forwarding to as many Splunk Indexers as you need to index terabytes/day

Offload search load to Splunk Search Heads

데이터가 저장되고 검색되는Indexer Node는 고객 요구에 따라 선형적으로 분산 확장 가능

수집할 서버에 SplunkForwarder를 설치하여데이터 수집 Point를 손쉽게늘려갈 수 있음

Search Head는 동시 사용자가 많거나 동시 실행되는 검색 부하에 따라 수평적으로 확장 가능함

수평적 확장성


데이터수집전미리보기기능을통해문제해결과새로운 Source Type을테스트하기위해어떻게데이터가처리되는지파악할

수있습니다. 따라서인덱싱전략을세우기위해어떻게데이터가수집되어지는가를미리알수있습니다. 또한이벤트를자동

인식해서가상의열을생성하고모든항목을세분화해서정밀하게 Indexing하여검색을용이하게합니다.

주요 기능 – 데이터 미리 보기

Preview Properties

Preview Index Raw Data

모든 항목을 세분화 정밀하게 색인

이벤트 자동 인식



데이터간관계를정의하거나데이터의접근방법및의미를알려주는의미기반데이터모델을손쉽게작성할수있습니다.

이러한데이터모델은지속적신뢰적인분석을위한데이터셋전반에걸친신뢰성높은단일 View를제공합니다.

주요 기능 – 데이터 모델

UI 상에서 구조적인데이터 모델을 손쉽게

작성 가능



누구나데이터모델을이용하여사용가능한 Drag & Drop 인터페이스기반의피벗기능을제공함으로써검색언어를사용하지

않고도복잡한쿼리나보고서를쉽게생성할수있습니다. 클릭한번으로차트나시각화생성하고필드값변경시동적

업데이트를이용해정확한데이터를사용할수있습니다.

주요 기능 – 피벗

피벗을 이용한데이터 분석 및

시각화



하나의검색창을통해쉬운검색언어를사용하여방대한데이터를간편하게검색하고, 다양한이벤트를자유로이추출해전자

메일 , SNMP, RSS나이동전화문자로통보할수있습니다. 이러한실시간검색기능을바탕으로실시간통지및리포트체계를

구현하고,문제발생을즉각인지할수있습니다.

주요 기능 – 검색 및 경보

이벤트및알람생성

전자메일

SNMP /RSS

문자 통보



주요 기능 – 다양한 컨트롤 제공

Sparkline View in Table

Timeline View

Search Window

Field List

Raw Data

Visualization Edit

Save Search Edit

Alert Edit

Dashboard

Controls



주요 기능 – 최신의 차트 지원



인덱싱데이터에서장애, 변경, 성능, 메시지, 주문등의다양한데이터를실시간으로처리하여타시스템의 API나특별한

Script를연계하여다양한용도의시스템과쉽게연동하는기능을제공합니다. 연동가능한시스템은 UNIX, Windows, ERP,

CRM, Groupware, NMS, SMS, Help Desk, Change Management, Business Intelligence System, Decision Support

Systems, Oracle, Informix, DB2 등의 IT 시스템이외에도설비나, 타 Legacy시스템과의연계도용이합니다.

주요 기능 – 타 시스템 연동

Splunk IT 데이터검색

사용자정의데이터검색조건

Universal 인덱스데이터

전체운용데이터

Terabytes

RAW DATA

시스템연동

Application연동

Database연동

외부시스템연동

OS, UNIX,Windows

ERP, CRMBuss Intel

Oracle, Informix, DB2

Scripts

API



Splunk는다양한분석툴과연동되어동작할수있습니다.

“Odata for Splunk” app은 Odata를 지원하는 Excel, Tableau 등의 툴이 Splunk에 접속할 수 있도록, Open Data Protocol

endpoint를 제공합니다.

주요 기능 – 분석 툴 연동

Analyst Plug-insMicrosoft Rep

orts

Protovis

GoogleViz



마법사형식의대시보드생성

Splunk는 웹 인터페이스를 통해 간단히 대시보드로 만드는 기능을 제공합니다. 아래의 그림과 같이,

사용자의 Query를 즉시 Visualization 시키고, 이 결과를 위저드에서 간단히 세 단계의 설정을 거쳐 손쉽게 대시보드를

만들어낼 수 있습니다

주요 기능 – 대시보드 마법사



검색, 차트, 리포트, 대시보드, 알람등에대한공유및엑세스권한관리제공

Splunk내에서 정의된 모든 Knowledge Object, Search, Chart, Dashboard, Alert등은 소유권자 및 공유 여부, 실행자의

소유 권한 등에 따라 안전하게 관리됩니다. 사용자에게 주어질 수 있는 Role은 60개 이상의 세부 조절점의 조합으로 새롭게

정의해 만들 수 있습니다.

Authentication

모든 사용자에 대한 접속 및 실행 권한 제어

Flexible Role

60가지 이상의 조절점을 포함한 Role based access

Directory Integration

사용자 및 조직을 Active Directory 또는 LDAP과 연동 가능

Auditing

관리 체계 모니터링 및 Splunk 엑세스 감사 추적

데이터무결성보장

Digital Forensic을 위한 수집 데이터의 무결성 제공

주요 기능 - 보안



WWW.MOTREX.CO.KR

주요 사례03


주요 사례03

Operational Intelligence

Narayan BharadwajDirector, Product Management

높은 서비스 수준 제공

비즈니스 측면의 사용 통계 및 분석제공

신규 서비스 제안: 대 고객 이메일캠페인 분석

Ty PrikkhiSenior Operations Manager

장애 빈도 감소로 연간 $1.3M ROI 제공

용량 산정 및 유지보수 계획데이터 제공

분단위 채널, 시장, 디바이스 별경영진 대시보드 제공


주요 사례03

보안 및 사기 감지

사전예방적 취약점 평가, 보안사고경감 계획, 보안사고 경향 분석, 보안아키텍처, 사고 탐지 및 대응 가능

사용자 행동 및 시스템 전반의 중앙집중화된 뷰 제공Dave Schwartzburg

Computer Security Incident Response Team

모든 데이터를 이용하여 지난 30 일, 90 일 전체 기간을분석하여 새로운 부정 행위 패턴을 특정

패턴이 출현 때마다 실시간 경고를 생성- 부정 행위 시행자를 실시간으로 감시 - $ 5M, 7M, 8M 등이체 시도 확인- 스플렁크가 부정 실시자가 다녔던 모든 기초 요소를 조사- 다음 접속 시 부정 행위 패턴을 이해하기 위해 시간을기준으로 작업을 상관 분석하게 됨


주요 사례03

IPS 모니터링


주요 사례03

전력 모니터링

도쿄 전력은 도쿄 지역의 주요 법인은 2011 년 3 월 11 일대지진으로 인한 전력 부족 때문에 소비 전력을 절감 필요

보유 장치의 전체 소비 전력을 줄이기 위해 해제해야 할장치가 있는지 확인이 필요

전원 및 각 멀티 탭의 소비 전력 또는 작업 공간의 최저치를예상 하는 것이 곤란하였음

모니터 솔루션은 소비자 수준에서 실시간 가시성을 제공함

SYSEnergy는 빌딩 자동화 (BA)와 에너지 사용량의 공장자동화 (FA)의 분석을 제공하는 업체

에너지 절약의 결정을 신속하고 효율적으로 실행 가능해짐

사용 경향 분석과 인텔리전스 상관 분석은 에너지 낭비의소스를 식별함

모니터 서버 룸의 에너지 효율을 향상시키기 위해 사용함


주요 사례03

발전 모니터링

현대중공업 - 해외 발전소 RMS 도입 이유전 세계 발전소 센서 데이터를 수집, 분석, 모니터링하기 위함

효과 - 전 세계 발전소 센서 데이터를 실시간으로수집, 분석, 모니터링하고 안정적인 운영을 할 수 있게 됨

Infrautil은 각 32개의 디젤 발전기로 이루어진 여러 긴급발전소의 자동 제어 및 모니터링을 위해 개발

각 지역별 가격 변동 관제를 위한 국가 전력 시장을 실시간모니터링

가격이 지정된 임계 값을 초과 / 아래로 이동하면 긴급발전소는 그 지역의 그리드에 전력 공급을 중단 / 시작하게명령


주요 사례03

그룹웨어웹로그 – DB – 네트워크데이터연동한상관분석

그룹웨어 접속현황 분석


주요 사례03

이메일송/수신내역분석하여기밀문서나중요정보유출감시

정보 유출 감시


주요 사례03

프로젝트관리 DB 연동하여쉽게데이터분석화면작성 (EIS)

외부 DB 연동


주요 사례03

서울교통관제센터버스카드데이터를이용한노선분석

서울 버스 분석


주요 사례03

해외 – 일간 POS Web Request 발생량

웹 분석


주요 사례03

IT를 넘어 세계로

개인행동추적

홍수모니터링및경고

건강및안전

자동차원격센서

NextGen Airliner 지원

상업적수송

홈에너지관리

건물전력소비

전력및에너지


주요 사례03

국내 적용 고객사 +200


WWW.MOTREX.CO.KR

Q & A

(150-972) 서울시 영등포구 경인로 775 에이스하이테크시티 | 오토모티브 : 1동 1404호 , 컨버전스 : 1동 1103호

대표전화 070. 4892. 6100 (오토모티브) , 6200 (컨버전스) | 대표팩스 02. 6280. 1170

Automotive Div. 1-1404 , Convergence Div. 1-1103 | Ace Hi-Tech City Bldg., #775, Kyoungin St., Yeongdeungpo-gu, Seoul, Korea 150-972

TEL. 070. 4892. 6100 (Automotive) , 6200 (Convergence) | FAX. 02. 6280. 1170

WWW.MOTREX.CO.KR

Original in Everything

THANK YOU

빅데이터 플랫폼 splunk 6.2 인트로

Data & Analytics