Bigdata & Hadoop Ecosystem Technology Company

ⓒ 2014 IMCLOUD COMPANY ALL RIGHTS RESERVED

㈜아임클라우드 빅데이터솔루션소개

CONTENTS

2. 제품 & 기술

3. 구축사례

1. 회사 개요

ⓒ 2014 IMCLOUD COMPANY ALL RIGHTS RESERVED

3

㈜아임클라우드는 빅데이터 솔루션 개발 전문 회사 입니다 .

Hadoop Echosystem 오픈 소스 기반의 S/W 플랫폼을 이용한 다양한 빅데이터 응용 솔루션 구축과 빅데이터 시스템 및 서비스 구축을 도와 드립니다 .

타사와 차별화된 Hadoop 플랫폼 기술에 강점을 가지고 다양한 산업 분야의 빅데이터를 쉽게 활용할 수 있는 노하우를가지고 있습니다 .

회사 소개 1. 회사개요

4

ImCloud 솔루션 사업 영역 (Hadoop Ecosys-tem)

빅데이터플랫폼구축빅데이터시스템 개발구축

빅데이터서비스사업

빅데이터 플랫폼

㈜아임클라우드는 Hadoop Ecosystem 기반의 솔루션과 개발 전문 회사입니다 .

- Apache Hadoop Ecosystem 기반의 다양한 배포판 기반 개발 가능- Cloudera, Hortonworks, MAPR 등 다양한 하둡 배포판 기반 구축 가능

사업 영역 1. 회사개요

보안 로그 분석 솔루션

데이터 시각화 솔루션

5

주요 파트너 및 고객사㈜아임클라우드는 다양한 빅데이터 관련 파트너사와 관계를 가지고 다수의 고객을 확보하고 있습니다 .

고객 및 파트너 1. 회사개요

최근 수행 주요 프로젝트수행 완료 또는 진행중 :현대자동차 빅데이터 거버넌스 프로젝트 / 핵융합연구소 빅데이터 분석시스템 구축 / 중기청 산업기술보호협회 빅데이터 보안로그 시스템 / 한전 KDN 빅데이터 보안로그 / 해태제과 빅데이터 분석시스템 / SAS&HP 골드마인 ( 생산센서 ) 빅데이터 제품 공동개발 / 경찰대학 학사행정 빅데이터 분석 / 선문대학교 공동 온천수 빅데이터 분석 시스템 등등수행예정 프로젝트 : 철도청 빅데이터 시스템 구축 , 근로복지공단 빅데이터 프로젝트 , 현대자동차 빅데이터 보안로그 ( 파일럿 )

6

회사 연혁 1. 회사개요

회사명 ( 주 ) 아임클라우드 대표자 이두식

사업분야 업태 사업서비스업종목 소프트웨어 개발 및 공급업

주소 서울시 강남구 역삼동 828-29 문현빌딩 3 층전화번호 02-6472-0410 FAX 02-6482-0410

회사설립년도 2014 년 4 월해당부문 종사기간 2014 년 4 월 ~ 현재 (1 년 2 개월 )

주요연혁

2015/05 • 파스트림 리셀러 협약 체결2015/01 • 빅데이터 기반 보안로그 분석 솔루션 출시2014/11 • 현대자동차 전사 빅데이터 거버넌스 컨설팅 사업 진행2014/10 • 빅데이터 기반 시각화 솔루션 ‘ I’mBee for Visual’ 출시2014/06 • ( 주 ) 아임클라우드 빅데이터 플랫폼 ‘아임비‘ 출시 (Hadoop 기반 빅데이터 플랫폼 )

2014/04 • 주식회사 아임클라우드 법인 설립

대표이사

개발 연구소사업본부

기획마케팅 경영지원회계기술개발

R&D

총인원 15 명

7

핵심 개발자 리소스 1. 회사개요

핵심 인력 직급 / 역할 최종학력 주요 경력

이두식 대표 고려대 / 미디어공학 ( 석사 )

경력 총 22 년- 한국 Microsoft ( 개발툴 엔지니어 , 기술 컨설턴트 )- 옥션 ( 시스템 운영팀장 , 해외사업개발팀장 )- NHN ( 수석 프로젝트 매니저 ) : 지식 iN 검색 , 네이버 Me,me2Day,N 드라이브 , 메일 등등- KTB 투자증권 ( 신사업개발팀장 ) : 소셜미디어 빅데이터 개발 , 모바일 트레이딩 개발

권오주 이사 / 데이터전문가 서울대 / 원자핵공학 ( 학사 )- DW, OLAP, BI 전문가 (20 년차 ) - 주요 프로젝트 삼성전자 , 신세계 , SKT 정보 분석 컨설팅 및 프로젝트 경험 다수

김택중 이사 / 개발자 국민대 / 경제학 ( 학사 )- SCM 공장 자동화 개발 전문가 (20 년차 )- 데이터 분석 및 빅데이터 개발 전문가- 현대자동차 빅데이터거버넌스 , LG 전자 , 삼성전자 등

최승필 과장 / 개발자 서울대 / 전기공학 ( 학사 ) Hadoop, R 분석 빅데이터 개발자- 핵융합연구소 , 코리아닷컴 등 다수 프로젝트

박정숙 부장 / 개발자 한국외대 / 전산과 ( 학사 ) Microsoft 개발툴엔지니어 , 오피스기술지원노원석 개발팀장 / 개발자 청주대 / 전산과 ( 학사 )

- Hadoop, Hive, Flume, Java, Node.js 등 빅데이터 개발자- 전파관리소 , 핵융합연구소 , 산업기술보호협회 프로젝트 다수

노승학 사원 / 개발자 고려대 / 컴퓨터공학 - Hadoop, Hive, Flume, Java, Node.js 등 빅데이터 개발자- KDN, 산업기술보호협회 프로젝트 다수

오태현 대리 / 개발자 상명대 / 소프트웨어공학 ( 학사 )

Hadoop, Hive, Flume, Java, Node.js 등 빅데이터 개발자- 신세계 빅데이터프로젝트 등 다수 프로젝트

장한길 사원 / 개발자 명지대 / 철학과 빅데이터 시각화 전문 개발자김진영 기획팀장 한국국제예술원 실용음악과 빅데이터 기술 기획김극호 서비스 기술 기획 대림대 경영정보과 빅데이터 기술 기획

8

Hadoop Ecosystem 빅데이터 플랫폼

제품 소개 기사 2. 제품 & 기술

9

수집 , 저장 , 처리 구성 요소에 대한 통합 및 상세 모니터링 기능과 함께 직관적인 작업 레벨의 관리 기능을 제공합니다 . (HDFS, Flume, Sqoop, Hive 관련 관리 기능 )

빅데이터 플랫폼 관리 서비스

제품 소개 I’mBee 2. 제품 & 기술

10

다양한 소스로부터 빅데이터를 수집하여 통합된 빅데이터 플랫폼 저장소에 저장하여 통합 고급 분석을 수행 가능하도록 하는 빅데이터 분석 플랫폼을 구성빅데이터 플랫폼 아키텍쳐

데이터고속수집

시각화 서비스( 조회 , 통계 )

HTMP5, JQuery, JSON

R 기반 분산화된 통계 분석 처리

빅데이터 관리자 Admin( 모니터링 서비스 )

Solr 검색 엔진( 검색 데이터 인덱싱 )

Hive : SQL on Hadoop 기반 분산 처리 프레임워크

대용량 빅데이터 저장소 (Hadoop, HDFS, NoSQL 기반 )정형데이터 , 반정형데이터 , 비정형데이터 수용

I’MBEE 빅데이터 플랫폼

수집 장비수집 시스템

수집 DB

수집 Data

통합고급 분석기존운영시스템 연동

기술소개 : 빅데이터 플랫폼 솔루션 2. 제품 & 기술

11

본 솔루션은 Hadoop 오픈소스를 통해 대용량 데이터의 수집 , 저장 , 처리 , 검색에 대한 최적의 기능을 지원함으로써 고객이 원하는 빅데이터 처리 성능을 제공함 .

빅데이터 플랫폼 시스템 아키텍처

시스템 아키텍처

기술소개 : 빅데이터 플랫폼 솔루션

Flume장비SourceChan-

nelSync

시스템RDB

수집 설정

Hadoop (HDFS)

Hive

Web Service / Node.js

Admin1. 수집

2. 저장 / 처리

6. 시각화

7. Job 스케쥴러

스키마관리

스케쥴러 설정

3. 고급분석

4. 검색엔진

RServe

Solr/Elas-tics-

earch

분석 모듈 ( 결과 )

검색 모듈( 결과 )

대시보드 수집설정 탐색시각화 통계조회 모니터링

Sqoop

Oozie

Storm or Spark stream-

ing

HBase (NoSQL)

5. 실시간 스트림 처리

Ma-hout

MapReduce

Pig

2. 제품 & 기술

12

- Hadoop 과 연동되는 다양한 오픈소스 생태계 형성 (Hadoop Ecosystem)- 오픈 소스 버전 호환성 유지가 중요함- 운영 , 보안을 위해서 기업용 상용 플랫폼 등장 (Cloudera, Hortonworks, I’mCloud)- 다양한 아키텍처 구성 가능

2. 제품 & 기술기술소개 : 하둡 에코시스템

13

하드웨어 구성 방법

수집서버

서버 구성

Hadoop 서버 (Name Node1)

검색서버분석 서버

조회 , 시각화 ,모니터링 서버

Hadoop 서버 (Name Node2)

Hadoop 서버 (DataNode1)Hadoop 서버 (DataNode2)Hadoop 서버 (DataNode3)Hadoop 서버 (DataNode4)

* Data 저장 부분은 Hadoop 대신 noSQL 로 구축 가능함

2. 제품 & 기술기술소개 : 하두웨어 구축 ( 예 )

14

용도 수량 서버사양네트워크 스위치 2 L2 Switch Gigabit 8

Hadoop Namenode 2 6core* 2CPU (12core)Memory 64GHDD SAS 15K 600G * 4

Hadoop Datanode 6 6core* 2CPU (12core)Memory 64GHDD SATA 3TB * 4

수집서버 2 6core* 2CPU (12core)Memory 64GHDD SAS 15K 600G * 4

검색서버 2 6core* 2CPU (12core)Memory 64GHDD SAS 15K 600G * 4

분석서버 2 6core* 2CPU (12core)Memory 64GHDD SAS 15K 600G * 4

관리서버 (Admin 서버 ) 1 6core* 2CPU (12core)Memory 64GHDD SAS 15K 600G * 4

* 하드웨어 사양 : Full Rack 기준 L2 스위치 2 개 , 전체서버 15 대 ( 상세 사양과 대수는 설계 과정에서 변동될 수 있습니다 .)

2. 제품 & 기술기술소개 : 하두웨어 구축 ( 예 )

15

수집 엔진 동작 방식 (Flume, Sqoop)

- 다양한 데이터 Type 수집 ( 정형 , 비정형 , 파일 )- 대용량 고속 Scale-out ( 분산병렬 서버 수집엔진 구성 )- 용도별 수집 엔진 구성 (Flume to Flume)- 수집 과정에서 MetaData 관리 ( 저장 스키마 , 수집 건수 , Time 생성 등 )- 저장하기 전에 데이터 전처리 과정이 필요하기도 함

Hadoop

Sqoop

Syslog, TCP/IP

JDBC

Hadoop API

Hadoop(HDFS)

비정형 데이터 (Log)

정형 데이터 (RDB)

File( 이미지 , 동영상 )

수집 저장 실시간 검색 분석 시각화

수집 Meta Data

Legacy

Sys-tem

2. 제품 & 기술기술소개 : 수집엔진 ( 오픈소스 )

16

HDFS 저장 Architecture (Hadoop)

- Data Node 는 논리적으로 Ring node 형태로 묶임- 64MB Block 단위로 Replication (Default 3)

수집 저장 실시간 검색 분석 시각화

A A A

B BB

2. 제품 & 기술기술소개 : 저장 , 처리 엔진 ( 오픈소스 )

17

NoSQL수집 저장 실시간 검색 분석 시각화

CAP 이론

일관성Consis-tency

모든 노드들은 같은 시간에 동일한 항목에 대해 같은 내용의 데이터를 사용자에게 보여줌

가용성Availability

모든 사용자들이 읽기 및 쓰기가 가능하고 여러 노드의 장애시에 다른노드에 영향을 주지 않음

PartitionTolerance

노드 간의 메시지 손실 ( 부분적 결함 ) 이 있어도 자동 복구되어 정상적으로 동작한다 .

RDB

NoSQL- Scale out- 분산처리- 파티셔닝- 복제

- Scale Up- 고성능- 고비용

2. 제품 & 기술기술소개 : 저장 , 처리 엔진 ( 오픈소스 )

18

Data Stream Process (Spark or Storm)수집 저장 실시간 검색 분석 시각화

Apache Storm : 실시간 데이터 분석 시스템Topology - 데이터 처리 흐름을 정의

- 데이터를 읽어올 스트림 정의-읽어드린 스트림 처리 로직 정의

Stream -Tuple 의 흐름을 스트림으로 정의함-Tuple 은 데이터 타입을 포함 및 정의

Spout - 스트림의 소스를 지칭하는 컴포넌트-Spot 는 하나이상의 스트림에 튜플을 전송함

Bolt -Topology 의 모든 처리작업을 Bolt 에서 진행-Bolt 는 스트림을 필요한 데이터 스트림으로 변환함

SpoutBolt

New Data Stream

Precom-putedBatch

RealtimeView #1

RealtimeView #2

Query

2. 제품 & 기술기술소개 : 실시간스트리밍 ( 오픈소스 )

19

검색엔진 (Solr)수집 저장 실시간 검색 분석 시각화

<Solr 의 주요 특징 >- Powerful full-text search, hit highlighting- Database integration, rich document (Word, PDF ..)- Dynamic clustering, distributed search and indexing

Lucene 기반의 검색 엔진최근에는 cloud 환경에 최적화된 clustering기능이 강화된 Elastic Search 오픈소스 등장

2. 제품 & 기술기술소개 : 검색 엔진 ( 오픈소스 )

20

빅데이터 시각화

수집 저장 실시간 검색 분석 시각화- 데이터 분석결과를 바탕으로 다양한 시각화 방법에 적용

2. 제품 & 기술기술소개 : 시각화 기술 D3, Node.js ( 오픈소스 )

21

D3 (Data Driven Documents)

시각화 D3 기술

수집 저장 실시간 검색 분석 시각화

Sample #3 : Featured MapSample #3 : 다양한 오픈소스 D3 컴포넌트들

2. 제품 & 기술기술소개 : 시각화 기술 ( 오픈소스 )

22

HTML5, JQuery, JSON, Node.js 등 표준적인 스크립트 개발 기술을 이용하여다양한 빅데이터 시각화 서비스 구현 ( 빅데이서 시각화에 최적화된 다양항 오픈소스 활용 )

Node.js

Client Web

Browser

HadoopHiveSolr

RFlumeSqoopOozie

Server-side

Script

Client-side

Script

ECMA Script, JSON, JQuery, HTML5, socket.io

Tool연동Inter-face

Bigdata Opensource

Server-side

Client-side

OpenSourceInter-face

외부Tool 연동

제품소개 : 시각화 솔루션 (D3 & node.js) 2. 제품 & 기술

23

제품소개 : 빅데이터 보안로그 분석 솔루션

ImBee for Security 는 아임클라우드의 Hadoop 기반의 빅데이터 플랫폼을 기반으로한 빅데이터 전용 보안 로그 분석 솔루션 입니다 .

Firewall

IPS

DDOS

대용량수집분산저장 및처리 검색 분석

보안 장비통합 관제

보안 위협통합 검색장기간 공격패턴 분석ImBee 빅데이터 플랫폼 (Hadoop)

[ 장비 통합 수집 및 관제 ] [ 보안 위협 상관 분석 ]

[ 통합 검색 및 iP추적 ]

ImBee for Security 개요

3. 구축사례

24

보안장비

…

[ 관리자 ]

Flume(collect)

Kafka(queue)

Alarm Server( 알람 추출 )

Node.js

Mongo( 운영데이터저장 )

App

Server( 응용어플 )

Node.js

Index Server( 로그포맷 정규화 )

Node.jsElasticSearch( 검색엔진 )

Syslog

빅데이터 보안로그 관리 시스템 구성도

(75대 )

수집 / 분배 처리 검색 / 저장 응용 사용자

(초당5000건 )

알람발생 DATA

시각화

제품소개 : 빅데이터 보안로그 분석 솔루션

Hadoop( 장기간보관 )

프로젝트 구축 사례 - 현대자동차 3. 구축사례

( 현대자동차 빅데이터 전사 글로벌 빅데이터 아키텍처 구축 프로젝트 ]Teradata 와 공동 수행

본 프로젝트의 빅데이터 거버넌스 관리를 위한 통합 프레임워크 수립 및 빅데이터 운영 , 보완 , 품질 , 표준 관리 방안과 Hadoop 어플리케이션 개발에 필요한 개발 방법론 수립을 수행 범위로 합니다 .

빅데이터 거버넌스 수립을 위한 데이터 / 보안 / 운영 관리 / 개발 체계를 포괄하는 통합 프레임워크 수립

빅데이터 거버넌스

프레임워크

빅데이터 시스템

운영관리

빅데이터거버넌스

프레임워크

빅데이터 보안 관리

빅데이터 품질관리

데이터 관리표준

빅데이터 시스템

개발방법론

수행 범위

빅데이터 시스템 운영에 필요한 운영조직 , 모니터링 , 장애 / 확장 관리 , 성능 / 버전 관리 체계 수립

빅데이터 시스템

운영관리

빅데이터에 대한 암호화 및 사용자 권한 관리 , 로그 분석 / 모니터링 관리 체계 수립

빅데이터 보안 관리

빅데이터 시스템과 기존 시스템의 통합적인 데이터 관리 체계 수립

데이터 관리 표준

빅데이터 수집 / 저장 / 활용 / 운영의 라이프 사이클 단계별 데이터 품질관리 체계 수립

빅데이터 품질 관리

Hadoop 어플리케이션 개발에 필요한 아키텍처 및 개발 표준 , 개발 기술별 활용 기준 수립

빅데이터 시스템

개발방법론

H 사 빅데이터 전사 거버넌스 컨설팅 (Teradata 와 공동 수행 )

26

통신 Agent

수집 변환 저장 추출

Hadoop

DataNode

DataNode

DataNode

Solr

R

Node.js

검색

통계분석

시각화웹서비스

웹브라우저HTML5, Javascript

웹 서비스 구현

분석 Rule

Flume

실시간수집

BASS실시간 알람

<Device>

Problem

Solution

- 대용량 Log 데이터 수집 (1T/day 이상 )- Data 손실 없는 수집 처리- 실시간 알람 기능 필요- 대용량 데이터 저장 필요- 대용량 데이터 검색 기능 필요- 통계적 기법 적용 분석 기능 필요

- 전력품질로그 , 보안로그 등 적용- 수집 전용 엔진 + 통신 Agent 연동- Flume 엔진의 Memory Cache- Hadoop Data Node 대용량 저장- Storm 적용 실시간 알람- Solr 적용 전체 Log 데이터 인덱싱- R 적용 시계열 분석 , 이상징후 분석

프로젝트 구축 사례 구현 Sample : 로그분석 ( 전력로그 ) 3. 구축사례

27

프로젝트 구축 사례 구현 Sample : 생산설비 센서 빅데이터 분석 3. 구축사례

Store, Batch (Hadoop)

3. Oozie 스케줄러

MR Job

Hive Job

HDFSIm-pala

Collection

-LogStash

1. Syslog 수집

2. 전처리-Node.js(CEP)

Kafka

센서수집프로그램분석프로그램실시간스트리밍

배치분석시각화

28

대시보드 –메인화면

step1. 서버 실시간 수집 건수 - 보안장비에서 들어오는 로그 건수를 실시간 (3 초단위 )으로 시간과 날짜별로 확인할 수 있는 화면

step2. 일일 수집 건수 - 보안장비에서 들어오는 로그 건수를 날짜별로 확인할 수 있는 화면

step3. 서버 상태 모니터링 - 실시간으로 서버의 CPU, Memory 등을 확인

step4. 보안 장비별 수집 건수 - 수집으로 지정된 보안 장비별로 전체 로그량을비교할 수 있는 화면

3 4

21

구현 UI Sample : 보안로그 분석 대시보드 3. 구축사례

29

검색 –지역 검색

step9. 국내 지역 별 타겟 IP 검색 - 국내 지점의 지역별로 로그 수집 현황을 검색할 수있음

* 화면은 경기도를 타겟으로 하는 IP 를 검색한 결과

step10. 국가별 소스 IP 검색 - 검색 조건 컬럼 선택이 가능하며 ( 콤보박스 )AND, OR 조건으로 조합 검색 가능

*Sample 화면을 보면 추적하던 167.25.104.154 IP 가브라질로부터 온 IP 임을 알 수 있음

910

구현 UI Sample : 보안로그 분석 검색 3. 구축사례

30

분석 - 군집화

step11. 군집화 ( 대역 ) - 장비 별 로그 수집 건수 및 내용을 시각적으로 확인할 수 있는 그래프

검색 결과 방화벽 ,I-TMS,J-TMS 중 방화벽에서 들어오는 로그가 가장 많음을 알 수 있으며 클릭 시 관련 IP 를 확인 할 수 있다 .

11

구현 UI Sample : 보안로그 군집분석 3. 구축사례

31

분석 –추적 관리

step13. IP 추적 라인 - 기간별로 IP 에 대한 보안 장비 경로를 추적하는 기능

* 화면은 군집화에서 이동한 2014/05/12 ~ 2014/06/05 기간에서 167.25.104.154 IP 를 검색한 경우이다 .

step14. IP 추적라인 내용 - 검색 결과 안쪽부터 방화벽 /IDS/IPS 를 지나3 개의 포트로 나뉘어져 지나갔음을 알 수 있다 .

13

14

구현 UI Sample : 보안로그 추적분석 3. 구축사례

32

대시보드 소개

1 2

43

Step1. 실시간 수집건수 - 전력로그의 실시간 수집 선수를 표현Step3. 서버 상태 표시- 메인 서버의 사용량등의 상태를 표시

Step2. 일일 수집건수- 전력로그의 일일 수집 선수를 표현Step4. 알람 발생 유형- 유형별 알람을 % 표시

구현 UI Sample : 전력품질로그 분석 대시보드 3. 구축사례

33

실시간 검색

Step1. 실시간 로그 검색- 실시간으로 들어오는 데이터를 관제Step3. 실시간 데이터 시계열 그래프 관제화면

Step2. 실시간 데이터 막대차트 관제화면

12

3

구현 UI Sample : 전력품질로그 실시간분석 3. 구축사례

34

알람 임계치 설정

Step1. 알람 설정- 장비 전력 임계치에 대한 설정을 할 수있는 화면 Step2. 알람 조회

- 알람 기록을 검색할 수 있는 화면

12

구현 UI Sample : 전력품질로그 임계치 알람설정 3. 구축사례

감사합니다COMPANY IMCLOUD

( 주 ) 아임클라우드 TEL : 02-6472-0410 E.mail : imcloud@imcloud.co.kr ⓒ 2014 IMCLOUD COMPANY ALL RIGHTS RESERVED

㈜아임클라우드 솔루션 문의이두식 대표 : dslee@imcloud.co.kr김진영 기획팀장 : jykim@imcloud.co.kr