new smart data analyzing · 2017. 9. 28. · sql커스텀분석 ... 단일장지점 없는...

41
v2.0 소개서 ㈜에버원소프트 TM Copyright 2017 EverOne Soft Inc, All rights reserved h t t p : / / w w w . e1soft . c o.kr 데이터분석, “빅데이터”을 만나다. 종래의 컴퓨팅 아키텍처의 존립을 위협하는 엄청난 량의 데이터로부터 실시간 비즈니스 가치를 도출하는 방법 SMART DATA ANALYZING for manufacturing Data BIGDATA ANALYZING

Upload: others

Post on 16-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

v2.0 소개서

㈜에버원소프트

TM

Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

h t t p : / / w w w . e1soft . c o.kr

데이터분석, “빅데이터”을 만나다. 종래의 컴퓨팅 아키텍처의 존립을 위협하는 엄청난 량의 데이터로부터

실시간 비즈니스 가치를 도출하는 방법

SMART DATA ANALYZING for manufacturing Data

BIGDATA ANALYZING

Page 2: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

01 데이터분석 이란?

03 EBAX 도입효과

02 What is EBAX?

04 Project Planning

01 데

이터분석

이란

?

Page 3: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 2 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

개요 01 데이터분석 이란?

데이터 분석은 컴퓨터와 다양한 과학적, 공학적 방법을 통해 데이터 속에 숨겨진 패턴을 발견하고, 그

현상을 올바르게 이해함으로 합리적 의사결정과 빠른 문제 해결 및 위험을 조기 대응하는 분야 입니다.

모든 결정을 데이터로

Mining

Analytics

Computation

Enrichment

Any Data

정량적 데이터

■ 숫자로 표현 가능한 수치데이터

■ 정형데이터 통계분석 적용

■ 객관적 결론

정성적 데이터 분석

■ 자연언어에 의한 서술로 표현되는 범주형 데이터

■ 비정형데이터 요약 적용

■ 주관적 결론

01 데

이터분석

이란

?

각종센서

WEB서버

설비PLC

산업로봇

데이터베이스

네트워크

보안데이터 Windows

온라인서비스

모바일데이터

문제해결

위험대처

패턴,군집

회귀,분류

머신러닝

의사결정

Page 4: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 3 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

시각화 01 데이터분석 이란?

데이터 분석의 결과를 그래프 등의 형태로 시각화 하는 목적은 숫자나 문자만으로 발견하기 어려운

데이터 속 패턴 또는 관계를 한눈에 발견하기 쉽도록 해, 보다 쉽게 의사 결정할 수 있도록 돕습니다.

01 데

이터분석

이란

?

시계열 데이터 예측

선형관계 데이터 회귀 분석

텍스트 마이닝(Word Cloud)

수치 자료형 시각화

범주형 데이터 시각화

Page 5: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

01 데이터분석 이란?

03 EBAX 도입효과

02 What is EBAX?

04 Project Planning 02 W

hat is

EBAX?

Page 6: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 5 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

개요

데이터분석 플랫폼인 EBAX는 모든 형태의 데이터에 대하여 자동수집 및 통합저장을 지원하는

시스템으로, 실시간 검색, 이벤트 탐지, 분석, 모니터링이 가능한 대용량 데이터 분석을 위한 최적의

플랫폼입니다.

02 What is EBAX

02 W

hat is

EBAX?

Monitoring

Collection

사용자모니터링설정 실시간데이터감시 알림서비스

수집단위별 관리 컬렉션관계설정

Analytics 컬렉션간 연계분석 다차원분석및 실시간분석 SQL커스텀분석 분산 R 통계 분석

RealTime Find & Trend 원크릭저장 조회 사람중심인터페이스 조회결과저장및 공유

Page 7: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 6 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

특장점

EBAX는 하둡 기반의 빅데이터 플랫폼으로서 빅데이터 시스템을 구축하고, 분석하는데 필요한 모든

기능을 제공. 범용 x86서버와 네트워크 장비에서 구성이 가능하고, 확장성과 경제성이 검증된 대용량

데이터를 수용, 처리하는데 최적화되어 있습니다.

비용효율성

수평확장성

정형/비정형 이미지/ 데이터 수집

•데이터 3중화로 안정성 확보

•메타정보 이중화

•서비스 고가용성 확보

•증설 시 비례적으로 성능 향상

•수집/저장/분석 독립적 증설

•수집/저장/분석 성능 선형 확장

•분산 저장 및 병렬처리 적용

•분산 복제를 통한 수평 확장

• TEXT RAW 데이터에 대한

실시간 표준 SQL 분석

•실시간 관제, 검색, 분석

• 회귀, 패턴, 분류, 군집 분석

•클러스터 이용한 머신러닝

•정형 / 비정형 / 이미지 지원

• File, XML, CSV, JSON, ……

•기존 솔루션 API 호환 및

분석 기능 내재

다양한 분석

다양한

형식의

분석

대상

지원

단위

별 독립적

증설

구조

데이터 병렬 분석

저가 x86기반 高 가용성 구조

02 W

hat is

EBAX?

02 What is EBAX

Page 8: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 7 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

주요 기능

HDFS 기반의 대용량 분산처리로 저비용 고가용성, 안정성

보장

손쉬운 노드 추가로 Scale-Out지원

단일장애지점 없는 고가용성 및 분산 병렬처리를 통한 응답성

향상

대량 데이터 분산저장을 통한 빠른 처리 및 데이터 집합 관리

실시간 인덱싱 처리에 의한 검색, 분석

Dash board에 의한 직관적인 빅데이터

모니터링

Any Data source 파싱이 가능하며 실시간 Low Latency, 저부하, 안정성으로

데이터 수집

특정 데이터에 대한 실시간 분산 스트리밍 데이터 처리(Fault, Event…) 가능

정형 데이터 부터 이미지등 Binary 파일 및 다양한 Log성 비정형

데이터의 실시간 수집

고성능의 쉽고 편한 사용자 프로그램 탑재로 수집데이터의

전처리 파싱 및 후처리 가공 기능 제공

운영중인 시스템의 변경 없이 간단한 수집 Agent의

설치만으로 즉시 데이터 수집 가능.

Java기반의 Agent 운영으로 다양한 Legacy 시스템 지원

정형, 비정형, 이미지(Binary) 데이터의 고속 수집

표준 SQL 및 R 기반의 다양한 데이터 분석 기능

빅 데이터 기술을 활용한 분산처리 및 병렬처리 지원

다양한 사용자 정의 검출 함수 및 검출 패턴 정의

In-memory기반으로 Stream Intercept Processing를 통한

다양한 고속의 Event Stream을 실시간(Real-Time) 분석

대량의 데이터를 수집과 동시에 실시간 데이터 검출기능

표준 SQL 을 통한 검출 및 Flow, 이탈검출 등 다양한 방법 제공

간편한 UI를 통해 원클릭 설정 및 다양한 실시간 알람 기능

실시간 Stream 분석을 통한 데이터 검출

02 W

hat is

EBAX?

02 What is EBAX

Page 9: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 8 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

시스템 구성도

Dashboard

• 표준 SQL 통한 실시간

차트추가 기능

• 분석 별 상세 데이터 연동

• 사용자레이아웃변경기능

• 다양한 고급 기능 제공

Find

• 실시간 FullText 검색

• 표준 SQL 통한 다양한 검색

• 검색결과 저장 기능

• 그룹핑을 통한 통계기능

• 사용자정의 필터 기능

SPC

OPC Server

데이터 마이닝

품질정보

각종 PLC 및 디바이스 설비 정보

관리자

분석담당자

데이터마이너

DB데이터

Detect

• 실시간 SQL 검출

• Flow 이벤트 검출

• Stream 머신러닝

• 회귀분석, 패턴인식

Analysis

• SQL, R 통한 다양한 분석

• 스트림 분석 및 정적 분석

• 사용자별 동적분석 결과저장

• 단일 및 다중 검색결과 차트

비교 검색

품질담당자

지표데이터 분석

Collection

• 컬렉션 동적 추가 삭제,복제

• 데이터 스키마 자동 추출 및

필드 동적 추가 제거

• 사용자 파싱 프로그램 탑재 및

자동 구문분석 기능

Config

• 사용자 동적 추가 및 권한

그룹 관리 기능

• 사용자별 컬렉션, 필드 관리

• 사용자 검색, 분석 정보 설정

및 저장 기능

품질 검출 및 분석

데이터 모니터링

데이터분석 플랫폼인 EBAX는 실시간 검출, 모니터링/관제 및 빠른 데이터 검색기능을 기반으로

사용자가 원하는 다양한 시각화 기능을 제공합니다.

02 W

hat is

EBAX?

02 What is EBAX

WEB서버 로그정보

데이터베이스

정형 데이터

비정형 데이터

SAS/SPSS

Page 10: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 9 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

소프트웨어 아키텍처

100% OSS(Open Source Software)로 구성된 EBAX는 원본 데이터의 3중 복제로 더욱더 안전하게

데이터를 보관하며 분산처리로 최적의 성능을 발휘하는 All In One 플랫폼 입니다.

02 W

hat is

EBAX?

02 What is EBAX

Page 11: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 10 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

하드웨어 아키텍쳐

EBAX는 하둡 기반의 빅데이터 플랫폼으로서 보다 저렴한 X86 장비로 시스템 구성이 가능하며 원본

데이터 보호(데이터 3중 복제) 및 분산 처리에 최적화 되어 있습니다.

02 W

hat is

EBAX?

02 What is EBAX

er

Collect -1 Collect -1

Cluster Management

Collect - 1 Collect - 2

StandBy Name Node

Work Node-1 (DATA)

Work Node-2 (DATA)

Work Node-3 (DATA)

Work Node-13 (DATA)

1

2 3

5

6 7 8 18

역활 대수

Cluster Management 1 EA

Collect 2 EA

Name Node 2 EA

Data Node 13 EA

합 계 18 EA

DATA NODE(13 EA) 사양

Disk (Max) 750 TB

Memory 512 GB / Server

CPU 2Processor 28Core / Server

Master Name Node

4

Page 12: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 11 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

클러스터 아키텍쳐

EBAX는 하둡 기반의 빅데이터 플랫폼으로서 간편하게 서버 추가 및 클러스터 수평 확장(Scale Out)이

가능합니다.

02 W

hat is

EBAX?

02 What is EBAX

Agent

Agent

Agent

Agent

통합 Cluster Management

Page 13: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 12 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

네트워크 아키텍쳐

서버 장비별 Ethernet 이중화 구현 및 Cluster Network Switch 이중화로 네트웍 장애에 대한 FAULT-

TOLERANT 및 네트웍 성능에 대해서 최적으로 설계, 구성합니다.

02 W

hat is

EBAX?

02 What is EBAX

Page 14: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 13 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

주요 흐름

02 W

hat is

EBAX?

Data Source

데이터 모 링

일반센서

가상센서데이터 수집

스 모 링 검출

분석

시각화

스 관리

스 이 관리

스 비교

설정

OCAP 사 처리 종결

단일센서

다중센서실시간

Pivot Drill-Down SQL Historical Predict

대시보드 리

데이

터소

스데

이터

수집

검출

분석

시각

EBAX는 고객의 데이터를 수집/검출/분석/시각화에 이르기까지 단계별 기능을 단일 환경에서

제공합니다.

02 What is EBAX

Page 15: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 14 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

주요 기능

02 W

hat is

EBAX?

Normal Band 데이터 검출은 물론 Multi Band,

Step Band, Tunnel Band, Rule Band등 다양한

검출 패턴 제공

사용자 정의 검출 패턴 정의 기능 제공

패턴에 따라 검출된 데이터에 대한 Alarm 및

Fault 처리 규칙 정의기능 제공

장비에서 수집되는 데이터에서 Sensor를

선택하여 데이터 Modal구성 기능 제공

기준정보(Min, Max, Std, Dev)를 등록하고

실시간으로 데이터를 분류 하는 기능 제공

수집된 데이터를 이용한 수식을 적용한 가상

파라메터 기능 제공

수집되는 모든 데이터를 실시간으로 조회

다양한 조건을 WIGIWYG 기반으로 검색하고,

다양한 이벤트를 추출하여 실시간 대시보드로

구성

Analytic API 제공으로 실시간 통계를 통한

트랜드, 시계열 분석

분산 R을 통한 다양한 통계 분석

분산 메모리기반의 머신러닝

모든 내부 시스템, 데이터 소스를 하나의

대시보드에서 실시간으로 모니터링

사용자 정의 대시보드 구현 및 사용자간 공유

Graphic Monitoring 기능으로 다양한 형태의

데이터 뷰어 제공

특정장비의 Real-time chart 및 다수장비의 Multi

Data trace 기능 제공

02 What is EBAX

Page 16: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 15 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Dashboard(1/4)

02 W

hat is

EBAX?

수집 데이터 상태를 SQL 및 UI 조작만으로 대시보드에 즉시 시각화 표시

02 What is EBAX

사용자가 직접 등록 관리할 있으며 자유로운 초기화면 구성 가능

기존 추가된 대시보드를 개별적으로 삭제/결합 할 수 있는 기능 제공

표준 SQL을 통한 다양한 대시보드 생성

대시보드 등록, 수정, 삭제가 용이

다중의 대시보드를 등록 할 수 있으며

비교, 분석시 용이

다양한 차트 옵션 제공

사용자 정의 Dashboard 기능

Page 17: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 16 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Dashboard(2/4)

시각화 차트, 그래프에서 다양한 방법으로 직접 데이터를 조회를 수행하는 기능

02 What is EBAX

차트, 그래프상에서 직접 데이터 조회

02 W

hat is

EBAX?

Drag

대시보드 차트 Drag, Click 할 경우 실시간 상세 데이터와 연계 가능

Page 18: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 17 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Dashboard(3/4)

사용자가 직접 SQL 등록하여 대시보드에 즉시 시각화 표시

02 What is EBAX

SQL 사용한 간편 대시보드 등록

02 W

hat is

EBAX?

다양한 옵션 설정 및 변경 가능

SQL 검증 가능 ( * )

Page 19: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 18 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Dashboard(4/4)

서버의 상태(Health Status) 를 실시간 모니터링 하는 대시보드 기능

02 What is EBAX

02 W

hat is

EBAX?

Page 20: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 19 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Find / Filter

02 W

hat is

EBAX?

실시간 수집된 데이터에 대해서 분산 병렬처리를 통한 실시간 데이터 검색 및 분석.

02 What is EBAX

다양한 필터를 통한 쉬운 검색조건 제공 및 빠른 검색

① ②

(1) 검색하고자 하는 컬렉션, 센서 개별조회 및 통합 조회 기능

(2) 검색 필터 조건을 클릭 & 드래그로 추가하여 사용자가 원하는 데이터를 쉽고 직관적으로 빠르게 검색 하는 기능

(3) 검색결과에 대한 결과를 시계열 트랜드 차트로 조회 ( 차트 확대 및 취소 기능, 차트 클릭한 구간 확대 기능 )

(4) 검색된 상세 데이터에 대해서 그리드 형태로 상세 조회 ( 원본 로그 조회 및 상세보기 지원 )

Page 21: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 20 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Find / Analytic

02 W

hat is

EBAX?

실시간 수집된 데이터의 분산 병렬 처리를 통한 실시간 데이터 검색 및 분석.

02 What is EBAX

대량의 데이터에 대한 실시간으로 다양한 통계분석 및 트랜드 분석

① ②

④ (1) 검색하고자 하는 컬렉션, 센서 개별조회 및 통합 조회 기능

(2) 그룹 필드와 통계 함수를 사용하여 그룹 차트 조건을 추가하는

기능 (MIN, MAX, AVG, STDDEV, SUM, COUNT …)

(3) 검색한 데이터의 결과를 통계차트로 시각화

(4) 검색한 데이터에 그룹 필드를 추가하여 그룹 별로

통계/분석 할 수 있는 기능

Page 22: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 21 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Find / SQL

02 W

hat is

EBAX?

실시간 수집된 데이터의 분산 병렬 처리를 통한 실시간 데이터 검색 및 분석.

02 What is EBAX

사용자가 직접 표준-SQL를 실행해 검색 및 분석 수행

③ (1) 표준 SQL를 이용하여 다양한 분석 수행 ( 정의되지 않은 FullText 데이터 분석시 유용하게 사용 )

(2) 검색된 결과를 차트로 분석 하는 기능

(3) 검색된 데이터를 그리드 형식으로 확인 하는 기능

Page 23: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 22 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Find / MyFind

사용자 데이터 검색 규칙(필터)을 저장해서 즐겨찾기로 관리하고 다른사용자에게도 공유 기능

02 What is EBAX

저장된 조건을 불러와서 데이터를 검색하는 기능

My List 사용자가 등록한 조건을 볼 수 있는 기능

공유 List 타 사용자가 공유한 조건을 볼 수 있는 기능

History List 사용자가 검색한 이력을 볼 수 있는 기능

데이터 검색 후 조건을 저장하기 위한 기능

공유여부 다른 사용자 공유 여부

대시보드 사용 여부 대시보드 등록 가능 여부

Filter 사용자가 등록한 조건 정보

Page 24: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 23 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Find / Offline Detect

과거 데이터에 대한 검출 실행이 필요한 경우 오프라인-검출 사용.

02 What is EBAX

검출 실행 내역

원본 대상 데이터 원본 검색 기능

상태 검출결과 내역 조회 기능

검출 실행 등록

Rule Tree 검출에 사용할 Rule Item 선택하는 기능

Execute (오프라인) 검출을 실행하는 기능

Page 25: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 24 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 –Detect(1/3)

실시간 데이터에 대해 Sequence 검출, 통계기반검출, 패턴 검출, SQL 검출 등 다양한 검출 기능.

02 W

hat is

EBAX?

02 What is EBAX

Rule Name 검출그룹과 생성할 시퀀스 이름을 입력

Descript 생성할 검출기의 설명을 입력

Detect Host 생성할 검출기의 호스트를 설정

Limit 검출 액션의 순서에서 시작과 끝의 제한시간을 입력

Result Save 검출의 성공/실패 저장유무를 선택

Active 검출의 일시 정시, 푸시 메세지 여부를 선택

Collection 검출할 컬렉션을 선택

Sequence 검출할 Action을 순서로 '+' 버튼으로 하나씩 추가 후 ADD 버튼으로 Action을 추가

Sequence Rule 등록한 Action 순서와 정보가 맞는지 확인

Multi Group Value Group Field의 다중값 허용여부

Sequence Field 검출하고자 하는 필드를 선택

Group Field Group By할 필드를 선택

Filter 조건 추가 기능

Sequence (순서)검출

Page 26: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 25 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 –Detect(1/3)

실시간 데이터에 대해 Sequence 검출, 통계기반검출, 패턴 검출, SQL 검출 등 다양한 검출 기능.

02 W

hat is

EBAX?

02 What is EBAX

Sequence Rule - Config

Sequence Config Sequence Rule에 등록된 각각의 Sequence마다 조건을 추가, 수정 기능

Step Time Limit Sequence 검출의 스탭간 소요시간 조건을 등록하여 스탭간 소요시간 검출 가능

검출의 스탭간 소요시간을 검출하여 시각화 가능

Page 27: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 26 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 –Detect(2/3)

실시간 데이터에 대해 Sequence 검출, 통계기반검출, 패턴 검출, SQL 검출 등 다양한 검출 기능.

02 W

hat is

EBAX?

02 What is EBAX

Event Name

검출그룹과 이벤트 이름을 입력

Collection

검출할 컬렉션을 선택

Auto 검출의 자동, 수동을 선택

패턴식 검출의 정규식을 입력

Filter 조건 추가 기능

Digit Name

검출그룹과 이벤트 이름을 입력

Descript 생성할 검출기의 설명을 입력

Collection

검출할 컬렉션을 선택

Column 자리수 검출할 컬럼명 선택

Limit 검출할 자리수 입력

Filter 조건 추가 기능

Overflow Name

검출그룹과 이벤트 이름을 입력

Descript 생성할 검출기의 설명을 입력

Collection 검출할 컬렉션을 선택

Column 이탈값 검출할 컬럼 선택

Overfolw Type

검출의 타입을 선택

Value 검출할 값을 선택

Filter 조건 추가 기능

Event(패턴검출) Digit(자릿수검출) Overflow(이탈값검출)

Page 28: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 27 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 –Detect(3/3)

실시간 데이터에 대해 통계기반 검출 기능.

02 W

hat is

EBAX?

02 What is EBAX

Statistic (통계기반)검출 Rule Name 검출그룹과 생성할 룰 이름을 입력

Descript 생성할 검출기의 설명을 입력

검출항목 검출할 실시간 대시보드 선택

Active 검출의 일시 정시 여부를 선택

검출형태 통계기반의 상한값/하한값, 연속증가 또는 감소 선택

Spec-Out 횟수 검출의 이탈값 횟수

상한값(USL) 자동등록, 수동등록 선택 과거 N 개 평균,최대,최소 값의 몇 % 등록

하한값(LSL) 자동등록, 수동등록 선택 과거 N 개 평균,최대,최소 값의 몇 % 등록

형태(연속증가/감소) 연속증가, 연속감소, 연속증가 또는 감소 선택

횟수 검출의 이탈값 횟수

Alam Type 검출 발생시 알람 방법 선택

Page 29: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 28 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Collection / 관리 (1/2)

02 W

hat is

EBAX?

수집데이터 (컬렉션)별로 동적 관리 기능 및 UI를 통한 데이터 수집규칙등록

02 What is EBAX

수집데이터 규칙 등록

컬렉션 생성할 컬렉션 이름을 입력하고 그룹을 결정

필터옵션 로그를 복사하여 추출 시 데이터 타입 별로 파싱 된 데이터가 하단에 키, 벨류 값으로 변경

기준시간 메세지 로그의 시간을 선택

시간 멧 Ex) yyyy-MM-dd HH:mm:ss.SSS 형태로 변경

필드추가 ADD 버튼 클릭 시 필드 추가

전처리 전처리 프로세스 설정

처리 후처리 프로세스 설정

Alias 추출한 필드 별 Alias 변경 및 적용

타입 필드 타입 설정 ( 문자, 텍스트 , 정수, 실수 )

Page 30: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 29 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Collection / 관리 (2/2)

02 W

hat is

EBAX?

수집데이터 UI를 통한 처리 데이터 규칙 등록

02 What is EBAX

수집데이터 처리 규칙 등록

필드정렬 필드 정렬 ( A – Z ) 기능

CUSTOM 파싱 사용자가 입력한 Parser를 선택 가능

파일 수집 정보 단일 라인, 멀티라인 선택 가능

파일 수집 확인 오프라인으로 로그를 남기는 기능

보관주기 데이터의 보관주기 일자

Fulltext Fulltext 인덱스 기능 사용유무

Page 31: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 30 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Collection / 프로그램처리

02 W

hat is

EBAX?

수집데이터 (컬렉션)별로 Javascript 언어를 통해 데이터 수집 전 처리를 정의하는 기능

02 What is EBAX

전처리 프로세스 정의

전처리 프로세스는 전체 이벤트에 대해서 정규식/프로그래밍을 통해서 개별 필드를 세밀하게 구문분석 및 처리할 수 있는 기능 동적 주입 가능하며 간편 API 제공 및 고성능의 전처리 분석 엔진 탑재

처리 프로세스 정의

현재의 이벤트(로그)에서 특정 필드 이후 발생 할 이벤트에 의해서 데이터가 참조 업데이트 되는 기능 가령 특정 트랜젝션의 소요시간 , 성공/실패가 이후의 이벤트에 의해 결정 될 때 마스터 이벤트에 값을 갱신 등.

Page 32: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 31 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – File Importer

로그파일(데이터파일)을 통한 데이터 적재. (실시간 에이전트를 통한 데이터 수집과 별개)

02 What is EBAX

02 W

hat is

EBAX?

오프라인 로그데이터를 직접 올려 분석 하는 기능

Event Name 이벤트명 입력

Collection 해당 파일을 올릴 컬렉션 선택

기준 일자 해당 파일을 올릴 일자 선택

Immediately

작업의 예약 여부 선택

Reserve 예약 일자 선택

Event Files Add Files 선택하여 올릴 파일 선택

Page 33: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 32 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

상세기능 – Config / 부가기능

컬렉션 수집 통계, 사용자 검색 통계 모니터링 기능

02 What is EBAX

컬렉션 수집 통계

02 W

hat is

EBAX?

컬렉션 별 일자 별 수집 되는 개수와 용량을 확인

할 수 있는 기능

사용자 별 일자 별 검색 현황과

검색 상세 내역을 확인 할 수 있는

기능

사용자 검색 통계

Page 34: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

01 데이터분석 이란?

03 EBAX 도입효과

02 What is EBAX?

04 Project Planning

03 EB

AX 도

입효과

Page 35: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 34 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

차별화 요소 03 EBAX 도입효과

03 EB

AX도입효과

장비 및 소프트웨어 일체의 최적화 구성으로 복잡한 과정 없이 간편하게 설치 운용할 수 있는 솔루션 제공

장비 및 솔루션 일체

외산 솔루션과 달리 국내현실에 맞는 빠른 유지보수와 강 한 기술지원

유지보수 및 기술지원

비정형/정형 데이터 수집부터,가공저장, 패턴검색, 분석기능,데이터 검출, 규칙기반 림 기능까지 한 시스템에서 통합적으로 제공

데이터 통합처리기능

저비용, 고 가용성

빅 데이터 기술적용으로 저 비용으로 선형 확장 가능한 성능과 고 가용성 실현 (SCALE-OUT, H/A 실현)

Page 36: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 35 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

(S사)사례 - 도입배경 03 EBAX 도입효과

03 EB

AX도입효과

FAB 라인내에서 발생하는 다양한 형태의 대량 메시지에 대한 실시간 감지를 통해 설비 이상점 및 시스템

변경점 전/후 이상 증상을 조기에 발견하여 장애 사전 예방 및 이상점 분석 효율을 향상하고자 함.

잘못된 이벤트가 보고되지 않는가?

패치 전후로 에러가 증가하는가?

메시지 유실이 발생하지는 않는가?

설비 알람이 다발하는가?

실시간 로그 확인이 되는가?

CST/LOT/Glass별 실제 발생 로그 확인

연관 분석의 어려움 존재

대량의 Data

-제어 Event만 1시간 xxx건 발생

다양한 이벤트

- xxx개의 MSG 존재

설비 별 다양한 대량 메시지

MES 시스템

RTD RMS DES

MOS APC SPC

MCS FDC W/P

DB

정형

SMS

AMS 로그

비정형 TEXT Binary

데이터 발생량 (Event Traffic : 5k ~ 10k/s) 보관주기 (단위 : 일)

Total Size (단위 : Tbyte) SECONDS HOURLY DAILY

10 MB 36 GB 864 G 30 26 TB

Page 37: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 36 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

(S사)사례 - 도입효과 03 EBAX 도입효과

03 EB

AX도입효과

대용량 데이터 수용을 위한 비용 효율적인 Scale-out 병렬 처리 구조로 전환되어 실시간 공정 프로세스 통계, 조회,

모니터링이 가능하고, 선제적 공정 프로세스 구축을 통한 공정상 문제점에 대한 즉각 조치를 수행 가능

• 빅데이터 상세조회

불가

• 로그 저장을 위한

장비 추가 증설

비용

• 실시간 검색 통한

품질 분석 프로

세스 향상

• 기존 DB 시스템으

로 처리 불가능한

조회 가능

기존 RDBMS 구조를 탈피한

수평확장 구조의

비용효율적

대용량 데이터 수용

실시간 품질 정보 통계 및

통보/적재 시스템 구축 통한

수평 확장 구조의 실시간

품질 모니터링 실현

개선사항 주요효과

Page 38: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 37 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

(S사)사례 - 비용절감 03 EBAX 도입효과

03 EB

AX도입효과

메시지 순서 검출 및 메시지 유실 실시간 파악이 가능하며 대용량 데이터에 대해 실시간 검색이 가능하여

장애 인지 시간 및 장애 처리시간이 획기적으로 개선됨.

기존) 장애 인지 시간 : 3시간, 장애 처리시간 : 3시간

EBAX 도입) 장애 인지시간 5분이내, 장애처리 시간 20분 이내 처리

장애 발생 처리

메시지 유실 2건 장애 / 투자금액

1.7억 / 1.8억 = 94% 투자회수 효과

비용절감

Page 39: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

01 데이터분석 이란?

03 EBAX 도입효과

02 What is EBAX?

04 Project Planning

04 P

roje

ct P

lannin

g

Page 40: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을

- 39 - Copyright ⓒ 2017 EverOne Soft Inc, All rights reserved

개발일정 04 Project Planning

04 P

roje

ct P

lannin

g

항목 분석 및 설계 개발 안정화

M+1 M+2 M+3 M+4 M+5 M+6 M+7 M+8

주요 일정

분석

업무프로세스 정의

요구사항 모 링

설계

디자인 설계

기능상세화 설계

구현 세부 기능 개발

시스템 오픈

테스트 및 안정화 지원

착수 시스템Open

분석 및 컨설 진행

데이터 수집 설계

시각화 설계

제안사 ,고객사 협업진행으로 모듈선정 및 커스터마이징 범위확정

제안사 비상주로 집중 기술지원

안정화 지원

수집데이터 분석

• 제시하는 개발일정은 완전한 설비데이터 수집 상황에서 진행하는 일정이며, 실행 일정은 업무에 따라 고객과 협의 확정 함

테스트

EBAX 솔루션은 초기 안정적으로 운영할 수 있도록 데이터 컨설팅 및 시각화 운영을 지원하기 위해 일반적인

경우의 개발 일정을 다음과 같이 지원 합니다.

주요 모듈적용

Page 41: New SMART DATA ANALYZING · 2017. 9. 28. · SQL커스텀분석 ... 단일장지점 없는 고가용성 및 분산 병렬처를 통한 응답성 향상 대량 데이터 분산저장을