IIoT 데이터 문제 해결을 위한새로운 데이터 처리 방안
Smart FI Best Practice Conference 2018
㈜마크베이스이재훈본부장
• Industrial IoT Era
• Machbase Overview
• Key Features for IIoT Data
• Machbase Use Cases
Table of ContentsThe Database for Things Machbase
Industrial IoT Era
- 4 -Industrial IoT Era
SMARTX
SMART Grid SMART Farm SMART Home
SMART Factory SMART Logistics
SMART Health SMART City SMART Building
Smart X 시대의 도래
- 5 -
IoT/IoE Device 폭증
* Source : iot-analytics.com, 2014
Industrial IoT Era
- 6 -
Smart Things?
Big Data IntelligenceConnected
• TB, PB 데이터 볼륨
• 초당 수백만 데이터 수집,저장
• 인공 지능
• 머신 러닝
• 모델링, 예지보전 분석
• M2M(Machine To Machine), IoT(Internet of Things)
• 자동차, 발전소, 건축물, 각종센서….
Industrial IoT Era
- 7 -
Business 요구사항
Historical AnalysisCheck a specific
data point
Real-time Trend monitoringAnomaly detection
Alarm & NotificationTroubleshooting
Predictive MaintenanceReducing downtime
Past Present Future
Industrial IoT Era
- 8 -
IIoT 데이터 처리 환경 변화
데이터량폭증
Scan rate 고도화 추세500msec 10msec
저장해야 할 데이터 기간 및 용량 증가
센서 개수의 증가 분석 대상 데이터 범위 증가
기 구축된 시스템의 데이터 처리허용 한도 초과
오픈소스 솔루션의 기능 확장 및책임 소재 이슈 발생
전통적인방식은각각시스템에맞게별개의인터페이스로통신공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요
Industrial IoT Era
- 9 -
데이터처리요구량증가
1
1,000
100
500k10k 1M
Scan rate(초당)
# of sensor
Smart Factory 시대의데이터 처리 요구량
현재처리능력
Industrial IoT Era
- 10 -
무엇이 문제인가?
데이터가 없다?
데이터가 너무 많이 쏟아진다?
가시성 확보 어렵다?
분석하는데 높은 비용이 든다.
통제할 수 없는 문제의 영역
통제, 예측 가능한 수준으로
산업용빅데이터관리의
최종목적
Industrial IoT Era
- 11 -
새로운데이터처리제품필요
요구사항
데이터 증가에 따른 확장 기능(Scalability)
데이터 압축 저장
편리한 개발 및도구 통합 기능 제공
책임있는 기술 지원 및사후 관리
무정지 서비스 기능(High Availability)
IIoT에 적합한 기술 개발 로드맵 제시
초당 2백만 건 이상 고성능 데이터 입력 지원
+
Industrial IoT Era
Machbase Overview
- 13 -Machbase Overview
The Database for Things
10
10
11
01
01
01
10
10
110
10
101
10
101
10
10
11
01
01
01
10
10
11
01
01
10
10
10
10
01
01
01
10
10
00
10
10
11
01
01
01
10
10
10
01
01
10
10
10
00
10
11
00
10
01
01
10
01
0
Sensor/Machine Data
Analytics
BI
Management
ISV
Query
Results
IoT
OT IT
- 14 -
마크베이스포지셔닝
Machbase Overview
X 1000
x 10,000
x 1,000,000
x 100,000
Batch oriented Big Data Analytics
Text File
Old (minutes)Very Old (hours) Current (seconds)
HADOOP
Real-Time Big Data Analytics
Enhanced HADOOP Solutions
Splunk
Conventional AnalyticsBI Solutions
Columnar DBMS
Conventional OLTP/OLAP
ClusteredColumnar DBMS
ParStream
Machbase
Engineered System(ExaData)
In-Memory DBMS
Disk DBMS
Data Entry
Data Freshness
- 15 -
마크베이스기술
RDBMSTechnology
BigDataTechnology
데이터베이스
• 안정성,편의성,사용자 특성 감안
• 소프트웨어 개발 및 관리 편리
• 느린 성능, 소규모 데이터 처리 적합
• 노드및데이터증가에따른확장성부족
빅데이터솔루션
• 대용량 처리, 클러스터링
• 대용량 데이터 입력 및 처리에 특화
• 데이터베이스 사용자 편의성 부족
• 학습 및 유지보수 관리 매우 취약
Machbase
Machbase Overview
- 16 -
마크베이스 제품군
Machbase Overview
EmbeddedEdition
Machbase
EnterpriseEdition
StandardEdition
Fast data processing performance in a
single node
Big data technology revolution in
multi-nodes cluster
Real-time Edge Analytics for
IoT sensor data
3 types
Key Features for IIoT Data
- 18 -Key Features for IIoT Data
제안시스템구성도
설비센서빅데이터저장소 Machbase 5.0
Tag 비정형정형
Data Type
Data Store
정형
R SAS BI CustomData Analysis
Machbase5.0
RDBMS Hadoop
품질데이터
생산데이터
설비데이터
- 19 -
Machbase 5.0 Highlight!
수백억 건의 <센서, 시간>기준 초고속 데이터 접근
수년간의 통계 차트 ~ 분당 통계 차트 : 초고속 접근
연속적 데이터 분석을 통한 위험 포착 및 대응
다양한 조건의 데이터 시각화 도구 제공
Legacy 분석 툴과의 쉬운 연동
TagTable
RollupTable
STREAM분석
TagAnalyzer
StandardAPI
Key Features for IIoT Data
- 20 -
Tag Table• 수백억 태그 데이터에 빠른 저장과 초고속 태그 데이터 추출
• 테이블명은 “TAG”로 고정되고 Tag, Timestamp, Value 3개 칼럼 기본 구성
• Tag, Timestamp 기반 Partitioning 저장, 빠른 추출 가능함
TAG1
TAG1_value3
TAG1_value2
TAG1_value1
TAG2
TAG2_value3
TAG2_value2
TAG2_value1
… TAGn
TAGn_value3
TAGn_value2
TAGn_value1
TAG
Key Features for IIoT Data
- 21 -
Rollup Table• TAG 테이블 생성시 자동으로 생성되며 사용자 레벨에서 조작 불가
• 집계 시간 단위는 Second, Minute, Hour
• 집계 함수는 Minimum, Maximum, Average, Sum, Count
TAG1
TAG1_Rollup_SEC
TAG1_Rollup_MIN
TAG1_Rollup_HOUR
TAG2
TAG2_Rollup_SEC
TAG2_Rollup_MIN
TAG2_Rollup_HOUR
… TAGn
TAGn_Rollup_SEC
TAGn_Rollup_MIN
TAGn_Rollup_HOUR
TAG
Key Features for IIoT Data
- 22 -
STREAM• 소스 테이블과 타깃 테이블 사이에서 SQL 질의를 통해 실시간 데이터 변환
• INSERT INTO SELECT 구문을 통한 실시간 이벤트 필터링
• 동시에 다수의 STREAM 생성 및 실행 가능
INSERT INTO … SELECT …
Filter 1
Filter 2
Filter 3
source STREAM target
Key Features for IIoT Data
- 23 -
STREAM 예시
Sensor Data
Temper table
Event table
<“tag1”, 2018-05-12 11:32:41, 30><“tag1”, 2018-05-12 11:32:42, 70><“tag1”, 2018-05-12 11:32:43, 35>
INSERT INTO Event SELECT * FROM Temper WHERE VALUE > 60;
<“tag1”, 2018-05-12 11:32:42, 70>
Key Features for IIoT Data
- 24 -
Tag Analyzer• Tag 데이터에 대한 Fast Trend Monitoring 가능한 웹기반 대시보드
• 년,월,일,시,분,초, RAW 데이터에 대한 Drill Down Browsing 가능
• 좌우 50%, 100% 이동 등 다양한 차트 조작 기능 제공
Key Features for IIoT Data
- 25 -
System Architecture
TAG1 (real)
TAG1_Rollup_HOUR
TAG1_Rollup_MIN
TAG1_Rollup_SEC
TAG2 (real)
TAG2_Rollup_HOUR
TAG2_Rollup_MIN
TAG2_Rollup_SEC
… TAGn (real)
TAGn_Rollup_HOUR
TAGn_Rollup_MIN
TAGn_Rollup_SEC
Tag Table(virtual)
Sensor Data
Tag Analyzer
Key Features for IIoT Data
Machbase Use Cases
- 27 -
구성도
제지업체 Energy Storage System
제지공정내예지보전진단사전단계로 ESS 내 Tag 고속수집
Machbase Use Cases
DCS - OPC DA Client 수집 불가
기존 시스템 내 RDBMS 탑재
Tag 1000 개/초 수집이 어려움
OPC UA 가 아닌 프로토콜에서의 수집 방안 연구
OPC DA 서버와의 유연한 연동
초당 1천 Tag 이상 수집 및 1초 단위로 데이터 입력 진행
수집한 센서데이터의 Tag 값에 대해 재접속 시 자동 입력
OPC Client
OPC Data Access I/F
OPC Server Inner Layer
API Library
Workstation(DCS Real-Time Data)
Server(Real-Time
Historical Data)
Network
Network
Servers
OPC Client OPC Client
배경적용
효과
DCS
OPC DA Server
(Windows 7)
OPC DA Client
Machbase DBMS
for ESS Platform
Schneider Electric
Foxboro DCS
ESS 응용 플랫폼
Machbase
- 28 -
빌딩에너지관리시스템적용
빌딩에너지관리시스템의데이터수집개선을위한마크베이스도입및테스트진행
Applications
IoT Core
Security System
Machbase…
DATA Gateway
DATA Gateway
DATA Gateway MS-SQL수집속도한계
스마트아파트관리시스템빌딩에너지관리시스템
변경
• 빌딩 내 에너지 사용기기에서 발생하는 다량의 센서 데이터 등을 수집하는데 기존 RDBMS 속도 한계 인식
• 기존 대비 데이터 수집 주기를 더 줄여서 수집 가능하게 됨으로 성능에 만족. 현재 내부 솔루션 수정 예정
• 빌딩에너지 관리 시스템(BEMS)으로 시작하여, 스마트 아파트 관리 시스템으로 확장 예정
Machbase Use Cases
Event Data, log
- 29 -
지능형영상정보저장분석오산시 지능형 CCTV 영상 정보 저장 및 통계 분석 플랫폼
Machbase Use Cases
구성도
.
.
.
CCTV 1,500대
CCTV(지능형카메라)
IntelliVix(지능형영상분석)
비디오스트림
IntelliVix 서버 50대
• 객체감지/추적
• 이벤트감지
• 녹화/검색/재생/전송
• 번호판/얼굴 인식
객체메타데이터
이벤트감지메타데이터
마크베이스 통계 플랫폼
Machbase(시계열 Database)
Grafana(시각화 대시보드)
Machbase
DB서버 1EA
• 객체 매타데이터 저장
• 자동차/사람의 배회
이벤트 저장/조회
• 일 1,500만 건의
이벤트/객체 데이터 처리
Query
통계서버
• 도로별 안전 데이터 통계
• 차량 등 객체의
지역별/기간별
유동량/배회 통계분석
배경
• 인텔리빅스 내부 DB로는 모든 이벤트/메타 데이터저장을 못함
• 속도 및 DB Size 제약으로 최근 1개월 내의데이터만 보관
• 월/연인원, 차량/인구 유동량 등 통계자료 확보 못함
적용
효과
• 1년 이상의 전체 데이터 보관 가능하며, 향후 확장하여최대 5년간 보관 예정
• 교차로 등의 사건/사고 추이 분석을 위한 기초자료제공 및 대응 방안 수립을 위한 통계분석 활용
• 월별, 연별 유동량 및 배회 등 이벤트 패턴분석 기반마련
- 30 -Machbase Use Cases
Smart FactoryPackage
설비 결함 메커니즘 분석 솔루션
HMI
Wire
less
MC
UD
AQ
N-lite
N-lite
N-lite
N-Pro
N-lite
Stand
ard C
on
netivity Service
MQTT/TSN
OPC-DA
Ethernet
ManagementConsole
종합모니터링
Analytics예지정비
EventStatus
Web socket HTTPS/REST
Smart Factory Monitoring & Analytics
HTTPS/AJAX HTTPS/XHR
Ethernet TCP/IP
100만 EPSSimulation
Machbase
• 공정 빅데이터의 초고속 수집• 공정 분석 시간 단축• 예지보전 즉시화
Modbus
RS232
MQTT
Pub/Sub
OPC-UA /TSN
스마트팩토리 설비데이터 통합 분석
I-IoT OneWay Platform
POPSystem
HTTP Web Service
Big Data HUB Interface Service
ThingModel
ThingModel
ThingModel
Thin
g Co
nn
et Inte
rface Service
Sup
er S
pee
d E
ven
t In
terf
ace
Serv
ice
+
+
+ +
The FastestTime Series DBMS
MESSystem
APSSystem
ERPSystem
SCMSystem
Big Data Operation
Thank You
Website
Tel
:
:
:
www.machbase.com
02-2038-4606
Machbase Inc.
Smart FI Best Practice Conference 2018