exem big data · 2017-07-03 · 실시간 전송 batch analytics 데이터 전송 r/rstudio...
TRANSCRIPT
Smart Factory
EXEM Big Data
엑셈 하둡배포판 XDP
데이터 저장 및 처리
FlamingoAnalytics빅데이터 분석
FlamingoManagement
빅데이터 운영 및 관리
정형/비정형 데이터 분석 데이터 마트
IoTSensors
Web/SNS
Log
RDBMS
…
File
기상청
국토부
에너지공단 등
Crawler
ETL
ESB
Sqoop
Flume
SFTP/FTP
OpenAPI
Dashboard
Open API
Service
Service
Service
AnalyticsModule
Big Data PlatformManagement Data Catalog Open APIBig Data Infra
Management Data Management
Unified Big Data Query(SQL)
스토리지
분산데이터베이스
HadoopConnector
분석 도구
RStudio
TableauSpotfire
…
SPSSSAS…
비정형 분석
Data Integrator
Hive Pig Mahout
Flamingo MLlib
Spark In-Memory MapReduce
YARN(자원 관리)
R 통계분석엔진
비정형 분석 엔진
검색엔진
인증
HDFS(하둡분산파일시스템)
NoSQL
데이터 소스 수집 및 전처리 운영자/관리자 포털 사용자 포털
관리 통합
Data Lifecycle&
Governance
Falcon
Atlas
Data Workflow
Sqoop
Flume
Kafka
NFS
WebHDFS
TOOLS
Zeppelin FlamingoAnalytics
배치MapReduce
검색Solr/
ElasticSearch
HDFSHadoop Distributed File System
데이터 관리
보안
Administration
Authentication
AuthorizationAuditing
Data Protection
Provisioning,Managing,
&Monitoring
FlamingoManagement
작업
스케줄링
Ranger
Knox
Atlas
HDFS Encryption
Ambari
Cloudbreak
ZooKeeper
Oozie
스크립트Pig
SQLHiveTez
NoSQL
HBaseAccumuloPhoenix
Silder
스트림
StormSilder
YARN: 데이터 운영 체제
기타ISV Engines
인메모리Spark
데이터 엑세스
하둡(Hadoop)
알(R)
하이브(Hive)
플럼(Flume)
피그(Pig)
스쿱(Sqoop)
머하웃(Mahout)
스파크(Spark)
h3
h2
h1
v
W 3
W 2
W 1
RBM
SigmoidBeliefNetwork
h0 h0
X0
h0
X0
h3
X2
h2
X2X0
=
time
A A A A A
Convolutional layer
layer 1FC 6layer 2
layer 3 layer 4 layer 5
빅데이터수집 및 분석
의사결정 시나리오 및 서비스
공정 데이터의시계열 처리
OPEN API를 이용하여MES와 연동
제조 환경
설비의 센서
Gateway
MQTT
HTTP
TCP/IP
JMS
단말기
송신
송신
제조 빅데이터 기반 의사결정 클라우드 서비스 및 솔루션
제조 빅데이터 분석 클라우드 서비스 및 솔루션
빅데이터 분석 인프라 플랫폼
MES
연동
연동
Spark Sqoop TimeSeries
DB(TSDB)
MapReduce
Hive R PigData Hub SQL on Hadoop
Log Collector HDFS Cloud Storage Service
활용
활용
공정 운영 최적화
시간 동기화데이터정규화
데이터형식 변환 데이터 통합
클러스터링 유사도 판단/분석 의존도 분석
OPENAPI
OPENAPI
생산 계획 및공정 스케줄링
공정 및 제조비용 분석
공장의 생산목표 설정
품질 원인추적 및 진단
재고, 주문 및원자재 관리
시계열데이터 관리
워크플로우이력 관리 리소스 관리
저장소 관리워크플로우디자이너
프로비저닝관리
분석 작업관리
워크플로우레파지토리
알고리즘 모듈
전처리 모듈
의사결정 S/W(예시)
빅데이터수집 및 분석
의사결정 시나리오 및 서비스
공정 데이터의시계열 처리
OPEN API를 이용하여MES와 연동
제어기기
RFIDPLC기계
무선 M2M디바이스
프로토콜 프로세서 I/O
RFID/USN 터치스크린 모바일
유선 M2M디바이스
센서 I/O
시퀀서
Access Point
바코드리더
KIOSK
생산
빅데
이터
외부
연동
인터
페이
스
플랫폼 수집 보급형 스마트 디바이스
데이터 수집
데이터 필터링
구동기 제어 등의질의 처리
경량형 연산
현장 디바이스연결 상태 관리
생산자원 통합모니터링
생산공정 운영관리 실측변수 연동자동공정 시뮬레이션
설비 예지보전및 통합 관리
K-ICT 빅데이터센터
비정형수집기
소셜 분석 교육실습 분석(Flamingo)
교육실습 가상화상용클라우드
DB
창업자 인프라
중소 벤처
개발자
창업자
대학생
IoT 연계 실시간 스트림 분석 이용자 분석환경(Flamingo)
개발자 인프라
Apache Tajo
Apache Spark
Flum
e
Apache
DBMS
데이터 마트
Storm
Cascading
Sentry
Sq
oop
MapReduce
Hive R Pig
HDFS
SocialData
IoT 실증사업
R
Management
time1
windowat time1
windowat time2
windowat time3
time2
window basedoperation
time3 time4 time5
연동 인터페이스
설비의 센서
ISO/IEC30128
MQTT
HTTP
IOT 센서
송신
송신
Realtime Analytics
Flamingo
실시간 연동 및 예측 분석
실시간 인메모리 분석
one M2M
Kaf
ka
필터메세지 선별/변환
비식별화
예측모델
MQTT
FTP
HDFS
Kafka
MQTT
FTP
HTTP
Kafka
Realtime Distributed Message Broker
Spark Streaming
실시간 전송
Batch Analytics
데이터 전송
R/RStudio
시각화 분산애플리케이션
모니터링
Hive, Tajo,HAWQ
워크플로우 HDFS브라우저
Hadoop EcoSystem
기초통계 프로그램전처리 머신러닝 알고리즘
SQL onHadoop Spark ZooKeeper Sqoop
Hive
MapReduce
R Pig
Flume HDFS
예측모델
시각화
저장
HD
FS
MR, Spark모니터링
Oozie모니터링
서버자원모니터링
HDFS모니터링
Hive의 DB, Table, Partition 관리를 커맨드에서 스크립트로 작성하지 않고 UI를 통해 관리
쿼리 편집기에서 작성한 쿼리를 바로 수행하며, 수행 결과를 하단의 그리드를 통해 확인 가능