rte 개념에기반한 산업별통합시스템구축사례 · 2005-06-13 · 목차 • rte...
TRANSCRIPT
목 차
• RTE 기반 통합 시스템 구축 개요데이터 통합 이슈의 증대
실시간 통합 방안
통합 시스템 구축 효과
• 산업별 구축 사례제조 산업
통신 서비스 산업
유통 산업
금융 산업
• 구축 경험 담론
효율적인 정보 관리의 요구 조건
• 단순화정보의 통합
최상의 방안은 단일 데이타베이스로 모든정보를 통합하고 공유하는 것 : “Data in One Place”
• 표준화전사 정보의 의미 및 표현 형태의 표준을수립하고 이를 기반으로 중복성 제거
• 자동화정보 관리 프로세스를 최대한 자동화
단순화
자동화
표준화
Information
Driven
Enterprise
목표 : 정보 관리의 Gap을 최소화하여 실시간대응성을 극대화
데이터 통합 이슈의 증대
현재 운영하고 있는 기존의 데이터는 단위 업무 시스템 위주로 단계적으로 구축
다양한 정보 요구의 증대에 따라 각 단위 시스템간의 통합 정보 요구의 발생
각 단위 시스템 간 통합 정보를 가져오는데 많은 비용이 요구 됨
가치 정보의 신속한 제공 및 실 시간 대응의 필요성 증대
현재 운영하고 있는 기존의 데이터는 단위 업무 시스템 위주로 단계적으로 구축
다양한 정보 요구의 증대에 따라 각 단위 시스템간의 통합 정보 요구의 발생
각 단위 시스템 간 통합 정보를 가져오는데 많은 비용이 요구 됨
가치 정보의 신속한 제공 및 실 시간 대응의 필요성 증대
단위시스템 A
단위시스템 B
단위시스템 C
인터페이스 인터페이스
신 단위시스템
주요 문제점 :- 각 단위 시스템 간 인터페이스가 전체 사용 Resource의
상당 부분을 차지- 단위 시스템 간 동기화 의존성이 높아서 일부 단위 시스템의
장애가 전체 정보 시스템의 장애로 확대 됨
인터페이스
인터페이스 추가
전통적인 데이터 아키텍쳐 구성 방안
데이터 아키텍쳐
운영데이터
기업업무 처리를위한 저장위주 형태데이터
ODS
운영데이터를 공유할 수 있도록 전사관점에서 통합관리DW,Mart에 데이터 공급
Data Warehouse
전략적 의사결정을 지원하며, 전사관점에서 데이터 통합관리 Mart에데이터 공급
Data Mart
업무부서나 기능단위 특정분석요건을지원
메타 데이터
데이터웨어하우스 구축 및 운영에 대한 데이터의 식별,구축,일관성,관리를 위한 상세정보 제공
운영데이터
업무처리 기본데이터업무프로세스 중심애플리케이션 종속적현재시점 데이터 중심지속적 데이터 갱신
ODS
운영데이터와 주기적/실시간 일치전사차원 통합구조주제영역별 모델링
Data Warehouse
전사차원 통합구조주제중심적 모델링이력데이터 중시주기적 데이터 갱신
Data Mart
분석요건 중심요약 데이터제한된 규모
메타데이터
데이터에 대한 데이터소스데이터 정보(매핑)변형 및 통합 규칙
통합 데이터 저장소[ODS]의 필요성
통합 데이터 저장소(ODS : Operational Data Store)는 각 단위 기간계 시스템의 통합된
데이터의 총 집합 장소로서의 역할을 수행
각 단위 기간계 간의 고비용/저효율 인터페이스에 대한 효과적인 해결점 제시
향후 신규 단위 시스템이 필요로 하는 정보 제공 및 DW/Mart 등의 데이터 활용 시스템
의 데이터 Source로의 역할 수행 가능
통합 데이터 저장소(ODS : Operational Data Store)는 각 단위 기간계 시스템의 통합된
데이터의 총 집합 장소로서의 역할을 수행
각 단위 기간계 간의 고비용/저효율 인터페이스에 대한 효과적인 해결점 제시
향후 신규 단위 시스템이 필요로 하는 정보 제공 및 DW/Mart 등의 데이터 활용 시스템
의 데이터 Source로의 역할 수행 가능
통합데이터 저장소
(ODS)
단위시스템
단위시스템
단위시스템
신 단위시스템
목적별DW &Mart
데이터 소스
인터페이스
Data Hub로의 발전
• ODS는 향후 Data Hub로 발전할 것으로 예상됨
• Data Hub의 주요 기능대규모의 글로벌 데이터의 통합
표준화를 통한 중복 제거 등의 품질 관리 작업
양방향 동기화를 통한 단일 데이터 모델 및 구조 관리
• Link to 3rd party and legacy applications
• Import data into a centralized data model
ConsolidateConsolidate Cleanse /Standardize
Cleanse /Standardize SynchronizeSynchronize
• Identify and resolve duplicate data
• Prevent creation of duplicate entries
• Capture all updatesinto central master
• Push updates out to all linked applications
향후의 실시간 대응 Architecture• 정보 종류에 따른 실시간 대응성의 구분
시급한 실시간 요구 조건을 가지는 운영 정보는 Data Hub 혹은 ODS 상의 data를기반으로전달됨
Near real-time 요구 조건의 분석 정보는 DW data를기반으로전달됨
Reports 및기타프로그램들은 DH와 DW 데이터를필요에따라 access 함.
ETLData Hub/ODS
:Single Schema
Real time Intelligence DBI
BI Portal
Data WarehouseData Mart
Legacy Applications,Other Warehouses
Analysis Appsand Data Mining
Scored ListsProfitability Summary
Party Merge
Summary Management
Third Party Data
Discoverer, Reports, Balanced Score Card, BI Beans,…
Real-time deliveryNear real-time or
Time-bound delivery
실시간 동기화의 기본 메커니즘 : Materialized View
Materialized View [ Mview]는 Source DB와 Target DB간의 데이터 동기화 시 변경 Log를 이용하여
정의 가능한 주기로 Table Level롤 데이터를 동기화 시키는 방식으로 오라클이 제공하는 동기화 방식
중에 별도의 프로그램밍이 필요 없는 효율적인 동기화 방식임
Materialized View [ Mview]는 Source DB와 Target DB간의 데이터 동기화 시 변경 Log를 이용하여
정의 가능한 주기로 Table Level롤 데이터를 동기화 시키는 방식으로 오라클이 제공하는 동기화 방식
중에 별도의 프로그램밍이 필요 없는 효율적인 동기화 방식임
Source Site : 변경 발생율 및 유형 [ Update/Delete/Insert ]
동기화 방식 : Mview 방식 [ Rowid or Primary Key ]
Target Site 결정 : 정보 수집 주기 결정 [ 실 시간 요구의 파악 및 명세 ]
Source Site : 변경 발생율 및 유형 [ Update/Delete/Insert ]
동기화 방식 : Mview 방식 [ Rowid or Primary Key ]
Target Site 결정 : 정보 수집 주기 결정 [ 실 시간 요구의 파악 및 명세 ]
Materialized View
Source Table
Oracle의모든 Table
Source Table
Oracle의모든 Table
변경Transaction
발생
변경Transaction
발생변경로그
기록
변경데이터반영
변경데이터반영
Job QueProcess에 의한
정보 수집
Source Site Target Site
Target Table A
Source Table과동일
Target Table A
Source Table과동일
Target Table B
Source Table의가공 형태
Target Table B
Source Table의가공 형태
변경로그
변경로그
3. 시스템 구성방안
Query Rewrite when using MView• MV를사용하는경우사용자가실행한질의에포함된대상테이블에대해서유효한 MV가존재할경우에서버에서질의를유효한 MV로대체하는 Query Rewrite 기능을수행하게됨
SQL> CREATE MATERIALIZED VIEW MV_ WIPSTAT_SHIFT2 ENABLE QUERY REWRITE …SUM(SHIP_C) SHIP_C_SUM…3 FROM WIPSTAT_SHIFT4 GROUP BY RPTTIME,
….
SQL> SELECT 2 RPTTIME, 3 SHFTTYPE,4 LINEID,5 LOTTYPE,6 PROCESS,7 EQPTYPE,8 STEPSEQ,9 SUM(SHIP_C),10 SUM(SHIP_S)11 FROM WIPSTAT_SHIFT12 GROUP BY 13 RPTTIME, 14 SHFTTYPE,15 LINEID,16 LOTTYPE
;
SQL> SELECT 2 RPTTIME, 3 SHFTTYPE ,4 LINEID,5 LOTTYPE,6 PROCESS,7 EQPTYPE,8 STEPSEQ,9 SHIP_C_SUM,10 SHIP_S_SUM11 FROM
WIPSTAT_SHIFT
Query Rewrite
제조업체 : 생산정보 통합 시스템 구축
통합데이터 저장소
[ ODS )
생산관리
품질관리
생산통계
Real-timeApplication
Mview를 이용한실시간 동기화기
간계
간
데이터
동기화의
제거
EDW
Mart
Data 제공
실시간기간 데이터
제공
통합 시스템의 효과 : 하이닉스 사례
• 실시간 대응성의 확보과거 최대 8시간 주기로 이루어지던 정보 취합 작업을 1초단위로 수행
생산 관련 모든 정보들을 실시간으로 취합하여 처리할 수있음
생산공정의수율향상및공정상황에대한실시간정보제공
생산공정관련정보의표준화및 KPI 도출과제공
• 의사 결정의 신속성 및 신뢰성 향상최신 생산 정보의 확보로 인해 생산 관련 의사 결정의신속성 및 신뢰성이 향상됨
통합 시스템의 주요 시사점 및 향후 발전 방향
• 운영계의 완전한 통합 가능성 확인실제 생산 라인에서 발생하는 대용량(현재10테라) 정보 처리를 유지하면서도 동시에 이 정보들을실시간(현재 1초)으로 복제 처리하여 운영계의DB 인프라 자체에서 데이터 통합을 수행할 수있음을 증명하였음
• 향후 발전 방향ODS를 중심으로 한 통합의 가속화
DSP(Data Service Provider) 시스템으로의 발전
생산 통합 시스템과 기타 시스템과의 비즈니스프로세스 연결. 예)재무 시스템
통신업체 : 실시간 가입자 관리교환기에서 발생한 CDR을 Near Real Time으로 SAS(가입자분석시스템)에 전송
실시간으로 Conversion하여 고객정보와 연계하여 통화상세 데이터를 생성
1일 단위로 호 상세 요약 정보 및 고객단위 통화품질을 생성하여 사용자가 언제나 다양한 분석 가능토록 제공
불 완료 호 분석 정보를 제공하여 고객의 통화품질 및 네트워크 분석을 용이하게 제공함
OLAP을 통해서 Power 분석을 제공
통합 분석 시스템
실시간 가입자통화품질호 상세
교환기CDR 정보와 불 완료 호 데이터 수집
데이타 Conversion
고객 정보 통합
보안 적용
불완료 호 정보 종합Report WCDMA FMS
실시간 대응성 확보 방안
상세호별처리실시간 처리
교환기
네트워크 중심의 트랙픽 통화
품질
As Is
Voice, winSMS, IPAS
기지국별지역별
실시간 통화 품질
호상세 통화 품질
네트워크 중심의 데이터 관리
상세호별처리
실시간처리
교환기
불완료 호 및무선구간
교환기
번호 이동호
교차수용지원
가입자별품질 관리
To Be
가입자 중심의 데이터 관리
고객 중심 통화품질
IDR, PTAS, VAS
불완료호
무선구간분석
실시간 처리
일단위 처리
InfoBank
(고객정보)
일 단위 처리
번호이동호 및교차수용
고도화
고도화
구축 효과
• 주요 구축 효과차별화 된 CRM 서비스 제공
고객이 체감할 수 있는 품질 서비스의 향상
고객 기반의 품질 데이터 활용
네트웍 투자비 절감
시스템 활용도 및 효율성 증대
물류업체 : 실시간 배정 시스템• 주요 내용
주문 및 운행 정보를 실시간으로 통합 분석하여 수요에 연동된 최적배정 및 운용 수행
• 구축 효과
실시간 배정을 통한 자원 활용의 효율화 및 낭비 요소 제거
외부데이터
주문 시스템
운행 시스템
OLTP Layer ODS Layer
ODS
주문 분석
노선 분석
원가 분석
실시간동기화실
시간
동기
화
고객 정보
자산 정보
실시간 배정시스템
Web Browser
WebServer
유통 업체 : 실시간 영업 분석 시스템• 주요 내용
기존의 판매,재고,고객 정보를 운영 환경에서 실시간으로 분석하여시간대별 이벤트 및 캠페인 수행
• 구축 효과
판매 및 재고 현황의 신속/정확한 파악에 따른 고객 중심의 이벤트 및캠페인 작업의 효율화 가능
OLTP System
이벤트 및캠페인 관리
재고 분석
영업 분석
고객고객 정보정보
단품단품 수불수불
상품상품
입력입력
판매정보 실시간동기화POS
실시간이벤트 및캠페인 실행
통합 시스템 구축의 경험 談論
• (Q) 통합 시스템이 진정으로 기업에 도움이된다고 생각하십니까?
물론입니다. 다음과 같은 장점을 얻을 수 있다고생각합니다 :
DB 자원 활용의 극대화 및 효율화
실시간 운영 정보의 확보를 통한 다양한 부가가치 창출
DB 버전별 차이에 따른 운영 부담의 해소
통합 시스템 구축의 경험 談論
• (Q) 통합 시스템 구축을 통해 얻은 핵심적인교훈은 무엇입니까?
다음과 같은 교훈을 얻었습니다 :
데이터 통합에도 선택과 집중이 필요함
One-Vendor에도 장점이 있음
통합 시스템 구축의 경험 談論
• (Q) 향후 통합 시스템이 어떤 형태로발전하리라고 보십니까?
저는 향후 통합 시스템이 다음과 같은 역할을 수행할수 있을 것으로 생각합니다 :
데이터 서비스 시스템으로의 발전
IT 프로젝트 수행 및 구매 비용의 효율적 집행 가능