terastream for etl

33
- 1 -

Upload: -

Post on 23-Jun-2015

2.530 views

Category:

Technology


12 download

DESCRIPTION

ETL, ETCL

TRANSCRIPT

Page 1: TeraStream for ETL

- 1 -

Page 2: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

회사 소개

데이터 통합 배경 및 필요성

Why TeraStream

Page 3: TeraStream for ETL
Page 4: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

회사 소개 : 개요

Company Profile

데이터스트림즈 제품군

회사명 (주)데이터스트림즈

사업분야

데이터 통합(DI)/DW/ETL 솔루션 개발/구축/판매

실시간 및 디퍼드온라인 데이터처리솔루션(NRT) 개발/

구축/판매

데이터 표준화 컨설팅

메타데이터관리 및 품질 관리(DQ) 솔루션 개발/구축/판매

설립년도 2001년 09월19일

본사위치 서울시 서초구 서초동 1597-3 청호나이스 빌딩 6층

사원수 109명 년 매출액 120억 원

연락처 Tel) 02-3473-9075~78 Fax) 02-3473-9084

DI 제품 DQ 제품

기술자현황

20 %

%

%

%

컨설팅, 11%

관리, 9%

영업, 8%

기타, 2%

Technology, 69% 중급 24%

특급 18%

고급 18%

초급 40%

* 2012년 07월 현재

조직도

대 표

감사 고문

연구소

DI팀

DQ팀

기획관리부

재경파트

인사총무파트

QA파트

영업본부

영업1본부

영업2본부

기술전략본부

컨설팅팀

PI팀

기술지원팀

- 4 -

Page 5: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

회사 소개 : 주요 History & 수상 내역

데이터 분야 확장 . 시장 우위 발전 . 확장

2010

2008 02 TeraStream™ Version 2.2 GS 인증 획득

03 ' (주)데이터스트림즈'로 사명변경

06 전국은행 연합회 데이터 처리 툴로 선정

09 국방부 지휘통신사령부 통합 메타(MDR)구축부문

사업자선정

10 대구은행, 부산은행 차세대, 국회사무처 사업수주

01 MetaStream Version 2.7 출시

03 한국소프트웨어전문기업협회 회장 이영상대표 선출 12 하반기 TeraStream™ Version 3.2 출시예정

2009

2006

2005

2007

03 TeraStream™ 05년 대한민국디지털경쟁력대상 디지털기술 부문 우수상 수상

TeraStream™모듈 산업자원부 한국신기술인증 획득

11 TeraStream™ Version 1.4 GS 인증 획득

05 MetaStream 디지털경영혁신대상 중소기업청장 우수상

06 TeraStream™ Version 2.0 출시

10 일본 노무라 계열 JAFCO사 4억엔 투자 유치

04 05년 통계청 인구주택총조사 민간분야 부총리 포상 수상

12 중소기업기술혁신협회(이노비즈협회) 회원 자격 취득

행정자치부 시도행정 정책결정지원시스템 ETL표준 툴 선정

기술 . 연구 개발의 중점

2004

2002

2003 04 2004년 중소기업 기술혁신 개발사업자 선정

08 외환은행 ETL/Batch/이행표준툴로 TeraStream선정

09 데이터 추출솔루션 'FACT' 해외수출계약(미국) 10 Oracle Open World 2003 in San Francisco, USA

TeraStream의 FACT 엔진 출품

01 TeraStream™ 상표 출원

05 TeraStream Designer™ Version 1.1 출시 11 정보화촉진자금 지원업체 선정

12 TeraStream V1.0 최초계약(통계청 데이터 이행용)

01 통계청 원시자료 제공 시스템 업무혁신 사례상 수상

04 중소기업 기술 혁신 개발 사업자 선정(중소기업청) 08 TeraStream 상표등록(등록번호 0589927)

12 신한은행 차세대 데이터이행 툴로 TeraStream선정등록

01 DW프로젝트 최초로 CoSort 성공적 적용(GS리테일)

01 e-Business Solution Fair@World 2001 참가

02 이노베이티브데이터솔루션즈(주) 부설연구소 인가

06 TeraStream Beta Version 출시

07 SEK2002 초고속배치솔루션으로 TeraStream 출시

08 TeraStream Designer™ 프로그램 등록

09 (주)이노베이티브데이터솔루션즈(IDS)설립 12 중소기업청 벤처기업확인 인정

2001

2000

설립 . 개척

09 CoSort Korea설립 1999

2011 09 신한 카드 전사 ETCL 제품 선정

06 우수 제조 기술 연구센터 (ATC, Advanced

Technology Center) 지정

- 5 -

Page 6: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

TeraStream – ETCL / 이행 / Batch 툴

DeltaStream – CDC 툴

TeraSort – Sorting 툴

FACT – Unloading 툴

MetaStream – 데이터 표준화 관리

ImpactStream – 어플리케이션 영향도 분석

ISP (Information Strategy Planning)

데이터 통합, 데이터 표준화 컨설팅

데이터 품질 관리 컨설팅

데이터 아키텍처, EDW 컨설팅

데이터 이행(Migration) 컨설팅

마스터 데이터 관리(MDM) 컨설팅

24x365 제품 서비스 지원

유지보수 서비스 지원

시스템 개발, 통합 및 운영

BI 기술 연구

상품 / 패키지 개발

데이터 통함을 위한 처리 및 관리 기술 개발

01

02

03

데이터 통합 제품 군

CONSULTING 서비스 지원

Development

Service

CONSULTING

Development

Product

04

주요 사업 영역

- 6 -

Page 7: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

ATC 사업명: 실시간 모니터링과 통제기반의 통합데이터 관리를 위한 데이터 통합(DI) 및

데이터 품질(DQ) 컨버전스 솔루션 개발

지정 년도 : 2011.6

사업 기간 : 2011.6~2016.5(5년간)

㈜데이터스트림즈는 기술 경쟁력과 세계적 일류 상품으로써의 잠재력 및 제품의 우수성을 인정받아, SW 전문 업체

최초로 2011년 지식경제부에서 선정하는 우수 제조기술 연구센터로 지정되어, 제품에 대한 연구 개발 역량을 강화하고,

기술력을 바탕으로 한 글로벌 기업으로서 거듭날 수 있는 발판을 마련하였습니다.

우수 제조기술 연구 센터(ATC, Advanced Technology Center)

- 7 -

Page 8: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved. - 8 -

은행

보험

증권

카드/

공금융

공공/

학교

통신

제조/

서비스

레퍼런스

Page 9: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

데이터 통합 정의

데이터 통합 배경

데이터 통합 필요성

Page 10: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

데이터 통합은 기업 내 다양한 시스템을 통해 데이터를 수집하여, 가치 있고 재사용 가능한 정보

즉 '통합된 데이터'가 되도록 만들어주는 조직적이고 지속적인 과정

Data Integration

통합된 데이터 다양한 시스템의

데이터

Connectivity

분석/설계 개발/배포

실행

모니터링/

분석

Transform 변형

Cleansing 정제

Load 적재

Extract 추출

데이터 통합 정의

- 10 -

Page 11: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved. - 11 -

기업이 직면한 비즈니스, IT 및 폭발적 데이터 증가 이슈로 인해 기업의 데이터 통합 필요성 발생

Globalization 기업인수 및 합병 각종 Compliance & Audit 고객 유치 및 이탈방지

비즈니스 이슈

데이터의 접근성 결여 데이터 공급의 적시성 결여 시스템에 분산된 데이터

IT 이슈 폭발적 데이터 증가 이슈

향후 5년간 기업 데이터

수요가 650% 증가할 것

Gartner Data Center Conference,

2009년12월 01일

데이터 통합 배경 : 데이터 통합 발생 원인

Page 12: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved. - 12 -

데이터 관리의 중요성이 증가하고, 각종 이슈로 인한 데이터 통합의 필요성이 증대됨에 따라 데이터

통합을 위한 솔루션이 필요해짐

데이터 통합으로

인터페이스간소화 및

유지보수 용이성 확보

기업핵심데이터

(고객, 벤더, 제품 등)에

대한 Single view를 생성

전사시스템에 일관되고

포괄적인 정보 제공

데이터 통합 솔루션 ?

데이터의 통합

비용 절감

비즈니스 최적화

증가하는 정보 사용량과

정보를 관리하는

비용에 대한 효율적인 대처 필요

비즈니스 데이터 증가

IT

비즈니스 측면에서의 데이터 통합

폭발적 데이터 증가로 인한 데이터 통합

IT적인 측면에서의 데이터 통합

TeraStream

데이터 통합 필요성 : 데이터 통합 솔루션

Page 13: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

TeraStream 개요

차별화 기능

제품의 특장점

풍부한 구축 사례

구축 효과

Page 14: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

다양한 서버환경에서 소스데이터를 빠르게 가공 처리하는 솔루션으로 ETL, Batch , 실시간 데이터

처리 연계, 데이터 전환 업무 수행

고속 추출 엔진(FACT)을 이용한 데이터 추출

[다양한 SQL 쿼리문 적용]

File 및 DB 가공처리 및

데이터 정제

[정렬, 컨버젼, 조인 연산 등 적용]

Load 모듈을 이용하여 DB로 적재

[상용 DBMS의 자동 Load 모듈 생성 및 각종 옵션 적용]

Extract (추출)

Load (적재)

Unload

Transform / Cleansing (변환 / 정제)

Load

File

신시스템

File

DB 변환

File 변환

Data Cleansing

Database

Database

Batch

TeraStream 개요 (1/2)

- 14 -

Page 15: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

TeraStream 개요 (2/2) – 제품 구성도

Sort 엔진 및 고속 추출 엔진(FACT)을 Batch엔진으로 채택하였으며, 모든 메타데이터는

TeraStream Repository에 저장 관리

• 개발자의 직관적인 업무처리를 위한 GUI환경

User Interface

• 이기종 DB(상용 RDSMS)간의 데이터 고속 추출 • 데이터 변환 기능 및 한글 컨버젼 기능 제공 • 파일을 이용한 정렬 및 조인 등 다양한 기능 제공

Data Processing

• TeraStream을 이용한 모든 맵핑 작업을 TeraStream Repository에 저장 • Metadata 재활용 지원

Metadata Management

• 블록 , 프로젝트에 관련한 각종 로그 관리 • 작업 예약 스케쥴링 • 실시간 작업 성공유무 및 작업건수 등 모니터링 • 연결 DB정보 관리 및 접속 권한 체크

Operations & Administration

User Interface

Operations & Administration

Data Processing

TeraStream Designer

Metadata Management

TeraStream Repository

Monito

r Log

Manager Project

Scheduler FFD

Manager Process Manager

Data Access Manager

Message Broker

FACT CoSORT Converter USQL 외부명령어 사용자SCL

- 15 -

Page 16: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

뛰어난 성능 : 차별화 기능

국산 제품으로 기존의 데이터 통합 솔루션과 차별화된 File 처리 성능을 보장하고 대용량 데이터를

고속으로 처리함

Sort 엔진 Sort 엔진 탑재를 통한 최상의 성능 달성

대용량 데이터

고속 추출 DBMS의 특성에 따라 테이블에 대한 대용량 데이터 고속 추출

고속 Lookup 처리 테이블뿐 아니라 메모리를 이용한 대용량 데이터 고속 Lookup 처리

File을 이용한

데이터 공유 Job중심의 작업컨트롤 방식으로 File을 이용한 데이터 공유(EBH주1)용이

Near Real time ETL 실시간으로 복잡한 로직 및 매핑처리 가능

(자사 CDC 솔루션인 DeltaStream 또는 Tera-NRT와 연계)

Programmable

Macro

매핑 전/후 처리를 통해 Record 또는 테이블 단위로 다양한 업무로직 처

리가 가능하며 검증 수행

연계 기능 원격에 위치한 TeraStream 서버간 연계로 원격으로 프로젝트 실행

차별 기능 기능상세

- 16 -

Page 17: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

뛰어난 성능 : 제품 특장점

TeraStream은 고속 추출엔진(FACT)과 Sorting엔진을 탑재하여 데이터 가공의 성능을 향상시키고,

효율적인 시스템의 자원 이용으로 부하를 최소화함

• 대용량 데이터 고속 추출

• File 처리 방식으로 대량의 ETL 작업을 빠른 시간 처리

• 병렬 프로세싱을 통한 데이터 가공으로 작업 속도 향상

• DB와 분리된 시스템자원 이용으로 DB부하 감소

• On-Line DB 작업시 자원에 부하를 주지 않고 Batch작업 가능

• CPU, Memory, I/O의 효율적인 자원 할당 가능

• 통합 GUI 환경을 제공하므로 프로그램이 개발 편리

• 스크립트를 이용하여 타 프로그램에서 Sort 엔진, 고속 추출 엔진(FACT)실행

• SQL개발자의 개발생산성 향상으로 개발비용절감과 품질 상향 평준화

• 로직 강화로, ETL외 업무 영역 확대

• 준 실시간 데이터 이동 (Tera-NRT와 연계)

• TeraStream이 설치된 서버간의 분산 스케쥴링 및 통합 스케쥴링 지원

• 분산된 데이터 통합 솔루션 환경에서 통합 Metadata 관리 지원

• 응용 프로그램, ETL, EAI 솔루션과 호환

특장점 설명

성능 향상

효율적 자원

이용

작업 생산성 향상

기능 향상

통합관리 환경

지원

호환성

- 17 -

Page 18: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

TeraStream 자원 구성

뛰어난 성능 : 제품 특장점 << 효율적 자원 이용

메모리와 I/O를 균형 있게 사용하여 서버에 부하를 줄이고 Sort엔진을 이용하여 DB에 부하 감소

• 메모리처리 방식 이용

• 소량 데이터 처리 방식

Disk I/O

시스템

Work Memory

(상용DBMS 사용)

Application

Free 영역

(TeraStream 사용)

I/O Channel

I/O Channel

• I/O처리 방식 이용

• 메모리를 적게 사용

• 대량 데이터 처리 방식

Main Memory

DB2DB 방식 File 방식

File DB

- 18 -

개요

TeraStream 처리 방식 (File방식과 DB2DB방식) 메모리와 I/O를 균형 있게 사용한 데이터 처리방식 I/O처리 및 Merge 알고리즘이 뛰어남 병목현상이 발생하는 작업(Sort, Merge, Summary)에 병렬 적용하여 작업 처리 속도 향상

• TeraStream은 상용DBMS 및 타제품에 비해 속도 및 자원 소모가 매우 적게 설계되었고, 강력한 Sort엔진을 탑재하여 효율적으로 대용량 데이터 처리 • 대용량 데이터 처리시 DBMS의 의존도를 낮추는 것이 효율 및 생산성 향상에 유리하며, 소량의 데이터 처리시에는 DBMS의 성능을 이용하여 시스템 부하를 낮추고 성능 향상

Page 19: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

뛰어난 성능 : 제품특장점 << 작업 생산성 향상

통합 GUI환경에서 데이터 통합 Life Cycle(개발, 실행, 모니터링, 검증)을 지원하여 개발 생산성 향상

개발 환경 화면의 평면화 및 작업 동선의 획기적인 개선

TeraStream 전체 화면 주요 기능

직관적 작업Flow

작업 모니터링

JOB 실행로그 작업 스케쥴링

편집창

• 개발자를 위한 직관적 GUI환경 제공

직관적인 작업Flow

• 표준출력/표준에러/출력파일정보/ 파일처리건수 정보 확인

JOB 실행로그

• 작업현황을 실시간으로 제공

작업 모니터링

• 특정시간/특정간격/특정주기별로 스케쥴링

작업 스케쥴링

• 블록별 작업내용을 한 화면에서 편집 가능

편집창

Page 20: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

뛰어난 성능 : 주요기능 << 고속 데이터 추출

SQLCLI를 사용한 상용 데이터베이스의 데이터 고속 추출 기능 제공

일반적인 추출방식(쿼리)보다 20~30배 빠른 성능 보유

- 20 -

TeraStream 추출 화면 주요 기능

데이터베이스 API를 최적화한

고속 추출 엔진(FACT) 탑재

지원 데이터베이스

- Oracle

- Informix

- DB2 UDB

- Sybase IQ

- Sybase ASE

- Altibase

- MSSQL

- Teradata등

File 분할 추출 및 필터링 기능 제공

Time 및 Timestamp 사용자 데이터

포맷 지정 조회(Select)화면

Page 21: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

주요 기능 TeraStream 데이터 변환 화면

뛰어난 성능 : 주요기능 << 데이터 변환

Source data와 Target data 간의 매핑 정의를 통한 데이터 변환 기능

매핑 정의시 다양한 변환 함수 사용 가능

컨버터 블록을 통한 직관적인 데이터

변환 매핑 정의

EBCDIC 대 ASCII 변환을 포함한 데이터

코드셋 변환 지원

9BIT(NDB), HDB 형태의 데이터를 RDB

형태의 데이터로 변환 지원

문자열 함수, 수식 연산 함수를 포함한

다양한 내장함수 지원

사용자가 직접 함수 추가 가능

CALLED_NO 함수 편집창

=addday(cdate("변환할String","변환포맷","변환값(N)")

addday(cdate("2005/05/12 12:08:24", "YYYY/HH/DD HH:MI:SS"),2)

- 21 -

제공 함수 LIST

Page 22: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

Bulk Load 적재 화면 DB To DB 화면

뛰어난 성능 : 주요기능 << 데이터 적재

File to DB 혹은 DB to DB 방식의 데이터 적재

적재스크립트

- 22 -

주요 기능

로드 블록을 사용한 일괄적재 데이터베이스 고유의 적재 도구 사용 적재도구 별 옵션 사용 적재 스크립트 자동 생성

주요 기능

컨버터 블록을 사용한 DB to DB 혹은 File to DB 방식 적재 맵핑 정의 및 Merge, Delete / Insert 등 다양한 DB 작업지원

Page 23: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

편의성 : 주요기능 << Web Monitoring

웹브라우저를 통해 Dashboard형태로 프로젝트 실행 결과 실시간 모니터링 제공

주요 기능 Web Monitoring

Dashboard기능을 이용하여 ETCL 전체

진행 상황을 직관적으로 파악하도록

구성 하였다.

작업 진행 상황 및 오류 발생 시 이벤트

발생

대상 테이블 관리를 통한 컬럼별 형상

관리 기능 제공

- 23 -

Page 24: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

편의성 : 주요기능 << 예약 실행 기능

년/월/일, 시/분/초 단위의 예약 실행 기능을 통하여 ETCL 프로그램을 자동 실행 한다.

외부 스케줄링과의 연계 기능 제공

주요 기능 예약 실행

예약 실행 기능을 통한 년/월/일/시/분/

초 단위 예약 기능 제공

특정 시간 지정 기능 제공

프로젝트간의 선/후행 관계 지원

기준 시간 단위 실행 및 반복 실행 제공

- 24 -

Page 25: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

편의성 : 주요기능 << 1:1 자동 매핑 기능

Excel 1:1 매핑 자동 정의 기능을 이용한 ETL 프로그램 자동 매핑 기능

추출/가공/적재 부분에 대해서 1:1 자동 적재 기능 생성

주요 기능 1:1 자동 매핑

단순 1:1 프로그램 일괄 생성

외부 시스템과의 연동 기능

Excel 포맷에 맞춰 일괄 프로젝트

생성 기능

- 25 -

Page 26: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

편의성 : 주요기능 << Excel 내보내기

가공 및 변환 데이터 Excel 추출 기능

서버 생성 데이터 File 보기 기능

주요 기능 Excel 내보내기

단계별 중간 검증 기능

생성 파일 Excel 추출 기능

컬럼 및 데이터 정보 생성

- 26 -

Page 27: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

편의성 : 주요기능 << 컬럼 영향도 분석

원천 테이블과 목적 테이블간의 테이블 컬럼 이력 변경 조회

컬럼 추가/삭제 및 PK 여부 등 점검

주요 기능 컬럼 변경 이력 조회

이력 조회를 통한 컬럼 변경 정보 조회

기능

조회 목록 Excel 추출 기능

- 27 -

Page 28: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

풍부한 구축사례

TeraStream 은 ETL 시장 및 Migration 시장에서 높은 점유율로 많은 구축 사례 보유

TeraStream D제품 I제품 Other

Migration

80%

15%

5%

ETL

55% 25%

15%

5%

- 28 -

Page 29: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

풍부한 구축사례 : 삼성 전자 바다 프로젝트

시스템 구성도

• ETCL 예약 실행 기능을 통하여 매 20분 마다 변경 데이터

반영

• Delete 발생 데이터는 1일 배치 작업으로 수행

• 장애 발생 시 자동으로 데이터 정합성 보장

(최종 변경 일시 파일 보관)

• 변경 대상 테이블 약 150개

독일과 중국 사이의 데이터 정합성 방안 양방향 데이터 정합성 확보 Network 성능 문제로 인하여 변경 데이터 처리 지연 문제 처리 방안

고객사 이슈

적용방안

도입 효과

독일과 중국 사이의 Direct 망이 없는 관계로 Network 성능이 안 좋음 이러한 문제를 해결 하기

위하여 NRT (Near Real Time) 형식으로 프로젝트 구축

- 29 -

독일

중국

Commerce Billing

Search

Analysis

Device

Contents

Location

Social

Commerce Billing

Search

Analysis

Device

Contents

Location

Social

양방향 데이터 검증

매 20분 마다 변경 데이터 수행

Page 30: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

고객사 이슈

적용 방안

시스템 구성도

추출

24시

DB SPLIT

Profit

Management RISK KPI EUC

현 ODW

EDW

Sybase ASIQ 신 ODW

ORACLE

쌍방향 ETL ETL ETL

ETL

Batch

Batch Batch

추출 후

FTP 전송

계정계 정보계 DW

DM & Sub System

2005년 2월 Open

Batch

메인프레임 및 IMS HDB의 컨버젼 필요

ETL의 쌍방향 처리

대용량 데이터의 Batch 시간 내 처리

메인프레임 데이터를 UNIX환경의 데이터로 전환

- 데이터 사이즈 : 1~1.5TB

한글 변환 등 다양한 데이터 변환 및 가공 지원

계정계 Batch, EDW ETL, 정보계 ETL과 Batch수행

- 계정계에서 신 ODW로 일 변경분 데이터 200GB,

1시간30분 내 전환

EDW서버(데이터 HUB)를 통해 DM&Sub System과 ETL 신

정보계에서 여러 Mart로 데이터 가공, 전달

(EUC, KPI, RISK Management, IFRS, BaselⅡ)

도입 효과

• 정보계 DW Batch를 6시간 내 수행하였으며, 동시에 DM(Data Mart)로 적재

• 현 ODW, 신 ODW, EDW간 쌍방향 ETL 지원

• 다양한 비즈니스 로직을 적용한 데이터 처리, 데이터 통합 전 영역에 사용

풍부한 구축 사례 : 외환은행 계정계, 정보계 데이터 처리

- 30 -

Page 31: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

풍부한 구축사례 : 기업은행 정보계 차세대구축 프로젝트

시스템 구성도

계정계 DB(M/F DB2)에 전송하는 EBCDIC데이터를

TeraStream의 변환 기능을 이용하여 Staging DB구축

Bank DB/AS-IS DW에 적재되어 있는 과거데이터 리모트 추출

(FACT)을 통한 DW 이행, AS-IS(계정계) 추출 시 약 2Tbyte

대량 데이터에 대한 CDC (Change Data Capture: 일중 수시

추출) 적용을 TeraStream으로 구축하여 이행시간 단축

단위마트,분석마트 이행 시 이행시간 단축

계정데이터 이행, DW, 단위마트, 분석마트의 정기 Batch 작업

시간 단축

- 일일 배치 데이터사이즈는 200Gbyte

경영정보 시스템에서 요구되는 데이터 충분성 확보를 위하여 ODS & DW 필요 Bank DB/AS-IS DW에 적재되어 있는 과거데이터 이행 현행 종합수익/성과/바젤II/영업실적포탈로 제공되는 계정계/ 계정서버와의 복잡한 인터페이스를 위한 단위마트 시스템 필요 현행 전산자료출력, 각종 보고서 통합을 위한 분석마트 필요

고객사 이슈

적용방안

계정계 서버시스템

계정계 시스템

콜센터/폰뱅킹

영업점

자동화기기

인터넷

모바일

대외기관

•은행연합회

•한국신용평가

•한국신용정보

•증권거래소

Rule

신용카드 방카슈량스

외환시스템

예산/자산관리

국외전산

자본시장

인사

여신종합

실시간 ODS

실시간

수신

여신

고객

계약

상품

조직

메타데이터관리 데이터 품질 관리 통합 스케줄링

정형분석

비정형분석

OLAP/Reporting

분석

집계 정보

경영 정보

배치 I/F

Extract

Transformation

Cleansing

Loading

DW

DM

재무

Feedback

분석마트 단위업무 마트

수신

여신

고객

마케팅

실적

보고서

수익

성과

리스크

경영정보 시스템

영업실적포털

영업정보

종합수익관리

리스크관리

성과관리

운영리스크관리

WMS

감사정보

점질분석

통합CRM

비정형조회 비정형보고서

Query Tool

데이터 관리 Infra

계약

수신

여신

외환

대행

신용카드

고객

정산

상품관리

재무회계

공통

전자금융

디퍼드

복제

차세대

환원

직원실적

재무일계

속보

예보

관리

후처리ODS

Staging

원가결산

기타계정배치

실시

간 I/F

ETL

고객

기타업무

상품 조직 계약

공통 마케팅

요약집계 거래

도입 효과

• ODS 및 DW구축으로 인한 경영정보 시스템에 요구되는 데이터 확보

• 종합수익/성과/바젤II/영업실적포탈로 제공되는 계정계/계정서버와의 복잡한 인터페이스를 EDW를

중심으로 하는 종합보고서 시스템 구축

- 31 -

Page 32: TeraStream for ETL

© 2012 DataStreams Corp. All Rights Reserved.

획기적인 비용절감 : 운영 및 관리 비용 절감

TeraStream으로 운영.관리할 때 In-house방식보다 운영 및 관리 비용 보다 20%이상 절감할 수 있음

시간

운영/관리 비용

TeraStream

In-house방식

운영가이드 제공

로그 및 모니터링

제공

개발 도구 운영적 측면 관리적 측면

TeraStream 신규 또는 유지보수 개발시 가이드에 의한

개발 가능 로그 및 모니터링을 제공함으로 관리에 어려움이 없음

In-house 방식

개발사상이 다르므로, 기존 업무 부분에 대한

가이드만으로는 적용 불가능

새로운 가이드에 따른 추가 비용 발생됨

개발당시 로그 및 모니터링을 개발자가 제공하지 않을

경우 관리가 어려움

개발변경 시 재개발해야 함으로 불필요한 비용 발생

- 32 -

Page 33: TeraStream for ETL