통합 차원 모델인 udm 과 real time 분석을 위한 proactive caching 활용

통합 차원 모델인 UDM 과 Real Time 분석을 위한 Proactive Caching 활용

우철웅 수석우철웅 수석([email protected])([email protected])위드비 위드비 (withBI)(withBI)

OverviewOverview 통합차원모델 소개통합차원모델 소개

AS 2005 AS 2005 아키텍처의 변화아키텍처의 변화 AS 2005AS 2005 의 통합차원모델의 통합차원모델

Real Time Real Time 분석을 위한 분석을 위한 Proactive Proactive Caching Caching 활용활용 캐시란캐시란 캐싱 작업 시점 관리캐싱 작업 시점 관리 저장소 디자인저장소 디자인 대기시간과 성능 조율대기시간과 성능 조율

SQL Server 2000 Analysis SQL Server 2000 Analysis ServicesServices

OLAP Clients

SQL SQL ServerServer

TeradataTeradataOracleOracle

DB2DB2

DW/DW/DMDM

AnalysisAnalysisServicesServices

OD

BO

OD

BO

CubeCube

SQL Server 2005 Analysis SQL Server 2005 Analysis ServicesServices

TeradataTeradata

OracleOracleDB2DB2 LOBLOB

DWDW

SQL SQL ServerServer DatamartDatamart


UDMUDM

CacheCache

Dashboards

Rich Reports

BI Front Ends

Spreadsheets

Ad-Hoc Reports

XML/

A o

r OD

BO

XML/

A o

r OD

BO

CubeCube OLAP ClientsOD

BO

OD

BO

2000 To 2005 2000 To 2005 아키텍처 아키텍처 변화변화


AMOAMO

XML FilesXML Files

DevelopmentDevelopmentStudioStudio

PTSPTS

OD

BO

OD

BO

PTSPTS

XML/

AXM

L/A

MDX EngineMDX Engine

MDX EngineMDX Engine XML

SDK

XML

SDK

Storage EngineStorage Engine

MOLAPMOLAP

ManagementManagementStudioStudio

DDLDDLMDX EngineMDX Engine

XML/

AXM

L/A



DSODSO

RepositoryRepository

AnalysisAnalysisManagerManager PTSPTS

OD

BO

OD

BO

PTSPTS

XML/

AXM

L/A

MDX EngineMDX Engine

MDX EngineMDX Engine XML

SDK

XML

SDK

Storage EngineStorage Engine

MOLAPMOLAP



AMOAMO

XML FilesXML Files

DevelopmentDevelopmentStudioStudio

Driver

Driver O

DB

OO

DB

OStorage EngineStorage Engine

MOLAPMOLAP

ManagementManagementStudioStudio

DDLDDLMDX EngineMDX Engine

XML/

AXM

L/A

Analysis Services 2005 ArchitectureAnalysis Services 2005 Architecture

DemoDemo 개발 환경개발 환경 데이터 원본 만들기데이터 원본 만들기 큐브 만들기큐브 만들기 큐브 처리 큐브 처리 : : 빌드빌드 , , 배포배포 , , 처리처리 큐브 조회큐브 조회

데이터 원본 뷰의 목적데이터 원본 뷰의 목적 관련된 모든 테이블을 하나의 스키마로 관련된 모든 테이블을 하나의 스키마로

정의정의 물리 계층과 논리 계층의 분리물리 계층과 논리 계층의 분리 원본 데이터베이스에 권한이 없더라도 원본 데이터베이스에 권한이 없더라도

논리적인 뷰 생성 가능논리적인 뷰 생성 가능 논리적인 논리적인 Primary keyPrimary key 와 와 Relationship Relationship

설정설정 원본 데이터베이스로부터 큐브 생성 용이원본 데이터베이스로부터 큐브 생성 용이

데이터 원본 뷰 커스터마이징데이터 원본 뷰 커스터마이징

원본 테이블로부터 커스터마이징 방법원본 테이블로부터 커스터마이징 방법명명된 컬럼 추가 명명된 컬럼 추가 명명된 쿼리 추가명명된 쿼리 추가

명명된 쿼리의 장점명명된 쿼리의 장점성능의 영향을 미치지 않음성능의 영향을 미치지 않음조인과 필터 등의 유연함조인과 필터 등의 유연함

AS 2005 AS 2005 차원차원

OLAPOLAP 과 관계형을 결합한 통합 차원 모델과 관계형을 결합한 통합 차원 모델 OLAP: OLAP: 계층적 통계 분석 가능한 정보계층적 통계 분석 가능한 정보 Reporting: Reporting: 풍부하고 상세한 정보 풍부하고 상세한 정보

설계의 주안점설계의 주안점 데이터 원본으로부터 전체의 모든 것 수용데이터 원본으로부터 전체의 모든 것 수용 효과적인 계층적 항해 경로 제공효과적인 계층적 항해 경로 제공 대용량 지원을 위한 스케일 대용량 지원을 위한 스케일 & & 그에 따른 그에 따른

효과적인 쿼리 수행효과적인 쿼리 수행 복잡한 연결 관계 허용복잡한 연결 관계 허용

별모양 스키마와 눈송이별모양 스키마와 눈송이 스키마를 넘어스키마를 넘어

AS 2005AS 2005 의 차원은 특성의 차원은 특성(Attribute)(Attribute) 을 근간으로 함을 근간으로 함 AS 2005AS 2005 의 차원은 완벽한 비즈니스 엔티티를 의 차원은 완벽한 비즈니스 엔티티를

표현함표현함 Customer, Product, Channel Customer, Product, Channel 등등

특성특성 (Attribute)(Attribute) 은 엔티티 내의 모든 속성을 은 엔티티 내의 모든 속성을 표현표현 Name, Description, Size, PriceName, Description, Size, Price 등등

계층계층 (Hierarchies)(Hierarchies) 는 특성간의 항해를 는 특성간의 항해를 단순화하기 위한 방법단순화하기 위한 방법 계층 및 수준은 드릴다운 경로를 정의하기 위해 계층 및 수준은 드릴다운 경로를 정의하기 위해 PCategory-PSubCategory-Product PCategory-PSubCategory-Product

기본적으로 각각의 특성은 자체의 계층 및 수준을 기본적으로 각각의 특성은 자체의 계층 및 수준을 가짐가짐 한 레벨한 레벨 (Single Level)(Single Level)

DemoDemo 데이터 원본 뷰 만들기데이터 원본 뷰 만들기 차원 만들기차원 만들기 특성 만들기특성 만들기 계층 및 수준 만들기 계층 및 수준 만들기 속성 만들기속성 만들기 Display Folders Display Folders 추가추가

차원의 확장된 범위 및 용량차원의 확장된 범위 및 용량 AS 2005AS 2005 차원의 넓어진 범위차원의 넓어진 범위 ..

RDBMSRDBMS 의 모든 컬럼은 차원의 특성의 모든 컬럼은 차원의 특성(attribute)(attribute) 이 될 수 있음이 될 수 있음 모든 특성은 모든 특성은 AS2KAS2K 의 가상 차원과 유사 의 가상 차원과 유사

레포트에서 가장 낮은 레벨의 상세 정보를 레포트에서 가장 낮은 레벨의 상세 정보를 기대함기대함 invoice number, line number invoice number, line number 등등

한 부모당 한 부모당 64K 64K 멤버에 대한 제약은 멤버에 대한 제약은 없어짐없어짐 특성 계층엔 모든 멤버가 들어가야 하므로특성 계층엔 모든 멤버가 들어가야 하므로

차원 아키텍처차원 아키텍처 팩트와 동일한 구조로 저장됨팩트와 동일한 구조로 저장됨

““dimensions”dimensions” 의 속성과 함께 의 속성과 함께 ““ fact table”fact table” 처럼 처럼 취급됨취급됨

대량 차원에 대한 쿼리를 위한 효과적인 저장 대량 차원에 대한 쿼리를 위한 효과적인 저장 지원지원

CustomersCustomers

IDID

StateState

PhonePhone

AgeAge

DemoDemo 다양해진 연결 및 조합다양해진 연결 및 조합

다대다다대다 (Many to many)(Many to many) 번역번역 (Translations)(Translations) 큐브 뷰큐브 뷰 (Perspectives)(Perspectives)

AS 2005 AS 2005 주요 개체 관계 주요 개체 관계

차원 (Dimension)

큐브 뷰 (Perspective)

계층 (User Hierarchy)

속성 (Attribute)

Display Folder

특성 관계특성 (Attribute Hierarchy)

측정값 그룹

측정값측정값 그룹 (Measure Group)팩

트

차원

관계

캐시란캐시란 ?? 시스템 성능 개선 또는 유지 보수의 투명성을 시스템 성능 개선 또는 유지 보수의 투명성을

필요로 하는 주요필요로 하는 주요 자원에 대한 데이터 복사 자원에 대한 데이터 복사 예 예 : IE : IE 웹 페이지웹 페이지 , IIS, , IIS, 디스크 캐시디스크 캐시 , CPU , CPU 메모리 메모리

캐시캐시

캐시의 사용의 간결함 캐시의 사용의 간결함 웹 개발자가 웹 페이지 캐시에 대해 고민하지 않음웹 개발자가 웹 페이지 캐시에 대해 고민하지 않음

캐시 기능 지원을 위한 기술적인 고민캐시 기능 지원을 위한 기술적인 고민 일치일치 (Coherency)(Coherency) – – 원 데이터 소스와 일관성 유지원 데이터 소스와 일관성 유지 낮은 대기낮은 대기 (Low Latency)(Low Latency) – – 원 소스의 변경분에 대해 원 소스의 변경분에 대해

가능한 작은량을 한번에 최소 주기로 반영 가능한 작은량을 한번에 최소 주기로 반영 .. Real time = 0 latencyReal time = 0 latency

ASAS 의의 Proactive CachingProactive Caching 복합적 요건 해결복합적 요건 해결

OLAP OLAP 쿼리 성능쿼리 성능 Real Time Real Time 데이터 수용데이터 수용 (( 필요에 따라필요에 따라 ))

운영 자동화 운영 자동화 관계형 데이터베이스와 자동 동기화 관계형 데이터베이스와 자동 동기화 명시적인 명시적인 ““ cube processing” cube processing” 배제배제

성능과 대기시간과의 성능과 대기시간과의 Trade-Trade-Off Off

성능

성능

(( 쿼리

응답

시간

쿼리

응답

시간

))

시간시간대

기시

간

대기

시간

Analysis Analysis ServicesServices

Proactive Caching Proactive Caching 과정과정

UpdateUpdate

Update NotificationUpdate NotificationMDXMDXUDMUDM

CacheCache

XML/

A o

r OD

BO

XML/

A o

r OD

BO

SQL QuerySQL Query

NewNewVersionVersion



MDXMDXUDMUDM

CacheCache

XML/

A o

r OD

BO

XML/

A o

r OD

BO

SQL QuerySQL Query


Proactive Caching Proactive Caching 도전 과제도전 과제 효율효율

빈번한 갱신으로 인한 시스템적 부하를 어떻게 빈번한 갱신으로 인한 시스템적 부하를 어떻게 해결할 것인가해결할 것인가 ??

캐시를 어떻게 빠르게 반영시킬 수 있을까캐시를 어떻게 빠르게 반영시킬 수 있을까 ? ? 성능성능 ::

잠복과 성능간의 조화를 어떻게 이룰 것인가잠복과 성능간의 조화를 어떻게 이룰 것인가 ??

알림알림 (Notifications)(Notifications) RDBMSRDBMS 에서 무엇이 변경되었는지 에서 무엇이 변경되었는지 Analysis Analysis

ServicesServices 가 어떻게 인지할 수 있을까가 어떻게 인지할 수 있을까 ??

캐싱 작업 시점 관리캐싱 작업 시점 관리 종종 일정 시간 동안 동시 다발적으로 종종 일정 시간 동안 동시 다발적으로

데이터 원본 갱신이 이루어 진다면데이터 원본 갱신이 이루어 진다면 ?? 각각의 모든 갱신 데이터에 대해 각각의 모든 갱신 데이터에 대해 ASAS 는 는

재캐싱을 어떻게 피할 수 있을까재캐싱을 어떻게 피할 수 있을까 ?? 서버 전체의 과도한 자원 사용서버 전체의 과도한 자원 사용

해결안 해결안 : : 대기 간격대기 간격 (Silence Interval)(Silence Interval) 옵션옵션

NotificationNotification 에 의한 변경 알림을 받으면에 의한 변경 알림을 받으면 , , ASAS 는 이후 설정한 대기 시간 동안 는 이후 설정한 대기 시간 동안

변경으로 인한 알림이 없는지 대기 변경으로 인한 알림이 없는지 대기

DemoDemo 대기 간격대기 간격 (Silent Interval) (Silent Interval) 적용적용

대기시간과 성능 조율대기시간과 성능 조율

실제 실제 Real TimeReal Time 을 원하는 것인가을 원하는 것인가 ?? 성능 향상을 위해 사용자가 원하는 성능 향상을 위해 사용자가 원하는

대기시간을 어느 정도 인가대기시간을 어느 정도 인가 ?? 사용자가 원하는 최대 대기시간의 보장은사용자가 원하는 최대 대기시간의 보장은 ?? 오래된 캐시 삭제 대기 시간오래된 캐시 삭제 대기 시간 ((Maximum Maximum

Latency)Latency) 으로 실효성 없는 캐시를 제어으로 실효성 없는 캐시를 제어



UpdateUpdate

Update NotificationUpdate NotificationMDXMDXUDMUDM

CacheCache

XML/

A o

r OD

BO

XML/

A o

r OD

BO

SQL QuerySQL Query


Silence Silence IntervalInterval

LatencyLatency



MDXMDXUDMUDM

CacheCache

XML/

A o

r OD

BO

XML/

A o

r OD

BO

SQL QuerySQL Query


일률적인 성능 유지일률적인 성능 유지

성능이 일류적이지 않은 시스템에 대해 성능이 일류적이지 않은 시스템에 대해 불만이 높을 수 있음불만이 높을 수 있음 일률적으로 늦은 시스템이 빠르다가 종종 늦은 일률적으로 늦은 시스템이 빠르다가 종종 늦은

시스템 보다 적합할 수 있음시스템 보다 적합할 수 있음

일률적인 성능보장을 위해 자동 일률적인 성능보장을 위해 자동 MOLAP MOLAP 사용 고려사용 고려 자동자동 MOLAP = ROLAP MOLAP = ROLAP 전환 없음전환 없음 오래된 캐시 삭제오래된 캐시 삭제 (Maximum Latency) = -1(Maximum Latency) = -1

통합차원모델로부터 자료 조회통합차원모델로부터 자료 조회Ap

plic

atio

n Sy

stem

Oper

atio

nal D

ata

Stor

e

Stag

ing

Tabl

es

Star

Sch

ema OL

AP

Cach

ing

UDM

Stru

ctur

e

Repo

rting

Too

l

DemoDemo 저장소 디자인저장소 디자인 캐시 옵션 설정캐시 옵션 설정

연속적인 원시 자료 갱신연속적인 원시 자료 갱신

OLTP OLTP 시스템 또는 소량의 짧은 갱신 주기를 시스템 또는 소량의 짧은 갱신 주기를 갖는 갖는 DWDW 인 경우는 계속적으로 캐시를 인 경우는 계속적으로 캐시를 갱신하려 함갱신하려 함

문제 문제 : : 모든 것은 받아들여 캐시할 시간이 없음모든 것은 받아들여 캐시할 시간이 없음 많은 시작 실패 또는 대기 간격을 넘기지 못함많은 시작 실패 또는 대기 간격을 넘기지 못함

해결안해결안 Real Time ROLAP Real Time ROLAP 사용 포기사용 포기 대기 대체 간격대기 대체 간격 ((Silence Override)Silence Override) 과 함께 자동 과 함께 자동

MOLAP MOLAP 사용사용 예약된 예약된 MOLAP MOLAP 사용사용

데이터 변경 감지데이터 변경 감지

문제문제 데이터의 변경에 대해 어떻게 인지할 수 데이터의 변경에 대해 어떻게 인지할 수

있을까있을까 ?? 해결안해결안

추적 이벤트 엔트리 사용추적 이벤트 엔트리 사용 ServiceService 를 호출하는 알림 응용프로그램 설정를 호출하는 알림 응용프로그램 설정 SQL SQL 쿼리를 이용한 데이터 원본 폴링쿼리를 이용한 데이터 원본 폴링

알림알림 (Notifications) : (Notifications) : 추적 이벤트추적 이벤트

SQL ServerSQL Server 만 지원만 지원 admin admin 권한 필요권한 필요 Event Event 전달에 대해 보장하지 못함전달에 대해 보장하지 못함 AS AS 개체를 위해 추적 테이블을 명시할 수 있음개체를 위해 추적 테이블을 명시할 수 있음

알림 설정 방법알림 설정 방법 클라이언트 시작 클라이언트 시작 : XMLA : XMLA 명령 명령 NotifyTableChangeNotifyTableChange 를 사용를 사용 추적 테이블 지정 추적 테이블 지정 : : 추적할 기본 테이블을 지정추적할 기본 테이블을 지정 예약된 폴링 예약된 폴링 : : 일련의 쿼리를 실행하여 변경 내용을 식별일련의 쿼리를 실행하여 변경 내용을 식별

속성 설명대기 간격대기 간격(SilenceInterval)(SilenceInterval)

데이터가 변경된 후 지정한 대기 간격동안 변경 데이터가 변경된 후 지정한 대기 간격동안 변경 없이 침묵해야만 캐시 재생성 시작 없이 침묵해야만 캐시 재생성 시작 -1 (infinite) = -1 (infinite) = 대기 간격 없음대기 간격 없음

대기 대체 간격대기 대체 간격(SilenceOverrideInterval(SilenceOverrideInterval))

침묵 시간이 없다면침묵 시간이 없다면 , , 대기 대체 간격 이 후는 대기 대체 간격 이 후는 캐시 재생성 시작캐시 재생성 시작-1 (infinite) = -1 (infinite) = 대기 대체 간격 설정 없음대기 대체 간격 설정 없음

오래된 캐시 삭제 대기 시간오래된 캐시 삭제 대기 시간(Maximum Latency)(Maximum Latency)

대기 시간을 초과하면 서버가 캐시를 대기 시간을 초과하면 서버가 캐시를 업데이트하는 동안 실시간 업데이트하는 동안 실시간 ROLAPROLAP 으로 전환으로 전환- 1 (infinite) = ROLAP - 1 (infinite) = ROLAP 모드로 전환 없음모드로 전환 없음

다시 작성 간격다시 작성 간격(ForceRebuildInterval)(ForceRebuildInterval)

데이터 원본 변경과 관계없이 캐시를 정기적으로데이터 원본 변경과 관계없이 캐시를 정기적으로갱신갱신-1 (infinite) = -1 (infinite) = 정기적 캐시 작성 않음정기적 캐시 작성 않음

캐시 재생성 옵션 정책캐시 재생성 옵션 정책

Scaling UpScaling Up 대용량 데이터에 대해 어떻게 핸들링 할 대용량 데이터에 대해 어떻게 핸들링 할

것인가것인가 ?? 모든 변경에 대한 전체 캐시의 재생성은 모든 변경에 대한 전체 캐시의 재생성은

상당한 비용 발생 상당한 비용 발생 해결안해결안

파티션 사용파티션 사용 캐시에 대한 증분 업데이트 설정캐시에 대한 증분 업데이트 설정

통합차원모델 및 통합차원모델 및 AS 2005 AS 2005 요약요약 다양한 분석을 지원하기 위한 다양한 분석을 지원하기 위한 AS 2005 AS 2005

아키텍처의 재구성아키텍처의 재구성집중화된 서버 아키텍처집중화된 서버 아키텍처 수백개의 계층과 함께 대용량 차원을 수백개의 계층과 함께 대용량 차원을

지원하기 위한 새로운 차원 아키텍처지원하기 위한 새로운 차원 아키텍처 Star SchemaStar Schema 에서의 집계 데이터 수준을 에서의 집계 데이터 수준을

넘는넘는 Old & NewOld & New

제거 제거 : : 가상 차원가상 차원 , , 가상 큐브가상 큐브 도입 도입 : UDM, : UDM, 큐브 뷰큐브 뷰 (perspectives), KPIs, (perspectives), KPIs,

번역번역 (translations)(translations)

AS Proactive Caching AS Proactive Caching 요약요약

복합적 요건 해결복합적 요건 해결OLAP OLAP 쿼리 성능쿼리 성능 Real Time Real Time 데이터 수용데이터 수용 (( 필요에 따라필요에 따라 ))

운영 자동화운영 자동화관계형 데이터베이스와 자동 동기화 관계형 데이터베이스와 자동 동기화 명시적인 명시적인 ““ cube processing” cube processing” 배제배제

캐싱 정책 수립과 설정으로 짧은 대기시간과 캐싱 정책 수립과 설정으로 짧은 대기시간과 높은 성능을 유지할 수 있음높은 성능을 유지할 수 있음

Q & A

감사합니다감사합니다 ..

통합 차원 모델인 udm 과 real time 분석을 위한 proactive caching 활용

Documents