데이터웨어하우스 , olap, 데이터 마이닝

58
데데데데데데데데 데데데데데데데데 , OLAP, , OLAP, 데데데 데데데 데데데 데데데 데데 데데 SDS SDS 데데데데데 데데데데데 데데데 데데데 ([email protected]) ([email protected])

Upload: whoopi-cohen

Post on 03-Jan-2016

128 views

Category:

Documents


0 download

DESCRIPTION

삼성 SDS 멀티캠퍼스 최인규 ([email protected]). 데이터웨어하우스 , OLAP, 데이터 마이닝. “ How you gather, manage, and use information will determine whether you win or lose. ” – Bill Gates. 목차. 1. 데이터 웨어하우스 소개 데모 : 모델링과 점진적으로 변하는 차원 관리 2.DTS 를 이용해 DW 구축하기 데모 :DTS 의 기능 100% 활용 하기 3. 분석서비스 (OLAP) - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터웨어하우스데이터웨어하우스 , OLAP, , OLAP, 데이터 마이닝 데이터 마이닝

삼성 삼성 SDS SDS 멀티캠퍼스멀티캠퍼스최인규최인규 ([email protected])([email protected])

Page 2: 데이터웨어하우스 , OLAP,  데이터 마이닝

““How you gather, manage, How you gather, manage, and use information and use information

will determine whether will determine whether you win or lose.” you win or lose.”

– – Bill GatesBill Gates

Page 3: 데이터웨어하우스 , OLAP,  데이터 마이닝

목차목차1.1. 데이터 웨어하우스 소개데이터 웨어하우스 소개데모데모 :: 모델링과 점진적으로 변하는 차원 관리모델링과 점진적으로 변하는 차원 관리2.DTS2.DTS 를 이용해 를 이용해 DWDW 구축하기 구축하기 데모데모 :DTS:DTS 의 기능 의 기능 100%100% 활용 하기활용 하기3.3. 분석서비스 분석서비스 (OLAP)(OLAP)

데모데모 :: 큐브 만들기 및 엑셀 클라이언트 구현큐브 만들기 및 엑셀 클라이언트 구현분석 서비스분석 서비스 (( 데이터 마이닝데이터 마이닝 ))

데모데모 :: 마이닝 모델 만들기마이닝 모델 만들기

Page 4: 데이터웨어하우스 , OLAP,  데이터 마이닝

1.1. 데이터 웨어하우스 소개데이터 웨어하우스 소개

Page 5: 데이터웨어하우스 , OLAP,  데이터 마이닝

OLTPOLTP 와 데이터 웨어하우스 와 데이터 웨어하우스

OLTP OLTP 데이터베이스데이터베이스 데이터 웨어하우스 데이터 웨어하우스 데이터베이스데이터베이스

실시간의 업무 분석을 위해 설계실시간의 업무 분석을 위해 설계 범주와 속성으로 평가되는 업무의 범주와 속성으로 평가되는 업무의 분석을 위해 설계분석을 위해 설계 (( 비휘발성비휘발성 .. 주제 주제 중심중심 ))

데이터 수정을 위한 최적화 구조데이터 수정을 위한 최적화 구조 복잡하고 예측할 수 없는 쿼리에 대한 복잡하고 예측할 수 없는 쿼리에 대한 최적화 구조최적화 구조

많은 수의 동시 사용자 지원많은 수의 동시 사용자 지원 OLTPOLTP 에 관련된 동시 사용자를 거의 에 관련된 동시 사용자를 거의 지원하지 않음지원하지 않음

일관적 유효한 데이터로 로드일관적 유효한 데이터로 로드 (( 실시간 실시간 검증도 필요치 않음검증도 필요치 않음 ))

트랜잭션 동안 들어오는 데이터의 트랜잭션 동안 들어오는 데이터의 유효성에 대한 최적화유효성에 대한 최적화

Page 6: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 웨어하우스 구성요소데이터 웨어하우스 구성요소데이터 웨어하우스

Data Access

사용자데이터 원본

Data Input

StagingArea

데이터 마트

Page 7: 데이터웨어하우스 , OLAP,  데이터 마이닝

Relational Data MartRelational Data Mart 와 와 OLAP OLAP CubesCubes

Relational Data MartRelational Data Mart OLAP CubesOLAP Cubes

Data StorageData Storage RelationalRelational

Data StructureData Structure

N-DimensionalN-Dimensional

Data StructureData Structure

Data ContentData Content Detailed andDetailed and

Summarized DataSummarized Data

Summarized DataSummarized Data

Data SourcesData Sources Relational andRelational and

Non- Relational Non- Relational SourcesSources

Relational andRelational and

Non- Relational Non- Relational SourcesSources

Data RetrievalData Retrieval Fast Performance forFast Performance for

Data Extract QueriesData Extract Queries

Faster Performance forFaster Performance for

Data Extract QueriesData Extract Queries

Page 8: 데이터웨어하우스 , OLAP,  데이터 마이닝

Search Efficiency.Search Efficiency.

쿼리 및 레포팅 툴

OLAP

Data Mining

Personal information Agent

Page 9: 데이터웨어하우스 , OLAP,  데이터 마이닝

필요한 기술필요한 기술 관계형데이터베이스관계형데이터베이스

데이터웨어하우스의 데이터를 데이터웨어하우스의 데이터를관리한다관리한다 ..

StagingStaging 으로 들어 오는 데이터를 정제 으로 들어 오는 데이터를 정제 및 변환을 지원한다및 변환을 지원한다 ..

OLAP OLAP 직관적이고 빠르게 데이터를 추출할수 직관적이고 빠르게 데이터를 추출할수

있는 다차원 뷰를 생성한다있는 다차원 뷰를 생성한다 .. 추출추출 , , 변환변환 , , 로딩 도구로딩 도구

이질적인 시스템으로 부터 데이터를 이질적인 시스템으로 부터 데이터를 추출한다추출한다 ..

목적지에 원본데이터를 변환목적지에 원본데이터를 변환 ..로딩한다로딩한다 ..

Page 10: 데이터웨어하우스 , OLAP,  데이터 마이닝

SQL Server BI PlatformSQL Server BI Platform

Analysis ServicesAnalysis ServicesOLAP & Data MiningOLAP & Data Mining

Data TransformationData TransformationServicesServices

ETLETL

SQL ServerSQL ServerRelational EngineRelational Engine

Reporting ServicesReporting Services Man

agem

ent T

oo

lsM

anag

emen

t To

ols

Dev

elo

pm

ent

To

ols

Dev

elo

pm

ent

To

ols

Page 11: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 웨어하우스 디자인데이터 웨어하우스 디자인

Measures

Fact Table

Fact Table:비즈니스의 특정 이벤트를 설명하기 위한 숫자데이터를 가진 중앙 테이블MeasuresFact Table 의 숫자 컬럼으로 분석에 사용된다 .Dimension Table데이터의 의미를 설명한다 .

차원적 모델 설계

Page 12: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 웨어하우스 설계데이터 웨어하우스 설계 OLTP OLTP 시스템과 간섭 없는 기능시스템과 간섭 없는 기능 일관성 있는 데이터의 중앙 관리 기능일관성 있는 데이터의 중앙 관리 기능 복잡한 쿼리에 빠르게 응답복잡한 쿼리에 빠르게 응답 OLAPOLAP 와 데이터 마이닝 같은 강력한 와 데이터 마이닝 같은 강력한

분석 툴 제공분석 툴 제공 차원적 모델에 근거를 둔다차원적 모델에 근거를 둔다 .. 판매판매 , , 재고와 같은 주제에 초점을 둔다재고와 같은 주제에 초점을 둔다 .. 다양한 소스로 부터 데이터를 결합한다다양한 소스로 부터 데이터를 결합한다 ..

Page 13: 데이터웨어하우스 , OLAP,  데이터 마이닝

점진적으로 변하는 차원들점진적으로 변하는 차원들Type1. Type1. 차원 레코드를 덮어쓰기차원 레코드를 덮어쓰기Type2. Type2. 새로운 차원 레코드 추가하기새로운 차원 레코드 추가하기Type3. Type3. 차원 레코드 상에 새로운 컬럼 추가차원 레코드 상에 새로운 컬럼 추가

Page 14: 데이터웨어하우스 , OLAP,  데이터 마이닝

데모데모모델링과 점진적으로 변하는 차원 관리모델링과 점진적으로 변하는 차원 관리

Page 15: 데이터웨어하우스 , OLAP,  데이터 마이닝

2.DTS2.DTS 를 이용해 를 이용해 DWDW 구축하기 구축하기

Page 16: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 추출데이터 추출 , , 변환 및 로딩기술 변환 및 로딩기술 개 요개 요 OLTPOLTP 데이터베이스에서 추출데이터베이스에서 추출 (Extraction)(Extraction) 되고 되고

데이터웨어하우스 스키마에 맞게 변환데이터웨어하우스 스키마에 맞게 변환 (Transformation(Transformation)) 되고 데이터웨어하우스에 로딩되고 데이터웨어하우스에 로딩 (Loading)(Loading) 된다된다 ..

일회성이 아니라 주기적으로 동작한다일회성이 아니라 주기적으로 동작한다 ..

Page 17: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 추출데이터 추출 , , 변환 및 로딩기술 변환 및 로딩기술 ETLETL 구성요소구성요소 추출추출 :: 원본시스템에서 데이터를 추출하는 역할을 담당원본시스템에서 데이터를 추출하는 역할을 담당 . .

일반적으로 일반적으로 OLTPOLTP 의 성능을 유지하기 위해 누적된 데이터를 의 성능을 유지하기 위해 누적된 데이터를 데이터웨어하우스로 옮긴다데이터웨어하우스로 옮긴다 ..

변환변환 :: 데이터를 검증하고 데이터의 타입을 바꾸며 비즈니스 룰을 데이터를 검증하고 데이터의 타입을 바꾸며 비즈니스 룰을 적용하는 역할을 한다적용하는 역할을 한다 .(T-SQL,.(T-SQL, 사용자 애플리케이션사용자 애플리케이션 ))

로딩로딩 :: 변환된 데이터를 데이터웨어하우스에 입력한다변환된 데이터를 데이터웨어하우스에 입력한다 .(BULK INS.(BULK INSERT,BCP,Bulk copy API)ERT,BCP,Bulk copy API)

메타데이터메타데이터 :: 데이터의 이동데이터의 이동 ,, 변환변환 ,, 데이터웨어하우스 운영에 관한 데이터웨어하우스 운영에 관한 정보를 유지하며 변환이 일어나는 동안 데이터 매핑에 관해서도 정보를 유지하며 변환이 일어나는 동안 데이터 매핑에 관해서도 설명해 준다설명해 준다 ..

Page 18: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 추출데이터 추출 , , 변환 및 로딩기술 변환 및 로딩기술 SQL Server 2000 ETL SQL Server 2000 ETL 요소요소 DTS:DTS: 다양한 원본 시스템으로 데이터를 추출다양한 원본 시스템으로 데이터를 추출 ,, 변환해서 목적지에 변환해서 목적지에

통합하는 기능을 제공하는 그래픽한 도구와 프로그램이 가능한 개체통합하는 기능을 제공하는 그래픽한 도구와 프로그램이 가능한 개체 SQL Server SQL Server 에이전트에이전트 :: 주기적인 작업에 대한 일정수립이 가능하도록 주기적인 작업에 대한 일정수립이 가능하도록

하고 오류에 대해 통보하는 기능하고 오류에 대해 통보하는 기능 저장 프로시저와 뷰저장 프로시저와 뷰 :: 여러 애플리케이션간에 로직을 통일되게 구현한다여러 애플리케이션간에 로직을 통일되게 구현한다 .. T-SQL: T-SQL: 표준표준 SQL SQL 보다 확장된 프로그래밍 기능을 제공한다보다 확장된 프로그래밍 기능을 제공한다 .. OLE DB:OLE DB: 모든 종류의 데이터를 접속하기 위해 설계 되었다모든 종류의 데이터를 접속하기 위해 설계 되었다 .. 메타 데이터 서비스메타 데이터 서비스 :: 메타 데이터를 저장하고 관리하는 방법을 제공한다메타 데이터를 저장하고 관리하는 방법을 제공한다 . .

데이터나 요소 정의데이터나 요소 정의 , , 개발 모델개발 모델 , , 재 사용 가능한 요소재 사용 가능한 요소 , , 데이터 데이터 웨어하우스 설명등을 제공하는 허브로 사용된다웨어하우스 설명등을 제공하는 허브로 사용된다 ..

Page 19: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 로드 시나리오 정의 데이터 로드 시나리오 정의

모듈화된 패키지 디자인

연결 관리

패키지 워크플로 정의

작업과 변환 선택

패키지 실행

데이터로드가 기능적 단위로 분리될수 있는가 ?

원본과 목적지가 어딘가 ?

데이터 로드 시 어떤 변환과 기능이 요구되는가 ?

데이터로드가 다른 데이터로그에 의존적인가 ?

메타데이터를 추적해야 하는가?

얼마나 자주 실행하는가 ?

디자인 고려사항 디자인 결정

패키지 저장

Page 20: 데이터웨어하우스 , OLAP,  데이터 마이닝

모듈화된 패키지 디자인모듈화된 패키지 디자인 모듈화된 패키지 만들기 모듈화된 패키지 만들기

복잡한 작업을 단순화 한다복잡한 작업을 단순화 한다 .. 패키지 이해가 빠르다패키지 이해가 빠르다 .. 디버깅 하기 좋다디버깅 하기 좋다 ..

Outer Packages Outer Packages 만들기만들기 여러 개의 패키지를 하나의 패키지로 실행여러 개의 패키지를 하나의 패키지로 실행 모듈화된 패키지를 워크프로에 맞게 실행모듈화된 패키지를 워크프로에 맞게 실행 다른 곳에서 재사용다른 곳에서 재사용 패키지 병렬처리패키지 병렬처리

Page 21: 데이터웨어하우스 , OLAP,  데이터 마이닝

작업 선택 작업 선택 목적지에 목적지에 Inserts Inserts 수행수행 대량 삽입 작업대량 삽입 작업

원본이 콤마나 탭등으로 구분되는 원본이 콤마나 탭등으로 구분되는 파일이며 목적지가 반드시 파일이며 목적지가 반드시 SQL ServerSQL Server이고 어떤한 변환도 할 필요가 없다이고 어떤한 변환도 할 필요가 없다 ..

데이터 변환 작업데이터 변환 작업원본과 목적지가 다양한 데이터 소스며 원본과 목적지가 다양한 데이터 소스며 데이터 변환데이터 변환 . . 패러미터 쿼리패러미터 쿼리 .. 다중 데이터 다중 데이터 펌프를 이용해 다양한 로직 적용이 펌프를 이용해 다양한 로직 적용이 가능하다가능하다 ..

Page 22: 데이터웨어하우스 , OLAP,  데이터 마이닝

작업 선택 작업 선택 유연한 쿼리 수행유연한 쿼리 수행 데이터 기반 쿼리데이터 기반 쿼리

행단위의 유연한 쿼리 실행행단위의 유연한 쿼리 실행 ..

성능보다 다양한 융통성이 필요함성능보다 다양한 융통성이 필요함 ..

insert, update, delete insert, update, delete 수행수행

SQL SQL 실행 작업실행 작업SQLSQL 문 실행문 실행 ..

매개변수 쿼리 수행매개변수 쿼리 수행 ..

쿼리의 결과를 매개변수로 전역변수에 쿼리의 결과를 매개변수로 전역변수에 할당할당 ..

Page 23: 데이터웨어하우스 , OLAP,  데이터 마이닝

작업 선택 작업 선택 Objects Objects 복사 도구복사 도구 데이터 가져오기데이터 가져오기 // 내보내기 마법사내보내기 마법사 SQL ServerSQL Server 개체 복사 작업개체 복사 작업

Table, View, indexesTable, View, indexes 와 같은 개체 복사와 같은 개체 복사원본과 목적지가 원본과 목적지가 SQL Server 7.0 SQL Server 7.0 이상 이상 일때만 가능일때만 가능

데이터베이스 전송 작업데이터베이스 전송 작업 로그인 전송 작업등로그인 전송 작업등

Page 24: 데이터웨어하우스 , OLAP,  데이터 마이닝

효과적인 컬럼 매핑효과적인 컬럼 매핑

컬럼 매핑 수를 최소화 한다컬럼 매핑 수를 최소화 한다 .. 가급적이면 다 대 다 매핑을 사용한다가급적이면 다 대 다 매핑을 사용한다 .. 일반적인 변환작업을 묶어서 한다일반적인 변환작업을 묶어서 한다 .. 가급적이면 시스템이 제공하는 변환을 가급적이면 시스템이 제공하는 변환을

이용한다이용한다 .. 성능이 중요하다면 성능이 중요하다면 ActiveX ScriptActiveX Script

변환을 최소화 한다변환을 최소화 한다 .(2.(2배이상의 속도 배이상의 속도 저하저하 ))

Page 25: 데이터웨어하우스 , OLAP,  데이터 마이닝

워크플로 정의워크플로 정의 병렬 워크플로를 위해 여러 개의 분리된 연결을 병렬 워크플로를 위해 여러 개의 분리된 연결을

사용한다사용한다 .. 각 단계마다 트랜잭션 처리를 어떻게 할지를 각 단계마다 트랜잭션 처리를 어떻게 할지를

결정한다결정한다 ..

Page 26: 데이터웨어하우스 , OLAP,  데이터 마이닝

패키지 저장 패키지 저장

Page 27: 데이터웨어하우스 , OLAP,  데이터 마이닝

패키지 실행 및 트러블 슈팅패키지 실행 및 트러블 슈팅 여러 개의 패키지를 하나의 여러 개의 패키지를 하나의 Outer Outer 패키지로 묶어 패키지로 묶어

실행한다실행한다 .. DTS Run DTS Run 유틸리티를 사용할때 매개변수를 생성하는 유틸리티를 사용할때 매개변수를 생성하는

명령을 만든다명령을 만든다 .. 패키지 스케쥴링을 할때 소유자 퍼미션을 확인한다패키지 스케쥴링을 할때 소유자 퍼미션을 확인한다 .. 패키지 실행 로깅패키지 실행 로깅

SQL Server SQL Server Error filesError files Windows event logWindows event log

작업 오류 파일 생성작업 오류 파일 생성 데이터 변환 작업데이터 변환 작업 데이터 기반 쿼리 작업데이터 기반 쿼리 작업

Page 28: 데이터웨어하우스 , OLAP,  데이터 마이닝

• 패키지 관리패키지 관리 자주 변경되는 연결과 작업을 인식한다자주 변경되는 연결과 작업을 인식한다 .. 전역변수 관리전역변수 관리

Outer Outer 패키지에서 값을 할당한다패키지에서 값을 할당한다 ..

실행시 유틸리티를 이용해 값을 할당한다실행시 유틸리티를 이용해 값을 할당한다 ..

스크립트로 할당한다스크립트로 할당한다 .. 패키지 연결 관리패키지 연결 관리

Microsoft Data LinkMicrosoft Data Link 파일을 사용한다파일을 사용한다 ..

동적 속성을 이용하여 유연성을 증가 시킨다동적 속성을 이용하여 유연성을 증가 시킨다 ..

연결이 끊긴 편집을 사용하여 오프라인 변경을 연결이 끊긴 편집을 사용하여 오프라인 변경을 한다한다 ..

Page 29: 데이터웨어하우스 , OLAP,  데이터 마이닝

ETLETL 도구로서 도구로서 DTSDTS 의 기능을 의 기능을 100%100% 로 로 활용한다면…활용한다면… ....

DW DW 구축구축

DTS DTS 데모 데모

Page 30: 데이터웨어하우스 , OLAP,  데이터 마이닝

3.3. 분석서비스 분석서비스

데이터 안에는 황금이 묻혀 있지만 답사 전에는 얼마나 많은 금이 묻혀 있는지 알 수 없다 .

-Don Haderle

Page 31: 데이터웨어하우스 , OLAP,  데이터 마이닝

분석 서비스 아키텍처분석 서비스 아키텍처O

LE

DB

for O

LA

PO

LE

DB

for O

LA

PO

LE

DB

for D

MO

LE

DB

for D

M

MOLAPMOLAPStoreStore

Ap

plicatio

nA

pp

lication

AD

O

AD

O

MD

MD

Pivo

tTab

le P

ivotT

able

Service

Service

Analysis ManagerAnalysis Manager

DSODSO

SQL ServerSQL ServerDataData

WarehouseWarehouse

OtherOtherOLE DBOLE DB

ProvidersProvidersAnalysis Server

OLAPEngine

DMEngine

Page 32: 데이터웨어하우스 , OLAP,  데이터 마이닝

OLAP OLAP 표준 표준 MD-APIMD-API

OLAPOLAP카운실이 카운실이 19961996년 년 99월에 발표된 최초의 월에 발표된 최초의 API. API. 대부분의 대부분의 OLAPOLAP 벤더에 외면 된 벤더에 외면 된 API. API.

19981998년에 년에 JAVAJAVA 라이브러리와 라이브러리와 COMCOM 오브젝트로 오브젝트로 구성된 구성된 MD-API2.0MD-API2.0 를 발표를 발표

OLE DB for OLAPOLE DB for OLAP

마이크로소프트에서 마이크로소프트에서 19981998년 년 22월에 제안월에 제안대부분의 벤더에서 적극적으로 지원되는 실질적인 대부분의 벤더에서 적극적으로 지원되는 실질적인 OLOLAP APIAP API 표준표준MDX(MDX( 다차원질의언어다차원질의언어 )) 제공제공

Page 33: 데이터웨어하우스 , OLAP,  데이터 마이닝

분석 관리자 분석 관리자

데이터베이스를 만들고 데이터 원본을 지정한다데이터베이스를 만들고 데이터 원본을 지정한다 .. 큐브를 작성하고 처리한다큐브를 작성하고 처리한다 .. 데이터 마이닝 모델을 만들고 처리한다데이터 마이닝 모델을 만들고 처리한다 .. 저장소 옵션을 지정하고 쿼리 성능을 최적화한다저장소 옵션을 지정하고 쿼리 성능을 최적화한다 .. 보안을 관리한다보안을 관리한다 . . 데이터 원본데이터 원본 , , 공유 차원공유 차원 , , 보안 역할보안 역할 , , 그 밖의 개체 등을 찾아본다그 밖의 개체 등을 찾아본다 .. 분석 관리자 자습서를 실행한다분석 관리자 자습서를 실행한다 . . Decision Support Objects (DSO) is a library of Component ObjDecision Support Objects (DSO) is a library of Component Obj

ect Model (COM) classes and interfaces that provide access to ect Model (COM) classes and interfaces that provide access to the Analysis server. the Analysis server.

Page 34: 데이터웨어하우스 , OLAP,  데이터 마이닝

PivotTable Service PivotTable Service

마이크로소프트 오피스 마이크로소프트 오피스 20002000 의 구성요소 이다의 구성요소 이다..

Desktop OLAP Desktop OLAP 요소요소 지능적인 쿼리 캐싱을 지원한다지능적인 쿼리 캐싱을 지원한다 .. 로컬 큐브를 만든다로컬 큐브를 만든다 .. MDX formula MDX formula 엔진엔진

Page 35: 데이터웨어하우스 , OLAP,  데이터 마이닝

오피스 오피스 2000 OLAP 2000 OLAP 구성요소 구성요소

PivotTable ServicePivotTable Service Excel 2000 PivotTableExcel 2000 PivotTable Office Pivot Web ControlOffice Pivot Web Control Local CubesLocal Cubes

Page 36: 데이터웨어하우스 , OLAP,  데이터 마이닝

다차원 데이터베이스다차원 데이터베이스큐브

Page 37: 데이터웨어하우스 , OLAP,  데이터 마이닝

차원 차원

큐브 측정값의 의미를 다양한 관점에서 설명한다큐브 측정값의 의미를 다양한 관점에서 설명한다 .. 디자인 이슈디자인 이슈별모양 스키마와 눈송이 스키마별모양 스키마와 눈송이 스키마공유차원과 개인차원공유차원과 개인차원차원을 개체 인터페이스로 접근해야 한다차원을 개체 인터페이스로 접근해야 한다 ..

다양한 차원다양한 차원가상차원가상차원 .. 부모부모 -- 자식 차원자식 차원 . . 변경차원변경차원

Page 38: 데이터웨어하우스 , OLAP,  데이터 마이닝

차원 만들기 차원 만들기 데이터 원본 스키마를 이해한다 .

Page 39: 데이터웨어하우스 , OLAP,  데이터 마이닝

차원 속성차원 속성 차원 차원 수준수준 구성원구성원

차원을 개체 차원을 개체 인터페이스로 인터페이스로 접근해야 한다접근해야 한다 ..

Page 40: 데이터웨어하우스 , OLAP,  데이터 마이닝

다양한 차원 다양한 차원 가상차원가상차원

다른 차원의 구성원 속성을 이용하여 만든다다른 차원의 구성원 속성을 이용하여 만든다 ..

장점장점 :: 큐브의 크기나 처리속도에 영향을 주지 큐브의 크기나 처리속도에 영향을 주지 않는다않는다 ..

단점단점 ::집계가 되어 있지 않기 때문에 쿼리 집계가 되어 있지 않기 때문에 쿼리 속도가 표준 차원보다 떨어진다속도가 표준 차원보다 떨어진다 ..

부모부모 -- 자식 차원자식 차원장점장점 :: 비대칭비대칭 (UnBalanced)(UnBalanced) 구조를 허용한다구조를 허용한다 ..

넌넌 -- 리프 데이터를 보여줄 수 있다리프 데이터를 보여줄 수 있다 .. 변경차원변경차원

차원의 구성원을 추가 및 재 정렬시 큐브를 재 차원의 구성원을 추가 및 재 정렬시 큐브를 재 처리할 필요가 없다처리할 필요가 없다 . .

Page 41: 데이터웨어하우스 , OLAP,  데이터 마이닝

Members with DataMembers with Data

표준 차원표준 차원리프 구성원리프 구성원 (Leaf Members)(Leaf Members) 의 의 데이터만 데이터만 Fact TableFact Table 에 존재한다에 존재한다 ..

부모자식 차원부모자식 차원Leaf and Upper Level Members CorreLeaf and Upper Level Members Correspond to Fact Table Dataspond to Fact Table Data

다음 값을 가진다다음 값을 가진다 .. Leaf Members OnlyLeaf Members Only Non-leaf Data HiddenNon-leaf Data Hidden Non-leaf Data VisibleNon-leaf Data Visible

Page 42: 데이터웨어하우스 , OLAP,  데이터 마이닝

비정형 계층구조 처리비정형 계층구조 처리표준차원표준차원Hide member ifHide member if 속성속성부모자식차원부모자식차원Skipped Levels ColumnSkipped Levels Column

Page 43: 데이터웨어하우스 , OLAP,  데이터 마이닝

큐브 큐브 차원과 측정값을 묶어 빠르게 답변 하기 위해 차원과 측정값을 묶어 빠르게 답변 하기 위해

설계된 다차원 데이터베이스설계된 다차원 데이터베이스 데이터웨어하우스의 일부분이다데이터웨어하우스의 일부분이다 .. 상세 데이터와 빠르게 답변하기 위해 상세 데이터와 빠르게 답변하기 위해 집계데이터를 저장하고 있다집계데이터를 저장하고 있다 (?)(?)

다양한 큐브다양한 큐브가상큐브가상큐브 .. 연결된 큐브연결된 큐브 . . 실시간 큐브실시간 큐브 . . 분산된 분산된 큐브큐브 .. 오프라인 큐브오프라인 큐브

Page 44: 데이터웨어하우스 , OLAP,  데이터 마이닝

저장소 모드저장소 모드큐브의 데이터를 물리적으로 어느곳에 저장하는가 ?

Page 45: 데이터웨어하우스 , OLAP,  데이터 마이닝

저장소 최적화 및 파티션저장소 최적화 및 파티션 저장소 최적화저장소 최적화

저장소 디자인 마법사 저장소 디자인 마법사 사용빈도 기반 최적화사용빈도 기반 최적화분석 서비스 집계분석 서비스 집계

파티션파티션큐브 처리와 쿼리 속도를 향상시키기 위해 큐브 큐브 처리와 쿼리 속도를 향상시키기 위해 큐브 데이터를 여러 저장소 모드로 물리적으로 저장데이터를 여러 저장소 모드로 물리적으로 저장

Page 46: 데이터웨어하우스 , OLAP,  데이터 마이닝

동작동작 .. 드릴스루드릴스루 .. 쓰기 되돌림 쓰기 되돌림 동작동작

큐브가 주로 수치 데이터만을 보여주는 단점을 극복하기 위해 나온 큐브가 주로 수치 데이터만을 보여주는 단점을 극복하기 위해 나온 방법으로 특정 작업을 추가할수 있다방법으로 특정 작업을 추가할수 있다 . .

판매처별 실적을 검색하다 판매처 관리자 정보를 보거나 관련 판매처별 실적을 검색하다 판매처 관리자 정보를 보거나 관련 웹페이지로 이동하는 등의 작업을 수행한다웹페이지로 이동하는 등의 작업을 수행한다 . .

드릴스루드릴스루OLAPOLAP 시스템에서 시스템에서 DWDW 에 존재하는 상세 데이터에 접근할 수 있는 에 존재하는 상세 데이터에 접근할 수 있는 기능이다기능이다 . MOLAP. MOLAP 의 단점을 극복할 수 있는 개념이다의 단점을 극복할 수 있는 개념이다 . .

쓰기 되돌림쓰기 되돌림클라이언트에서 큐브를 업데이트 한다클라이언트에서 큐브를 업데이트 한다 . . 예를 들어 작년도 실적을 예를 들어 작년도 실적을 기반으로 예산을 배분하는 경우를 생각해 보자기반으로 예산을 배분하는 경우를 생각해 보자 ..

UPDATE CUBE [Budget Cube] SET ([2004], [Marketing], [BudgUPDATE CUBE [Budget Cube] SET ([2004], [Marketing], [Budget], [All Departments]) = 1000 USE_WEIGHTED_ALLOCATION et], [All Departments]) = 1000 USE_WEIGHTED_ALLOCATION BY ([1998], [Sales], [Actual])/ ([2003], [Sales], [Actual], [All DepBY ([1998], [Sales], [Actual])/ ([2003], [Sales], [Actual], [All Departments]) artments])

Page 47: 데이터웨어하우스 , OLAP,  데이터 마이닝

관리관리 큐브 처리큐브 처리

큐브에 쿼리를 보내기 전에 처리되어야 한다큐브에 쿼리를 보내기 전에 처리되어야 한다 ..

차원 처리는 차원데이터를 로드한다차원 처리는 차원데이터를 로드한다 ..

큐브 처리 시 큐브데이터와 집계가 만들어 진다큐브 처리 시 큐브데이터와 집계가 만들어 진다 ..

차원과 큐브 데이터를 만들기 위해 차원과 큐브 데이터를 만들기 위해 SQLSQL 문이 사용된다문이 사용된다..

DTSDTS 와 와 SQL AgentSQL Agent 로 자동화 할 수 있다로 자동화 할 수 있다 .. 보안보안

역할을 통해 분석서버에 접근할 수 있는 계정설정역할을 통해 분석서버에 접근할 수 있는 계정설정데이터베이스데이터베이스 , , 큐브큐브 , , 마이닝 모델등에 접근 권한을 마이닝 모델등에 접근 권한을 역할 단위로 설정역할 단위로 설정셀 단위까지 보안이 지원셀 단위까지 보안이 지원

Page 48: 데이터웨어하우스 , OLAP,  데이터 마이닝

데모데모

공유 차원 및 큐브 만들기

엑셀 클라이언트 사용

기본적인 관리 작업 수행

Page 49: 데이터웨어하우스 , OLAP,  데이터 마이닝

데이터 마이닝 데이터 마이닝

기저귀와 맥주기저귀와 맥주 간단히 말하자면 데이터 마이닝은 패턴과 간단히 말하자면 데이터 마이닝은 패턴과 규칙의 형태에서 데이터에 대한 의미 있는 규칙의 형태에서 데이터에 대한 의미 있는 정보를 발견하기 위해 많은 양의 데이터를 정보를 발견하기 위해 많은 양의 데이터를 검색하는 처리이다검색하는 처리이다 ..

Page 50: 데이터웨어하우스 , OLAP,  데이터 마이닝

알고리즘알고리즘 분석서비스 제공 알고리즘분석서비스 제공 알고리즘

ClusteringClustering

Decision treesDecision trees 기타 알고리즘기타 알고리즘

Marker Basket AnalysisMarker Basket Analysis

Memory-Based ReasoningMemory-Based Reasoning

Neural NetworksNeural Networks

Page 51: 데이터웨어하우스 , OLAP,  데이터 마이닝

Decision treesDecision trees

Page 52: 데이터웨어하우스 , OLAP,  데이터 마이닝

Clustering Clustering

Page 53: 데이터웨어하우스 , OLAP,  데이터 마이닝

마이닝 모델 훈련마이닝 모델 훈련

Mining Model

DMEngine

Data To Predict

DMEngine

Predicted Data

Training Data Mining Model

Page 54: 데이터웨어하우스 , OLAP,  데이터 마이닝

마이닝 모델 보기 마이닝 모델 보기

Page 55: 데이터웨어하우스 , OLAP,  데이터 마이닝

종속 관계 네트워크 종속 관계 네트워크

Page 56: 데이터웨어하우스 , OLAP,  데이터 마이닝

차기버전차기버전

획기적인 변화가 기대된다획기적인 변화가 기대된다 .. 새로운 알고리즘 추가새로운 알고리즘 추가

Association rules, time series, regression Association rules, time series, regression trees, sequence clustering, neural nets, Ntrees, sequence clustering, neural nets, Naïve Bayesaïve Bayes

Page 57: 데이터웨어하우스 , OLAP,  데이터 마이닝

데모데모마이닝 모델 만들기마이닝 모델 만들기데이터마이닝 예측 작업 수행데이터마이닝 예측 작업 수행

Page 58: 데이터웨어하우스 , OLAP,  데이터 마이닝

요약요약SQL Server 는 BI platform 이다 .

Analysis ServicesAnalysis ServicesOLAP & Data MiningOLAP & Data Mining

Data TransformationData TransformationServicesServices

ETLETL

SQL ServerSQL ServerRelational EngineRelational Engine

Reporting ServicesReporting Services Man

agem

ent T

oo

lsM

anag

emen

t To

ols

Dev

elo

pm

ent

To

ols

Dev

elo

pm

ent

To

ols