데이터정제와품질검증을위한...비즈니스수행및의사결정효율성증대 ......

Simple, Smart, Speedy

데이터 정제와 품질검증을 위한MDM 시스템의 기능과 역할

- 2016.11 -

(주)투비웨이

박세준이사([email protected])

목차

Simple, Smart, Speedy 1

I. Master Data, Master Data Management

II. MDM 프로젝트구성

III. 데이터표준화, 정제, 품질검증

IV. MDM 시스템의기능과역할


Master Data : 기준정보

Master Data = Key to the Process Execution & Analysis

■ 기준정보(Master Data)

ERP/SCM/MES 같은트랜잭션시스템이나 EDW 같은분석시스템에서기준으로사용되는 비즈니스데이터

상당기간동안변하지않는정적데이터

비즈니스정보의특성을기술하는데이터의집합

업무운영프로세스의수행을위해필요한기준데이터

주로복수의전사기준정보의조합으로구성

상대적으로짧은 Life Cycle 및유효시간, 기간을가짐

식별코드(ID) + 콘텐트 (Content) 구성

■ 업무코드(Biz Code)

비즈니스커뮤니케이션의신속성, 정확성, 경제성을높이기위하여사용되는부호화된데이터

참조코드, 표준코드, 공통코드

비즈니스정보에대한집계, 분류코드

IT코드 : 상대적으로단순하고, 글로벌/업계표준보유

코드(ID) + 코드명 (Name) 구성


Master Data Management : 기준정보관리

Discipline that provides a Consistent Understanding of master data entities

■ 관리의구성요소

WHAT & WHO : 대상, 주체

HOW : 수단, 방법

WHY : 목적, 목표

■ 기준정보관리의대상및주체

고객, 협력사, 제품, 자재, 설비, 사업장, 서비스…

기준정보를다루는사람, 조직

■ 기준정보관리의수단

표준화, 데이터정제, 품질검증

워크플로우

연계, 배포

■ Discipline that provides a consistent understanding of master data entities

고품질기준정보를정확하게공유

비즈니스 수행및의사결정효율성증대


MDM 시스템기능요소

MDM 기능요소 = 검색/조회, 입력/승인, 현황/개선방안. 시스템관리/운영지원

기준정보검색/조회

기준정보입력/승인

시스템관리/운영지원

현황/개선방안

Governance

Process

QualityIntegration

ServiceMeta

Data

MDM구성요소 MDM 시스템기능요소


MDM 프레임워크

성공적인MDM 구현을 위한 ToBeWAY MDM Framework

데이터품질지표 데이터품질분석 지속적품질개선

전사기준정보모델 분류체계/속성체계 식별체계/표기표준

데이터수집 데이터검증 데이터정제및보강

등록/수정/중지 수집/통합

기준정보관리조직 역할과책임 사용자권한관리

검색및조회 리포트 UI 개인화

기준정보저장소 기준정보중앙관리

데이터배포 모니터링 통합서비스

품질관리(Quality)

거버넌스(Governance)

프로세스(Process)

데이터표준화(Data Value)

기준정보모델(Metadata)

Data

Ap

pro

ach

Architecture Approach

Ap

plica

tion

Ap

pro

ach

사용자서비스(User Service)

관리(Administration)

통합과연계(Integration)

G

Q P

M

V

SA

I

개선과제수행 데이터표준화

워킹그룹(Working Group)

W

User working group Approach

목차




III. 데이터표준화, 정제, 품질검증

IV. MDM 시스템의기능과역할


MDM 프로젝트구성

MDM PROJECT =

표준체계혁신(컨설팅)

시스템구축(솔루션)

데이터표준화(클린징)

연계구현(EAI/ETL)

관련시스템변경(ERP/Legacy)


As-Is 분석정의 To-Be 설계 구현 테스트 이행/운영A B C D E F

데이터수집

데이터분석

관리체계

분석

애플리케이션

분석

기준정보

도메인

정의

요구사항

도출

및제약조건

파악

데이터표준체계

설계

데이터이관구현

프로세스구현

거버넌스설계

프로세스설계

품질체계설계

관리자/

운영자

교육

운영환경

SetupCut-Over

Iterations #1 #2 #N

Phase

Stage Master Data Innovation MDM Implementation

관리체계

G

P

Q

데이터

M

V

응용시스템

S

A

I

개발및

운영환경준비

데이터표준화

방안설계

이행

계획

수립

통합

테스트

프

로

토

타

이

핑

연계방안설계

GAP 분석및

개발항목설계

레거시

이행방안수립

A1 A2

A3

B1

B2

B3

B4

C2

C3

C4

C5

C6

C8

C9

D2

D5

E1 F1 F3

F4 F6

커스트마이징

및확장기능구현

연계구현

레거시변경

D6

D7

D8

C7

데이터모델링

품질체계구현D3

D4

데이터

이관

F5

거버넌스구현D1

안정화

지원

F7

개선기회

도출

개선과제정의

데이터표준화

개선과제수행

사용자

W

B5 C1

C10 D9

C11

사용자

교육

F2

8

MDM 구축프로젝트방법론


현업주도의데이터표준화/클린징

데이터적접근 중데이터 표준화 부분은주로 현업분들이참여하는 워킹그룹형태로 진행

데이터품질지표 데이터품질분석 지속적품질개선

전사기준정보모델 분류체계/속성체계 식별체계/표기표준

데이터수집 데이터검증 데이터정제및보강

등록/수정/중지 수집/통합

기준정보관리조직 역할과책임 사용자권한관리

검색및조회 리포트 UI 개인화

기준정보저장소 기준정보중앙관리

데이터배포 모니터링 통합서비스

품질관리(Quality)

거버넌스(Governance)

프로세스(Process)

데이터표준화(Data Value)

기준정보모델(Metadata)

Data

Ap

pro

ach

Architecture Approach

Ap

plica

tion

Ap

pro

ach

사용자서비스(User Service)

관리(Administration)

통합과연계(Integration)

G

Q P

M

V

SA

I

개선과제수행 데이터표준화

워킹그룹(Working Group)

W

User working group Approach


데이터표준화/클린징 in MDM Project

프로젝트종료 보고서 및제안서 등의언급량으로 살펴본MDM프로젝트 관리체계구성비의 변화

표준체계(식별)

30%

표준체계(분류/속성)

20%

데이터클린징

35%

거버넌스

2%

프로세스

10%

품질체계

3%2001~2008


25%


20%데이터클린징

20%

거버넌스

5%

프로세스

20%

품질체계

10%

2009~2012


20%


15%

데이터클린징

5%거버넌스

10%

프로세스

30%

품질체계

20%

2013~2016


데이터표준화/클린징 in MDM Project

데이터표준화와 클린징에 대한문제는 데이터의품질 문제로발전

0%

10%

20%

30%

40%

50%

60%

표준체계 데이터표준화 솔루션기능 연계 관련시스템 기타

MDM 프로젝트애로사항

2009~2012 2013~2016

관심

문제

데이터품질

목차




III. 데이터표준화, 정제,품질검증

IV. MDM 시스템의역할


데이터표준화 > As-Is 데이터분석

• As-Is Data 분석

데이터현황정리

As-Is 모델링

(분류, 속성, 식별체계)

데이터프로파일링

As-Is

Data

수집

B2

As-Is

Data

분석

B3

식별체계

설계

C5-1

분류/속성

설계

C5-2

데이터표준화방안설계

C6

기회기회도출

B5

데이터표준화

D9

데이터

모델링

데이터

이관구현

D4

D5


데이터표준화 > 표준체계

• To-Be 기준정보구조설계

To-Be 전사기준정보구조설계

• 식별체계설계

To-Be 코드체계설계

Number Range 정의

구코드와의맵핑규칙정의

• 분류/속성설계

분류체계설계

속성체계설계

참조코드정의

As-Is

Data

수집

B2

As-Is

Data

분석

B3

식별체계

설계

C5-1

분류/속성

설계

C5-2


C6

기회기회도출

B5

데이터표준화

D9

데이터

모델링

데이터

이관구현

D4

D5


데이터정제 > 데이터표준화방안

• 데이터표준화방안

명칭체계(표기표준) 정의

품명, 규격등에대한표기표준

(띄어쓰기, 대소문자, 괄호 규

칙)

표준용어정의

• 중복제거방안수립

데이터중복정의

중복원안파악및방안수립

중복제거처리방안수립

• 데이터정제/보강방안수립

정제/보강대상속성결정

정제/보강방안정의

As-Is

Data

수집

B2

As-Is

Data

분석

B3

식별체계

설계

C5-1

분류/속성

설계

C5-2


C6

기회기회도출

B5

데이터표준화

D9

데이터

모델링

데이터

이관구현

D4

D5


데이터정제 > 데이터표준화

데이터표준체계와 데이터 표준화방안 설계서를기반으로 데이터표준화를 시행합니다.

• 데이터표준화방안

값표기표준, 표준용어

• 중복제거방안

데이터중복정의, 처리방안

• 데이터정제/보강방안

절차, 역할, 일정

• 클린징MDM활용데이터정제

As-Is 데이터적재

신규속성체계반영

• 현업/워킹그룹중심데이터정제

시스템을통한정제진행

• 정제품질규칙을통한시스템 검증

PI/컨설턴트 현업W/G클린징MDM

As-Is 로딩

W/G 할당

W/G 작업

시스템 반영

품질규칙정의

품질검증

W/G 피드백

W/G 작업

시스템 반영

품질검증

피드백

…

As-Is

Data

수집

B2

As-Is

Data

분석

B3

식별체계

설계

C5-1

분류/속성

설계

C5-2


C6

기회기회도출

B5

데이터표준화

D9

데이터

모델링

데이터

이관구현

D4

D5


데이터품질검증 > Master Data Quality

MDM과 DQM은데이터품질이라는공동의목표를가지나, 수행방법과대상데이터가

■ 기준정보품질차원

유일성, 정확성

일관성, 적시성, 최신성

완전성, 책임성, 보안성

유용성, 충분성, 사용성

■ MDM의 (사전)데이터품질 관리기능

데이터가변경저장되기전에프로그램(Program)을 통해품질검사를수행하는데중점

■ DQM의 (사후)데이터품질 관리기능

Database에저장되어있는데이터를 SQL를통해품질검사를수행하는데중점

목차




III. 데이터표준화, 정제, 품질검증검증

IV. MDM 시스템의역할


정제용 MDM

현업워킹그룹(Working Group)의 데이터 정제작업을효과적으로 지원하고모니터링 할정제용 MDM이필요합니다.

반복적이고기계적인작업의자동화

업무변화에따라변경/추가된품질규칙의적용

발견된품질결함에대한용이한수정

진행현황관리

사후품질검증

• 분류별품질검증• 속성별품질검증

데이터프로파일링

• 속성값프로파일링제공• 형식, 값분포등

속성별품질검증

• 특정속성항목에속한모든값에대한일괄검사• 일괄수정

관리책임별결함현황

• 특정속성항목에속한모든값에대한일괄검사• 일괄수정

- 21 -

속성별 품질검증 – 검증할 속성 선택

- 22 -

속성별 품질검증 – 검증결과 상세

- 23 -

속성별 품질검증 – 검증결과 상세

- 24 -

속성별 품질검증 – 프로파일링

- 25 -

속성별 품질검증 – 프로파일링(결과)

- 26 -

관리책임별 결함현황

- 27 -

관리책임별 결함현황 – 담당자 정보조회


입력/승인 > Clue (값추천)

분류내 다른마스터가 가지고 있는값을 통계화해제공


현황/개선방안 > 정제제안/지시

품질검증결과문제가 발견된 기준정보에대해 담당자에게정제를 요청하는프로세스


현황/개선방안 > 속성프로파일링

입력된속성값에 대한 프로파일링


현황/개선방안 > 관리책임별결함현황

관리책임자, 관리책임부서 별책임 기준정보건수및 결함건수, 결함율제시

- 32 -

관리책임별 결함현황 – PDF파일로 다운로드

- 33 -

관리책임별 결함현황 – 파일 확인


Simple, Smart, Speedy 기준정보관리

고품질(High Quality) 기준정보, ToBeWAY MDM Suite 8.3

Simple Smart Speedy

35

감사합니다

데이터정제와품질검증을위한...비즈니스수행및의사결정효율성증대 ......

Documents