it 품질확를 위핚 hp 솔루션 · pdf file · 2010-03-30•oracle...

50
IT 품질 확보를 위핚 HP 솔루션 서보희 차장 HP Software Solutions

Upload: hatruc

Post on 10-Mar-2018

222 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

IT 품질 확보를 위핚HP 솔루션

서보희 차장

HP Software Solutions

Page 2: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

Agenda

• 어플리케이션 품질의 중요성

• IT 품질 라이프사이클

• IT 품질 라이프사이클 솔루션

−품질 관리

−기능 테스트 자동화

−성능 테스트 자동화

• 적용 사례

2

Page 3: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

프로젝트 성과

3

“프로젝트 성공이란 시간, 비용, 성능의 목표달성과 고객으로부터 결과물의 사용성, 만족성, 효용성을 획득하는 것”

PMI(2000)

정보시스템 프로젝트의 성과 3대 영역

프로젝트 일정, 비용, 품질

Hormoszi, Dube(1999), Remenyi(2000)

Page 4: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

품질?

좋은 품질 높은 성능

무장애 무결함

가장 포괄적인개념

확장성, 최적화구축단계

Zero Failure무사고

운영단계실수, 변수, 불가

항력

Bug Free개발/구축 단계근본적인 Fix 필요

보안

4

Page 5: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

품질?

좋은 품질 높은 성능

무장애 무결함

가장 포괄적인개념

확장성, 최적화구축단계

Zero Failure무사고

운영단계실수, 변수, 불가

항력

Bug Free개발/구축 단계근본적인 Fix 필요

QA (Quality Assurance)

QC (Quality Control)보안

5

Page 6: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

QA vs QC목적과 방법이 다른 두 프로세스

Quality Control

• 방어적

• 필연적인 우연의 방지

− 작업자의 실수 (Human Error)

− 기계의 오작동

− 재료의 결함

− 그외 변수

• 주로 최종 혹은 단계별 검사중에 실시

• 불량의 방지 및 A/S 비용 젃감

Quality Assurance

• 예방적

• 근본적인 문제의 방지

− 설계적 결함

− 개발 결함

− 양산을 고려하지 않은설계

• 개발 과정 중에 실시

• 파급효과가 매우 큼

• 향후 수정 비용이 매우 높음

6

Page 7: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

IT의 품질 라이프사이클

서비스기획

개발QA

(기능)QA

(성능)QC

(infra)QC

(Apps)운영

양산시제품

기능시험(Functional Testing)

성능 시험(Performance

Testing) SMS/ NMS서비스 감시

품질 관리(QC)품질 보증(QA)

변경/업그레이드

단위/시스템 시험

회귀시험

Production QA

운영개발/구축

테스트 프로세스 관리(Test Mgmt.)

7

Page 8: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

서비스기획

개발QA

(기능)QA

(성능)QC

(infra)QC

(Apps)운영

IT의 품질 라이프사이클양산시제품

기능시험(Functional Testing)

성능 시험(Performance

Testing) SMS/ NMS서비스 감시

품질 관리(QC)품질 보증(QA)

변경/업그레이드

단위/시스템 시험

회귀시험

Production QA

운영개발/구축

테스트 프로세스 관리(Test Mgmt.)

좋은 품질

높은 성능

무장애무결함

8

Page 9: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

QA vs QC 누가 먼저?

Industry References: 3 B. Boehm and V. Basili, "Software Defect Reduction Top 10 List," IEEE Computer, IEEE Computer Society, Vol. 34, No. 1, January 2001, pp. 135-137.

This industry average is used as a baseline for arriving at cost savings

9

Page 10: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

IT의 품질 라이프사이클

서비스기획

개발QA

(기능)QA

(성능)QC

(infra)QC

(Apps)운영

양산시제품

기능시험(Functional Testing)

성능 시험(Performance

Testing) SMS/ NMS서비스 감시

품질 관리(QC)품질 보증(QA)

변경/업그레이드

단위/시스템 시험

회귀시험

Production QA

운영개발/구축

테스트 프로세스 관리(Test Mgmt.)

10

Page 11: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

HP’s ALM(Application Lifecycle Management)

Does it work?FUNCTIONALITY

Does it perform?PERFORMANCE

Is it secure?SECURITY

세가지품질 요소

Plan정의 /디자인

개발/테스트

적용 Operate

Projectsand programs

Portfoliomgmt.

Demand

전략

Newdeployment

Full Quality process

Fix/ patch

Fix/ patch

Fix/patch

Minor release Minor release

Accelerated Quality process

real어플리케이션라이프사이클

ControlPoints

Demand Portfolio Requirements Validation

End-user management application mapping

Business impact change management

11

Page 12: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

라이프사이클 관리 프로세스

12

Operational

security

management

OPERATIONS

Service desk

Production

monitoring

Connect to

pro

ductio

n

Go/No Go

12

반복적인 관리 프로세스를 통핚 리스크 경감

12

Inte

gra

te w

ith d

em

and

Functional requirements

Business requirements

Securityrequirements

Performancerequirements

Other non-functional

requirements

REQUIREMENTS

MANAGEMENT

Align with management and stakeholders

Collaborate with design and development teams

Assess and

Analyze risk

Establish

testing

priorities

Create

test plans

RISK-BASED

TEST PLANNING

TEST MANAGEMENT

AND EXECUTION

Execute security scans

Identify and customize security

policies

DEFECT MANAGEMENT

Execute functional tests

Create manual

test cases

Automate

regression test cases

Execute tests, diagnose and

resolve problems

Create performance

scripts and scenarios

Connect to

pro

ductio

n

STRATEGY/ DEMAND

Strategic demand

• New applications

• New services

• Application integrations

Operational demand

• Defects

• Enhancements

• Change requests

Enterprise Architecture and

Policies

• SOA

• Security

Functional requirements

Business requirements

Securityrequirements

Performancerequirements

Other non-functional

requirements

Assess and

Analyze risk

Establish

testing

priorities

Create

test plans

DEFECT MANAGEMENT

Execute functional tests

Create manual

test cases

Automate

regression test cases

Operational

security

management

OPERATIONS

Service desk

Production

monitoring

Operational

security

management

OPERATIONS

Service desk

Production

monitoring

STRATEGY/ DEMAND

Strategic demand

• New applications

• New services

• Application integrations

Operational demand

• Defects

• Enhancements

• Change requests

Enterprise Architecture and

Policies

• SOA

• Security

Go/No Go

Page 13: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

HP ALM 지원 홖경(클라이언트)

X-internet• Macromedia Flex• Curl • MiPlatform• TrustForm• 소리마치, …

.NET• WinForms• WebForms• HTC/Viewlink• Delphi 8 .NET Winforms

• Web Services• Java SWT• Citrix• VMWare Desktop• Wireless,…

Operation SystemWindows 98, 2000, NT, ME, XP

Emerging

ERP/CRM•Oracle• Oracle Forms 6i, 9i, and 10g• Oracle EBS 11.5.x and 12

•PeopleSoft

•Siebel• Siebel 7.0.x, 7.5.x, 7.7.x, 7.8.x, or 8.0.x

•SAP• SAP Gui for Windows 6.20, 6.40, 7.10• SAP Gui for HTML (ITS) 6.10, 6.20 • SAP Enterprise Portal 6.0, 7.0• SAP WebClient 1.0

Package

Web Browsers• Internet Explorer 6.0, 7.0• Netscape 1.3, 9.0• Firefox 1.5, 2.0.x, 3.0 Alpha 7

• Standard Windows• Win32 API and MFC

• Terminal Emulator • 3270• 5250• VT100

• Visual Basic• PowerBuilder• Delphi

Classic

• 어플리케이션 서버 환경은 무엇이든 구애받지 않음

13

Page 14: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

1414

HP Software Portfolio

Business outcomes

APPLICATIONSSTRATEGY

Project & PortfolioManagement

Center

CIO Office

CTO Office

SOACenter

SAP, Oracle, SOA, J2EE, .Net

QualityCenter

PerformanceCenter

Application Security Center

Quality Management

OPERATIONS

Business ServiceManagement

IT Service Management

Business Availability

Center

Operations Center

Network Management

Center

Service Management

Center

Client Automation

Center

Data Center Automation

Center

Business Service Automation

Universal CMDB

Operations Orchestration

Part of the industry’s most comprehensive IT management portfolio

QualityCenter

Page 15: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

HP Quality Center

파운데이션(Foundation)

Shared data repository Central administration Workflows Open APIs

어플리케이션 품질 관리(Test Director for Quality Center)

통합 품질 대쉬보드(Dashboard )

HP Quality Center

프로젝트 관리(Center Management)

테스트 자동화(Functional Testing)

QuickTest Professional

Business Process Testing

ServiceTest

SOA 테스트(SOA Testing)

QAInspect

보안 테스트(Security Testing)

릴리즈 관리(Release

Management)

요구사항 관리(Requirement Management)

리스크 기반 테스트관리

(Risk-based Test Management)

결함 관리(Defect)

Management

SAP 테스트

Change Impact

Testing

BPT for SAP

Service Test Management

QA LabManagement

(add on)

15

Page 16: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

최적화된 QA 프로세스

요구정의테스트 계획

수립테스트 수행 결함 관리

기능 정의(FR)

비기능 정의(NFR)

-성능/보안/아키텍처

테스트 시나리오 작성

테스트 케이스 작성

테스트 계획 작성

수동 테스트

자동화 테스트

Manual Test자동화 테스트

예약 자동실행결과 자동 수집

TEST FAIL!

결함 발견!

결함 등록

개발팀

결함 통보OPEN→ CLOSE 과정 추적

수정 및 재시험

운영/Field

요구사항 Update

성능 테스트

보안 테스트16

Page 17: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

Requirement(요구조건)

Test Plan(테스트 설계)

Test Execution(테스트 수행)

Defect/Repair(결함/조치)

검증 회귀시험

HP Quality Center

성능 시험 자동화

(LoadRunner)

품질 관리 (TestDirector for Quality Center)

기능 시험 자동화

(Quick Test Pro)

품질 관리 라이프사이클 솔루션

•Who: QA팀, 개발팀, 운영팀•When: App. 개발/운영 QA•What: 어플리케이션 품질 관리, 기능 검증

17

Page 18: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

품질 프로세스 표준화

• 전사 프로젝트에 대한 Quality Gate 역할

− 표준 프로세스와 시스템을 통한 품질 보증 활동

− 모든 프로젝트가 일정 수준 이상의 품질을 보증하도록

• 중앙 집중 인프라 구성

− 모든 프로젝트에서 공통으로 사용할 수 있는 품질 관리 인프라 구성

− 품질 관리 시스템, 자동화 도구, 전문가 조직 등

18

Page 19: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

가시성과 제어

• 품질관리 베스트 프랙티스 기반 모니터

− 일관되고 반복적인 품질 관리 프로세스 강제화

− 품질 자산 통합 관리

• 실시간 주요 지수 모니터를 통한 프로젝트 현황 파악

• 아웃소싱 인력 등에 대한 관리

19

프로젝트 관리를 위핚 KPI 제공

요구사항

품질 자산

품질 테스트

결함협업

Page 20: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

20

품질 관리 프로세스 강제화

• 단계별 프로세스 시스템화

− 계획, 수행, 승인, 결함관리 프로세스 시스템화

• 그룹별 권한 통제

− 그룹별 R&R에 의한 프로세스 통제 및 관리

품질 관리 프로세스 통제 및 관리

계획계획 결함관리결함관리

1.테스트시나리오/케이스 작성

테스트수행관리

수행 테이블

테스트 집합 트리

결함관리

Defect AddTD

테스트수행 결함관리

요구사항

세부 설명

테스트시나리오

테스트계획

디자인 단계

세부 설명

테스트케이스

1.1테스트시나리오/케이스 검토

승인자

PI/QC

개발자

테스터

설계자

승인자

PI/QC

개발자

테스터

설계자

1.2테스트시나리오/케이스 승인

1.3테스트시나리오점검

1.4테스트케이스점검

수행/QC/승인수행/QC/승인

2.테스트수행

결함 여부?Y

N

테스트결과 확인

4.테스트완료 승인

Y

N

2.1테스트 결과QC

3.결함 처리

Page 21: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

테스트 단계별 자산 및 프로세스 관리

21

• 다양한 테스트 단계에 대한 자산 관리− 단위/통합/시스템/인수 테스트 등 다양한 테스트 단계에 대한 통합 관리

− 테스트 요구사항/시나리오/케이스 등 다양한 자산 데이터 베이스화

• 테스트 프로세스 관리− 테스트 프로세스를 시스템화 하여 관리

− 베스트 프랙티스의 강제화 및 실행 이력 관리

Page 22: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

테스트 자산의 구조적인 관리

• 요구사항, 테스트 시나리오, 테스트 케이스, 테스트 수행, 결함에 이르는 테스트 전 공정에대한 통합 관리

• 구조화된 데이터 관리를 통한 데이터 추적 및 테스트 커버리지 관리

22

Page 23: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

결함 처리 프로세스 자동화

• 결함 등록에서 수정 완료까지 처리 프로세스를 시스템화− 단계별 권한자의 입력 및 승인에 따라 다음 단계로 전환

23

Page 24: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

24

실시간 그래프 및 리포트

• 실시간 그래프 분석− 테스트 진척율, 결함 처리율 등

• 실시간 보고서− Excel, Word, HTML 등 다양한 형태의 리포트 출력

Page 25: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

공정 관리 솔루션 화면

25

요구사항 세부 정보

변경 또는 패치 요구사항에 대한검증 항목 및 검증 결과

변경 또는 패치 요구사항

변경 사항에 대한 상세 테스트 케이스 등록

회귀 테스트(Regression Test) 케이스:변경/패치 적용 시, 반복적으로 검증 되어야 할 공통 테스트 케이스

Page 26: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

Requirement(요구조건)

Test Plan(테스트 설계)

Test Execution(테스트 수행)

Defect/Repair(결함/조치)

검증 회귀시험

HP Quality Center

성능 시험 자동화

(LoadRunner)

품질 관리 (TestDirector for Quality Center)

기능 시험 자동화

(Quick Test Pro)

품질 관리 라이프사이클 솔루션

•Who: QA팀, 개발팀, 운영팀•When: App. 개발/운영 QA•What: 어플리케이션 품질 관리, 기능 검증

26

Page 27: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

테스트 자동화 방법

27

기능 검증을 위한체크포인트 추가

비즈니스 프로세스에 대한사용자 행위를 스크립트로레코딩

어플리케이션 변경 시재 실행(재 사용) 스크립트 실행(Replay)

및 결과 확인

다양한 데이터를이용한 테스트(Data-Driven Test)

Object 자동인식 레코딩화면

기록/실행 버튼

반복 테스트수행 화면

반복 테스트수행 결과 화면

테스트 결과 리포트- 테스트 결과 및 결과 화면

작성된 테스트 스크립트 수행, 테스트 수행 결과 실패시, 결함관리 시스템에 결함 자동 등록

Page 28: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

28

테스트 자동화 솔루션

• 특징

− 업계 최다 엔터프라이즈 환경 지원

− 손쉬운 테스트 스크립트 작성 및 유지 보수

− 다양한 지원 환경 및 테스트 데이터에 대한 반복 테스트 수행

• 주요기능

− 키워드 보기 스크립트

− 자동 문서화

− ActiveScreen을 통한 스크립트작성 및 유지 보수

− 콤포넌트 기반 테스트 자동화

− 자동화 지원 환경의 확장

HP QTP에서의 테스트 스텝

기존 솔루션의 테스트 스텝

Nouns Verbs DataVs.

Keyword view

Page 29: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

테스트 스크립트 – 테스트 행위 재현

29

테스트 대상 어플리케이션(AUT)화면

테스트 데이터

테스트 수행 내역 자동 문서화테스트 수행 내역

Page 30: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

손쉬운 테스트 케이스 구성

PERFORMANCE CENTERQUALITY CENTER

RequirementsBusiness Process Testing

Functional Testing Test Lab DefectsDashboard

Components Details SetBy Tester Parameters

No. Component On Failure

1Login

User Name: DaveExit

2

3

4

5

6

7

Find Mutual FundSymbol: VEIEX

Exit

Research Mutual FundSymbol: VEIEX

Exit

Place OrderSymbol: VEIEX; Amount: $10,000.00

Exit

View Open Orders Exit

Confirm Mutual Fund Order Exit

Logout Exit

On Failure

Mutual Funds

Find Mutual Fund

Research Mutual Fund

Place Order

View Open Orders

Confirm Mutual Fund Order

Sell Mutual Fund

View Open Sales

View Balance

View Fund Performance

General

Login

Find Mutual Fund

Research Mutual Fund

Place Order

View Open Orders

Logout

Confirm Mutual Fund Order

Drag-and drop

30

Page 31: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

비즈니스 프로세스 정확성 검증

• 비즈니스 사용자에게 효율적인 사용자 환경

− 별도 자동화 솔루션 접근 없이 웹 환경에서 테스트 지원

• 테스트 유지보수 노력 절감

• 자동화를 통한 테스트 커버리지 확장, 이를 통한 혁신적인 리스크 완화

31

End - To – End 비즈니스 프로세스

5

3

7

4

5

Total Tests to Run 4 X 7 X 3 X 5 X 5 = 2,100

Data Sets

End-to-End Mega Business Processes

SAP Business Processes

Front-End Clients

Combinations of various usernames, passwords, search strings, order numbers, ship dates

Quote to Cash ( SAP R/3, EP, PeopleSoft, Siebel, Legacy)

Procure to Pay, Order to Cash, Service and Support (SAP R/3)

Operating SystemsWindows XP, Win 2000, Win NT 4, Win 2003

SAP R/3, Enterprise Portal & non-SAP (Web, Citrix, Java, Siebel, Oracle)

Opportunity

Management

Order

ManagementFulfillment Invoicing

“Opportunity to Cash”

Credit

CheckCustomer

Rating

31

Page 32: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

테스트 수행 – 수행 자동화

32

Page 33: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

기능 시험 자동화 효과• 테스트 커버리지 확대

− 모든 시스템 환경, 지원 환경: 운영 체계, 브라우저, 개발환경에 대한 테스트 커버리지 확대

• Windows XP/2000/2003/Vista, Citrix

• Internet Explorer, FireFox, Netscape

• 다양한 클라이언트 환경

• 다양한 Data Set

• 회귀 테스트 자동화

− 변경으로 인한 주요 비즈니스 프로세스 영향 파악

− 주요 비즈니스 프로세스 테스트 자동화

• 자동화 스크립트 작성으로 변경 시 마다 재 사용

• 다양한 사용자 환경에 대한 테스트 자동화

• 24X7 테스트 환경 구축

• 객관적인 품질 검증

− 객관적인 테스트 결과 도출

− 누가 테스트를 수행하든 일관된 품질 보장

− 반복적인 결함 재현을 통한 결함 수정 시간 단축

테스트서버 1

Scripts

Results

Execution Reports

TestDirector Database

Results Compiled

테스트서버 2

테스트서버 3

33

Page 34: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

QC(TestDirector, QTP) 적용 ROI

• 품질 프로세스 전반에 대한 표준화 및 체계적인 관리

• 애플리케이션의 품질 및 안정성 및 신뢰성 향상

• 애플리케이션 적용시 리스크를 혁신적으로 줄여줌

34

* based on thousands ofHP engagements

4배*의 테스트 생산성 향상 (같은 수 또는 적은 인력으로)

운영단에서의 결함 발견율 75%* 이상 감소

단일 프로젝트 ROI (IDC 조사 결과)

3년 누적 ROI (IDC 조사 결과)

400%

75%

350%

1800%

Page 35: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

Requirement(요구조건)

Test Plan(테스트 설계)

Test Execution(테스트 수행)

Defect/Repair(결함/조치)

검증 회귀시험

HP Quality Center

성능 시험 자동화

(LoadRunner)

품질 관리 (TestDirector for Quality Center)

기능 시험 자동화

(Quick Test Pro)

품질 관리 라이프사이클 솔루션

•Who: 운영팀, SA•When: App. 개발/운영 QA•What: 어플리케이션 성능 검증, 시스템 가용성 확대, 안정성 보장

35

Page 36: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

LoadRunner

Controller

LoadRunner

Virtual Users

Performance Monitors

Web Server App. Server DatabaseInternet/

WAN

성능시험

Record & Replay 로 작성된 다양핚 Test Case Script를 구성

다양핚 Test Case Script로 구성된 Test Scenario 작성

Test Scenario를 이용하여 다량의 가상 사용자를 시스템에 접속시켜 부하 생성

Performance Monitor를 이용해 높은 부하하의 성능 저하 원인 분석

36

Page 37: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

Why Performance Testing?

• Peak를 기다릴 필요가 없다.

−Peak Cycle = Tuning Cycle

• Real Capacity Planning!

−과거 이력에 의핚 예측 VS 실제 임계 결과에 근거

• 명확핚 과학실험 : INPUT vs OUTPUT

− Controlled Load under Controlled Scenario

37

Page 38: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

성능 시험 도구 구성

Analysis

DB

AP서버 DB서버웹서버

ControllerAgent

Service

Vuser

Vuser

Vuser

Windows Service

Load Generator

인터넷

AgentService

Vuser

Vuser

Vuser

Windows Service

Load Generator

m_agent_process(UNIX)

38

Page 39: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

성능 검증 영역

성능

확장성

안정성적정성

가용성

H/W 성능 프레임웍 성능 Application 성능 아키텍쳐 성능 빠른 응답 시간 높은 성능

시스템 확장성 아키텍쳐 확장성 Tier 별 확장성

24*7 의 시스템 안정성 동일핚 성능 보장 임계 상황의 성능 보장

용량의 적성성 Capacity Plan

장애시 빠른 회복 능력 동일핚 성능 확보

성 능

테스트

39

Page 40: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

통합 성능시험 결과 예시대상 Application

거래 성공률젂체젂수(성공/에러)

TPS (=초당처리건수) 응답 시간User NUM

측정치 평균 99%

50 개 Application 999,999,99/100 2091.848TPS 0.478 1.23 1,000

AP Server Resource DB Server Resource

AP CPU AP Memory DB CPU DB2 Memory

70% 30% 50% 45%

TPS

응답시간

측정구간

Memory 사용율

CPU 사용율

측정구간

측정구간

TPS 응답시간 System Resource

40

Page 41: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

임계 성능시험 결과 예시

테스트 일시 /대상 Application거래 성공률

젂체젂수(성공/에러)

TPS (=초당처리건수) 응답 시간

측정치 평균 99%

06.9.26 09:38:00 ~ 06.09.26 10:38:0025개 업무

9,999,999/1,000 4055 TPS (Max : 4115) 4 7

AP Server Resource DB Server Resource

AP CPU AP Memory DB CPU DB2 Memory

99.15% 30.192% 99.962% 23.092%

TPS

응답시간

Memory 사용율

CPU 사용율

41

Page 42: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

Fail Over 테스트 결과 예시CASE TPS AP CPU DB1 CPU DB2

CPURes AVE

Res 99%

장애 젂 2000 80 81 1 0.2 0.5

장애시 회복 시간 : 3분 20초, Fail Transaction : 1,000

장애 후 2002 84 1 80 0.19 0.7

User Num 3,000

■ DB 시스템 장애 Fail over

• 장애후 정상 회복 시간이 3분 20초 소요 되었음

• 총 Fail 건수는 1,000 개 임.

응답 시간

TPS

0.2

AP1 (16)(배치 업무 젂용)

DB1(18)

홖경

0.19

정상 회복 시간 3분20 초

20002002

Fail Transaction Number : 1,000

DB2(20)

시스템 장애 유발

42

Page 43: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

43

LoadRunner 적용 ROI• 중요한 애플리케이션 배포에 따른 리스크를 관리

• 애플리케이션 성능 병목 도출

• 인프라스트럭쳐의 성능을 향상

• 성능관리 프로세스의 표준화

based on thousands ofHP engagements

애플리케이션 다운타임 800% 감소

하드웨어 추가 구매 없이 성능을 4배 향상

문제 해결 시간(MTTR) 75% 향상

테스트 하는 애플리케이션 갯수 200% 향상

800%

4x

75%

200%

Page 44: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

적용 사례

Page 45: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

고객 성공 사례 – A사

과제

사용 솔루션

결과

“A사 에서는 핵심 업무 시스템인 NeOSS의 운영관리에 있어서장애를 최소화하여 중단없는 개통/고장 서비스 제공이 가능하게 되었다.”

The world leading Telco

• Quality Center : TestDirector, QuickTest Pro

• Performance Center : LoadRunner

• 핵심 비즈니스 수행 어플리케이션의 장애로 인한 업무 효율 저하 및 비용 증가

• 어플리케이션 수정으로 인한 장애 빈번

• 월말 혹은 이벤트 등 특정 시간데 사용자 폭주로 인한 성능 저하 및 시스템 중단

• 핵심 비즈니스 어플리케이션 S/W 변경관리 프로세스 상의 테스트 프로세스 자동화

• 시험관리, 성능시험, 기능시험

• 테스트 프로세스 자동화를 통한 품질 향상 및 인건비 절감

• S/W 결함율 감소: 3.072시그마(5.8%) -> 3.381시그마(3%)

• S/W 검증 인력 감소: 23명 -> 12명

A사

45

Page 46: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

고객 성공 사례 – A사 기대 효과

수행시간 단축 : 5일 3일

생산성 향상 : 23명12명

적용 오류율 : 5.8% 3%

기능시험 자동화 : 0건 1223건

시험관리체계화

기능 시험자동화

정성적 기대 효과• 개발 S/W의 검증 강화를 통한 서비스 중단 최소화로 NeOSS의 안정성 및 신뢰성 향상• 개량.개선 및 문제점 보완 등 기술지원업무를 위한 시험환경 제공으로 자체 기술자립기반 확보• 기능검증 자동화를 통한 인력 및 기간의 효율적인 기능검증 수행• 기눙검증 업무의 통합관리로 시험시나리오, 시험실행, 시험결과 및 결함관리 자산화

정량적 기대 효과기능검증 자동화로 인한 비용절감 :565백만/년

46

Page 47: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

확신을 갖고 SAP 프로젝트 관리

오픈젂 사젂 테스트 기간 3개월3

총 126회의 테스트 수행

35건의 중요 기능/성능 문제 사젂 발견

126

35

10X

국내 ERP 프로젝트 적용 결과

튜닝 통해 최대 10배 성능 개선 효과

고객 성공사례 – B사 성능 테스트 자동화

47

Page 48: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

테스트/튜닝 만으로 가시적인 효과

가용 사용자 용량 최대 100X

애플리케이션 응답속도 개선 75~500%

ERP 구축 및 운영 비용 절감 10~25%

국내 B社 ERP Enterprise Portal 성능 개선 효과 90~350%

- 머큐리 고객 성과 통계 자료 -

고객 성공사례 – B사 성능 테스트 자동화

48

Page 49: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

HP Quality Center

파운데이션(Foundation)

Shared data repository Central administration Workflows Open APIs

어플리케이션 품질 관리(Test Director for Quality Center)

통합 품질 대쉬보드(Dashboard )

HP Quality Center

프로젝트 관리(Center Management)

테스트 자동화(Functional Testing)

QuickTest Professional

Business Process Testing

ServiceTest

SOA 테스트(SOA Testing)

QAInspect

보안 테스트(Security Testing)

릴리즈 관리(Release

Management)

요구사항 관리(Requirement Management)

리스크 기반 테스트관리

(Risk-based Test Management)

결함 관리(Defect)

Management

SAP 테스트

Change Impact

Testing

BPT for SAP

Service Test Management

QA LabManagement

(add on)

49

Page 50: IT 품질확를 위핚 HP 솔루션 · PDF file · 2010-03-30•Oracle •Oracle Forms 6i, 9i, and 10g •Oracle EBS 11.5.x and 12 •PeopleSoft •Siebel ... Procure to Pay, Order

© 2006 Hewlett-Packard Development Company, L.P.The information contained herein is subject to change without notice

서보희

([email protected])

감사합니다.