성공사례를 통해 본 ERP구축관리 최적화(오라클 패치 테스트 및 성능 최적화)

김범수 부장

AD consultantMercury

목차

회사 소개

ERP 구축 및 관리 주요 현안

Mercury와 Oracle의 Solution AllianceOracle ERP 패치 기능 테스트 자동화 사례

Oracle ERP 성능 테스트 및 최적화 사례

$600

1997 1998 1999 2000 2001 2002 2003

$77$121

$188

$307

$361

$400

$506

$0

$ 백

만달

러1989 설립1993 상장

SampP 500

NASDAQ 100

27 연간 성장율

기업 평가가치 45억달러(5조 4천억원)

재정적인 안정성

글로벌 지원

마운틴뷰 CA 본사

전세계 25개 지사

직원 2300 + 명

1 회사 소개

성공적인 솔루션 제공Fortune 100 대기업의 86가 고객

세계 12위 소프트웨어기업

전세계 분산환경 ASQ (Application Software Quality) 솔루션 시장점유율 55

2 ERP 시스템 Go live시 주요 질문

Yes No

Did you find the critical business process defects before end users will

Will your system scale to meet normal or peak usage

Can you proactively detect problems to minimize downtime and business impact

Can you quickly restore service and resolve application problems

Do you know the cost

3 ERP 시스템 구축 관리 주요 현안

DEPLOY UPGRADE MAINTAIN AND OPERATE

ERP Application Lifecycle

CONSOLIDATE

bull 50 of Projects Get Rolled Back

Gartner

bull 65 of Projects Are Late and over Budget

META Group

bull 65 of Problems Are the Resultof Patches

Yankee Group

bull 75 of Projects Use Excess Hardware

AMR Research

Increased Efficiency

Vendor De-support Deadlines

SLAs and Government Compliance

Lower TCO

4 Mercury for ERPCRMMercury for PeopleSoft Enterprise

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Siebel eBusiness Applications

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Oracle E-Business Suite

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for SAPreg Solutions

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

bull 20 reduction in TCO (Yankee Group)

bull 2 Weeks to start receiving value with Mercury Managed Services

5 Mercury Reduces TCO Across the Lifecycle

Improve reliability and availability

Accelerate deployments

Mitigate risk

Maximize business value

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

목차

회사 소개

ERP 구축 및 관리 주요 현안

Mercury와 Oracle의 Solution AllianceOracle ERP 패치 기능 테스트 자동화 사례

Oracle ERP 성능 테스트 및 최적화 사례

$600

1997 1998 1999 2000 2001 2002 2003

$77$121

$188

$307

$361

$400

$506

$0

$ 백

만달

러1989 설립1993 상장

SampP 500

NASDAQ 100

27 연간 성장율

기업 평가가치 45억달러(5조 4천억원)

재정적인 안정성

글로벌 지원

마운틴뷰 CA 본사

전세계 25개 지사

직원 2300 + 명

1 회사 소개

성공적인 솔루션 제공Fortune 100 대기업의 86가 고객

세계 12위 소프트웨어기업

전세계 분산환경 ASQ (Application Software Quality) 솔루션 시장점유율 55

2 ERP 시스템 Go live시 주요 질문

Yes No

Did you find the critical business process defects before end users will

Will your system scale to meet normal or peak usage

Can you proactively detect problems to minimize downtime and business impact

Can you quickly restore service and resolve application problems

Do you know the cost

3 ERP 시스템 구축 관리 주요 현안

DEPLOY UPGRADE MAINTAIN AND OPERATE

ERP Application Lifecycle

CONSOLIDATE

bull 50 of Projects Get Rolled Back

Gartner

bull 65 of Projects Are Late and over Budget

META Group

bull 65 of Problems Are the Resultof Patches

Yankee Group

bull 75 of Projects Use Excess Hardware

AMR Research

Increased Efficiency

Vendor De-support Deadlines

SLAs and Government Compliance

Lower TCO

4 Mercury for ERPCRMMercury for PeopleSoft Enterprise

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Siebel eBusiness Applications

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Oracle E-Business Suite

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for SAPreg Solutions

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

bull 20 reduction in TCO (Yankee Group)

bull 2 Weeks to start receiving value with Mercury Managed Services

5 Mercury Reduces TCO Across the Lifecycle

Improve reliability and availability

Accelerate deployments

Mitigate risk

Maximize business value

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

$600

1997 1998 1999 2000 2001 2002 2003

$77$121

$188

$307

$361

$400

$506

$0

$ 백

만달

러1989 설립1993 상장

SampP 500

NASDAQ 100

27 연간 성장율

기업 평가가치 45억달러(5조 4천억원)

재정적인 안정성

글로벌 지원

마운틴뷰 CA 본사

전세계 25개 지사

직원 2300 + 명

1 회사 소개

성공적인 솔루션 제공Fortune 100 대기업의 86가 고객

세계 12위 소프트웨어기업

전세계 분산환경 ASQ (Application Software Quality) 솔루션 시장점유율 55

2 ERP 시스템 Go live시 주요 질문

Yes No

Did you find the critical business process defects before end users will

Will your system scale to meet normal or peak usage

Can you proactively detect problems to minimize downtime and business impact

Can you quickly restore service and resolve application problems

Do you know the cost

3 ERP 시스템 구축 관리 주요 현안

DEPLOY UPGRADE MAINTAIN AND OPERATE

ERP Application Lifecycle

CONSOLIDATE

bull 50 of Projects Get Rolled Back

Gartner

bull 65 of Projects Are Late and over Budget

META Group

bull 65 of Problems Are the Resultof Patches

Yankee Group

bull 75 of Projects Use Excess Hardware

AMR Research

Increased Efficiency

Vendor De-support Deadlines

SLAs and Government Compliance

Lower TCO

4 Mercury for ERPCRMMercury for PeopleSoft Enterprise

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Siebel eBusiness Applications

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Oracle E-Business Suite

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for SAPreg Solutions

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

bull 20 reduction in TCO (Yankee Group)

bull 2 Weeks to start receiving value with Mercury Managed Services

5 Mercury Reduces TCO Across the Lifecycle

Improve reliability and availability

Accelerate deployments

Mitigate risk

Maximize business value

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

2 ERP 시스템 Go live시 주요 질문

Yes No

Did you find the critical business process defects before end users will

Will your system scale to meet normal or peak usage

Can you proactively detect problems to minimize downtime and business impact

Can you quickly restore service and resolve application problems

Do you know the cost

3 ERP 시스템 구축 관리 주요 현안

DEPLOY UPGRADE MAINTAIN AND OPERATE

ERP Application Lifecycle

CONSOLIDATE

bull 50 of Projects Get Rolled Back

Gartner

bull 65 of Projects Are Late and over Budget

META Group

bull 65 of Problems Are the Resultof Patches

Yankee Group

bull 75 of Projects Use Excess Hardware

AMR Research

Increased Efficiency

Vendor De-support Deadlines

SLAs and Government Compliance

Lower TCO

4 Mercury for ERPCRMMercury for PeopleSoft Enterprise

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Siebel eBusiness Applications

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Oracle E-Business Suite

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for SAPreg Solutions

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

bull 20 reduction in TCO (Yankee Group)

bull 2 Weeks to start receiving value with Mercury Managed Services

5 Mercury Reduces TCO Across the Lifecycle

Improve reliability and availability

Accelerate deployments

Mitigate risk

Maximize business value

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

3 ERP 시스템 구축 관리 주요 현안

DEPLOY UPGRADE MAINTAIN AND OPERATE

ERP Application Lifecycle

CONSOLIDATE

bull 50 of Projects Get Rolled Back

Gartner

bull 65 of Projects Are Late and over Budget

META Group

bull 65 of Problems Are the Resultof Patches

Yankee Group

bull 75 of Projects Use Excess Hardware

AMR Research

Increased Efficiency

Vendor De-support Deadlines

SLAs and Government Compliance

Lower TCO

4 Mercury for ERPCRMMercury for PeopleSoft Enterprise

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Siebel eBusiness Applications

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Oracle E-Business Suite

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for SAPreg Solutions

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

bull 20 reduction in TCO (Yankee Group)

bull 2 Weeks to start receiving value with Mercury Managed Services

5 Mercury Reduces TCO Across the Lifecycle

Improve reliability and availability

Accelerate deployments

Mitigate risk

Maximize business value

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

4 Mercury for ERPCRMMercury for PeopleSoft Enterprise

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Siebel eBusiness Applications

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for Oracle E-Business Suite

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

Mercury for SAPreg Solutions

MERCURY IT GOVERNANCE CENTER

MERCURYQUALITYCENTER

MERCURY PERFORMANCE

CENTER

MERCURY BUSINESS

AVAILABILITYCENTER

MERCURY APPLICATION RESOLUTION

CENTER

bull 20 reduction in TCO (Yankee Group)

bull 2 Weeks to start receiving value with Mercury Managed Services

5 Mercury Reduces TCO Across the Lifecycle

Improve reliability and availability

Accelerate deployments

Mitigate risk

Maximize business value

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

bull 20 reduction in TCO (Yankee Group)

bull 2 Weeks to start receiving value with Mercury Managed Services

5 Mercury Reduces TCO Across the Lifecycle

Improve reliability and availability

Accelerate deployments

Mitigate risk

Maximize business value

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

6 How We Optimize

DEPLOY UPGRADE MAINTAIN AND OPERATE

Application Lifecycle

CONSOLIDATE

bull 80 Reduction in Testing Time

Yankee Group

bull 4x Performance Improvement

3000 MercuryEngagements

bull 40 Reduction in MTTR

Yankee Group

bull 45 Reduction in ERP-related IT Costs

AMR Research

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

Mercury BestPractices

bull Accelerate time to valuebull Reduce riskbull Lower cost

7 Mercury for ERPCRM Services

Install Configure and Integrate

Mercury Products

Create a ProcessBased on

Best Practices

Ensure Knowledge Transfer to

Your People

People Process

bull IT Governance Centerbull Quality Centerbull Performance Centerbull Business Availability

Centerbull Resolution Center

bull Organizational designbull Staff trainingbull Support and mentoringbull Expertise in SAP Oracle

Siebel and PeopleSoft

bull Deploymentbull Upgradebull Maintain and Operatebull Consolidate

Product

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

8 Flexible Implementation Choice

Managed Service

Deployment

In House Deployment

(assisted by Mercury)

MercuryInfrastructure

Mercury People and Processes

YourInfrastructure

Your People and Processes

bull Lower TCObull More ongoing mentoring

bull Tighter controlbull More customization

Faster time to value

Transition Service

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

9 Broadest and Deepest Relationships

RampDSTANDARD

PSO WORKBENCH

TECHNOLOGYINTEGRATION

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

10 Mercury and Oracle Partnership

Solution bull Mercury Quality Centerbull Mercury Performance Center

Strategic Software Partner

bull Applications Engineeringbull Server Technologybull Oracle Consultingbull Support and Oraclecom

Certified Advantage Partner

Standards

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

11 Oracle의 Mercury Solution 사용 사례

ApplicationEngineering

ServerTechnology

OracleConsulting

Support and Oraclecom

800 engineers use WinRunner100000+ scripts in useTest Starter Kit available free via Oracle MetaLink

Team uses LoadRunner for load testingTuning Kit to be available with the Oracle Application Server 10g

bull TBU offers load testing services using LoadRunner

Standardized on WinRunner and LoadRunnerRuns 3500 test scripts daily using WinRunner

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

12 Oracle에 특화된 Mercury Products

Mercury Business

Availability Center

End User Mgmt bull Monitor for the application server

Mercury IT Governance

CenterChange

Managementbull Preconfigured workflow for

upgrades and patch management

Mercury Quality Center

WinRunnerQuickTest

Professional

bull Oracle Formsbull Oracle Java

Mercury Performance

Center

LoadRunnerDiagnostics

bull Auto-correlation for easier scriptingbull Transaction breakdown for isolating

performance issues

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

Start by downloading The Oracle Test Starter Kit today

13 How Do You BenefitMercury is always first to be validated with new releases of Oracle applications Oraclersquos patch testing process uses Mercury to ensure our compatibilityPre-packaged test content and resources ndash Best practice guidesndash Test starter kits

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

14 Customer Success

Challenge

Solution

Results

bull Upgrade in complex ERP environment (merchandise and non merchandise applications )

bull Avoid service disruption to corporate usersbull Build new web form order entry system

bull Reduced Oracle 11i testing time bull Achieved high quality standards reduced resource requirements

during upgradebull Service uninterrupted

ldquoWe reduced our Oracle 11i testing time significantly and now deliver higher quality products across the boardrdquo

Bruce Woods Manager for Quality and Training

Mercury Quality and Performance Centerbull Automation with WinRunner saved significant timebull LoadRunner Test Starter Kit for Oracle 11i ensured scalability

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

15 Joint Oracle Customers More than 1650 and growing

Bank of Ireland

More Than 1650 and Growing

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

Oracle ERP 패치 기능 테스트자동화 사례 - POSCO

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

I 개 요

배 경

체계적인 시나리오 관리 및 테스트 자동화 구축

패키지 업그레이드 및 패치 적용시 시스템의 영향도 점검 필요- POSPIA적용 패키지 ERP(49개)EPeMail SCP(17개)- Patch 적용 및 Upgrade 횟수(2003년 기준)

ERP 80회(1251개) Patch 적용 Upgrade 2회 SCP 16회 Patch 적용 Upgrade 2회

기능 테스트 점검시 IT 및 현업 요원이 참여하여 수작업 테스트 수행(100여명 1개월 소요)- 테스트 수행 후 정확한 테스트 Check Point 부재

- 테스트시 시나리오를 재작성 및 점검 필요

해외 자동화 구축 사례- Oracle 사 패키지 개발사에 테스트 방법론 요구하자 개발센타의 RampD사가 사용하는 방법제시- Iron Mountain 사 Issue 사전 발견으로 테스트 시간 단축 수작업( 3건주) -gt 자동( 25건주)- ALCOA 사 수작업 대비 60 테스트 시간 단축

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

테스트 기간단축을 통한 패키지 업그레이드 용이성 확보업그레이드 기능 테스트 시 1개월 1주

수작업 테스트의 자동화를 통한 업무 부하 축소PC용 SW( Excel Acrobat 등)를 제외한 모든 시나리오 자동화

속인적 테스트 knowndashhow의 지식 DB화업무 전문가의 테스트 지식 및 경험을 지식 DB에 축적테스트 지식의 공유를 통한 테스트 케이스 재사용성 보장

패키지를 포함한 전사시스템에 적용단계별 적용 MES 제외 전사시스템(1차적용 ) PI2기 구축중인 MES(2차 적용)

추진 방향

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

추진 범위

조업현장시스템조업현장시스템 ((MES)MES)

전 략Level

계 획Level

실 행Level

공급사

고객

e-Procrsquo

EAIEAI

1차 적용 (rsquo039~lsquo043) 2차 적용 ( rsquo044 ~0412)

ERP(수주 공정 재무구매 설비투자 인사 )

SEM (의사결정 지원)

DWDD

EAI

EAI

EAI

SCP(판매 bull 생산계획 공정계획 출하계획)

ABM BSC

EAI

e-SalesSRM(공급사

평가)

CRM(고객정보

통합관리)

EAI

Enterprise

Portal

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

II 구축 내용

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

bull 시나리오 작성

bull 스크립트 작성

bull 운영 방안 수립

준비 (rsquo03 9 ~ )준비준비 ((rsquorsquo03 9 ~ )03 9 ~ )

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 시나리오 작성

bull 스크립트 작성

bull 확대단계 준비

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

bull 프로젝트 범위 확정

bull 툴 사용법 교육

bull 방법론 및 Template

Pilot ( ~ rsquo0310)Pilot ( ~ Pilot ( ~ rsquorsquo0310)0310) 구축 ( ~ rsquo04 3)구축구축 ( ~ ( ~ rsquorsquo04 3)04 3)

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

추진 계획 수립

방법론 및 Guide 작성

Pilot 대상 프로세스(16개)

Pilot 요원 교육

방법론 교육

TestDirector 교육

WinRunner Script 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 16개 프로세스

ERP SCP 16개

구축 핵심 요원 (PL)선발

교육

PL요원 심화 교육

WR TD 심화 교육 실시

운영 요원교육 (120명)방법론 교육 WRTD 교육

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

대상 74개 프로세스 ERP 48개 자체개발 16개 SCP 10개

운영 준비

TL(기술지원 요원) 양성

Script 작성 지원 5명

Admin 1명

운영프로세스 수립

투입 인력

- 컨설턴트 3명 시나리오 작성 리더 18명 시나리오 및 스크립트 제작 약 70명

구축 일정

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

적용 패키지 및 모듈 현황

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

패키지 6개 ( ERP SCP E-Mail EDMS EP KMS) 및 자체 개발

모 듈 66개 ( Oracle ERP 49개 i2 SCP 17개) 프로세스 74개 환경경영 일정관리 주문배치계획 재료진행관리 등

테스트 툴 3299건 테스트 자동화률 96

테스트 시나리오 - 기존(테스트 lot) 1855건 현재(테스트 케이스) 3299건

시나리오 종류 테스트 케이스 lt 비즈니스 케이스 lt 비즈니스 프로세스 lt 모듈 lt 모듈군

테스트 자동화율 - 기존 수동 테스트(100) 현재 자동테스트(96) 수동테스트(4)

구축 내역

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

스크립트 작성스크립트 작성테스트 케이스및 데이타 작성

테스트 케이스및 데이타 작성

업무별시나리오 작성

업무별시나리오 작성구분구분

시나리오 Script 작성

테스트 데이타에 대한 정의

시나리오 Script 작성

테스트 데이타에 대한 정의

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

TC별 테스트 내용 정의

테스트 세부 내역 시스템

등록

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

시나리오 분류 체계 DB화

테스트 케이스 선정

시나리오 분류 체계 구축

작성자 SM 요원

확인자 컨설턴트

작성자 SM 요원

확인자 컨설턴트 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 작성자 SM 요원

확인자 PL 현업요원

작성자 SM 요원

확인자 PL 현업요원

주요내용

주요내용

작성자작성자

산출물산출물

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

GUI Tree 모듈별 화면 Tree BP(Business Process) List BC(Business Case) List TC(Test Case) List

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 별 정의서

Test Plan 정의

Test Script 요건 정의

시나리오 자동화 Script BC Test Set 시나리오 자동화 Script BC Test Set

테스트 시나리오 및 스크립트 작성 단계별 이중화 품질 확보 방안 구축

시나리오 작성 (1차) PL(IT 요원) (2차) 비즈니스 그룹(현업 요원) 스크립트 작성 (1차) PL(IT 요원) (2차) 컨설턴트

구축 단계 (시나리오 작성 자동화 스크립트 작성)

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

테스트 know ndashhow의 지식 DB화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

개인별 테스트 Lot 관리(Excel 문서) 테스트 케이스 체계적인 분류 및 관리

테스트케이

스

hellip100명

DB화 실적 프로세스 74개 테스트 케이스 3299개

자동화 테스트 툴을 활용 등록 관리 ( 최신 버전 유지 및 공유)

기본 지식만 있으면 내용을 확인후 테스트 가능 ( 담당자 변경시 테스트 누락 방지 )

III변화 모습

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

AS-WASASAS--WASWAS

담당자별 수작업 테스트 수행

수행결과 점검 사항(케이스별 이상유무 점검(radic))

radic

radic

radic

AS-ISASAS--ISIS

자동 테스트 수행 및 결과 자동 관리

수행 결과물 확인

수행 결과 확인

결과에 대한 이력 정보 공유

자동결과 확인으로 인한 결과의 객관성확보

테스트 진행 중 각 시나리오별 테스트 진행현황 파악 및 결과 검증이 가능

테스트 수행 및 결과물의 시스템화

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

hellip조치 준비 실행 조치준비실행조치실행준비

결과분석 (1일)실행(1일3299개)준비 (1일)

결과 분석 (1일)실행(3일1855개)준비 (1일)

테스트 준비

3주2주 4주1주

결과 분석 및 보완 (2일)실행(1일)테스트 준비 (2일)

5일4일3일2일1일

1차 테스트 1차 결과분석 및 보완 테스트

자동화자동화 테스트테스트 적용적용

업그레이드 적용시 테스트 실행시간 단축( 4주 1주)

- 월 패치 작업시 사용하던 테스트script을 사용하므로 소요시간 단축

테스트 수행 시간 단축

AS-WASASAS--WASWAS

AS-ISASAS--ISIS

월 정기 패치 적용 시 테스트 실행시간 단축( 3일 1일)

- 실행시 마다 테스트시나리오 재작성 및 수작업 실행이 불필요하므로 실행시간 단축

AS-ISASAS--ISIS

TO-BETOTO--BEBE

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

테스트 진행 관리 모니터링 자동화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 수행결과 요약 보고서 작성 실시간 테스트 진행사항 및 결과 확인

radic

radic

radic

수행결과분석

수행결과를 테스트요원이 수작업 분석 모니터링 툴에서 자동으로 분석레포팅

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

2 H6 H200 개수시자산 대체를 위한 자산정보 입력PA3 H

8 H

As-Was

수시

5건월

주기

1 H100 개Credit Card 발행 시 카드정보 입력AP

As-Is입력기준

2 H100 Line

효과

설비공사 계약 시 계약상세 품목 입력

기능 설명

PO

분야

단순 입력업무 시간 최소화로 高 부가가치 업무 집중

데이타 입력 오류 방지로 데이타 정확성 향상

현업의 단순 반복 업무의 입력 자동화

AS-WASAS-WAS AS-IS AS-IS

자산대체 업무발생자산대체 업무발생

자산 정보 작성자산 정보 작성

입 력입 력

검 증검 증

프로세스

Excel업무

부하 해소

자산 1건 등록 시 약 35초 소요

자산 정보 입력 사례

테스트 툴 활용

결과 확인(엑셀)

Excel

ERP수작업 입력

입력자 확인

수작업 자동작업

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

테스트 운영 프로세스 변화 테스트 운영 프로세스 변화

AS-WASASAS--WASWAS AS-ISASAS--ISIS

테스트 시나리오 재 점검

테스트 수행 절차 점검

테스트 Data 준비

테스트 수행

테스트 결과 확인

각 수행자에 의한 결과 분석

일간 테스트 진행사항 점검

테스트 Data 준비테스트 Data 준비

테스트 자동 수행 및 결과 확인테스트 자동 수행 및 결과 확인

시스템에 의한 결과 분석시스템에 의한 결과 분석

실시간 진행 및 결과 확인실시간 진행 및 결과 확인

시나리오 및 수행절차의시스템화

7단계 4단계로 프로세스 간소화

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

Oracle ERP 성능 테스트 및최적화 사례 - KT

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

사용자수증가에따른 성능문제예상조치

프로그램 성능( FormsReportJSP)

시스템성능병목구간및성능한계점식별시스템부하시에나타나는 현상파악

(CPU Usage Throughput등)

시스템의안정성검증Go-live에적합한시스템 Profile 확인

1 Oracle ERP 성능 테스트 필요성1 Oracle ERP 성능 테스트 필요성

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

2 성능 및 부하 테스트 적용 단계

분 석 설 계 구 현 테스트 이 행

단위 기능테스트

통합 기능테스트BMTBMT

bull 기능 테스트 (단위 통합)

성능 amp 스트레스테스트

bull 스트레스 테스트

bull 성능 테스트

bull 시스템 구성 변경

bull PatchUpgrade 적용bull HW Capacity 산정

bull 성능 amp 스트레스 테스트

bull 정합성 안정성 테스트

서비스 중

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

3 시험 대상 선정3 시험 대상 선정시험대상 선정 기준

ndash OLTP 작업

업무 중요도가 높은 업무

발생 빈도가 높은 업무

사용자수가 많은 업무

개발자의 요청 업무 ( 성능에 의심이 되는 업무 )

ndash Batch 작업

Table Join이 많으면서 많은 데이타를 처리하는 업무

Concurrent job중 문제가 되는 업무

Modules

ndash Financials General Ledger AP AR TR FA

ndash ProcurementPurchasing Purchasing Inventory I-procurement

ndash Property Property Management CAD view-3D Project Mgmt

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

4 Oracle Apps 성능 테스트 내용

Ora9iAS

OC4J

OraApps

OraAppDB

Database

2) OC4J 성능 테스트

3) 애플리케이션 성능 테스트

4) DB 성능 테스트

1) Java 성능 테스트

Oracle Application R11

JJDKDK 131131--0303

JVM 성능테스트Forms Applet은 JVM을이용하여구동되어지는 JVM 성능웹브라우저의 native JVM이나 Oracle Jinitiator와같은 Plug-in

OC4J 성능테스트Oracle HTTP Listener의요청을받는 OC4J 성능OC4J과 Forms Servlet 매핑

Oracle Forms Service인 Application 배포를위한환경테스트Client 환경Oracle ERP Application Logics과서버소프트웨어가설치되는 Application 서버환경Database 환경테스트Customized Oracle FormsReports

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

Deadlock 발생

ndash Batch Job과 OLTP Job이 동시에 수행되는 경우 Dead Lock 발생

INV (OLTP) 고정자산 철거 고정자산 투입 매각출고 부외자산 철거 비용출고

QM (OLTP) 자율검사업체지정 Update Quality Results_Q500

GL (Batch) ABC실적이체

AP2 서버에서 DB1서버로 Request 미 발생

ndash 부하테스트 시 LoadRunner에서는 AP2로 Request가 발생하였으나

AP2에서 DB1으로 Request가 발생하지 않음

Concurrent Manager 미수행

ndash 부하 시 CM(Concurrent Manager) Process 의 문제점

5 부하 테스트로 발견된 성능 문제5 부하 테스트로 발견된 성능 문제

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

TPS

최대

동시

사용자

수

튜닝 후튜닝 전

30 ~ 40 TPS10 ~ 25 TPS

튜닝 부분

bull Connection Time-Out 변경

bull Process Thread 수 변경

bull DB Connection 수 변경

bull Application Tuning (SQL문 수정)

800 Vuser이상

380 Vuser

튜닝 부분

bull Apache MaxClient 수 변경 (httpdconf)bull Java Engine 수 변경

bull Heap Size 변경

bull Apache DB Connection 수 변경

bull OS Connection User 수 변경

시스템비즈니스 프로세스

(20개의 Oracle AP 세부 모듈을 동시에 수행)

6 Tuning6 Tuning

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

Stress Test ndash LoadRunner에서 최대 4000 User까지 부하를 발생하였으나 시스템의 Down이나

Application의 Down은 발생하지 않음

7 Stress Test7 Stress Test

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

16개시험항목 수

TAX 서버대상 시스템

약 2천 1백만 건대상 자료처리건수

내 용구 분

Test 조건

Test 결과- 삭제항목은 2차와 3차가 1차에 비해 수행시간이 30이상 빠르게

수행되어 기능이 반복될 때 빠르게 수행됨

ndash 이체의 경우 본부 별 이체가 순차적으로 실행(Sequential 실행)할 때는 목표시간내에 모두 수행되었으나 동시실행(concurrent 실행)하였을 때 각각의수행시간이 목표시간을 초과

ndash Batch Test는 재무ERP 시스템을 기준으로 하였으며 기준시간을 모두 만족함

8 Batch Test8 Batch Test

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

Oracle 애플리케이션 Oracle DB와 하드웨어와의 정합성안정성 확인

하드웨어 용량 산정

성능 (동시 사용자 수 평균 응답시간 TPS등) 확인

추후 튜닝을 위한 Back 데이타로 활용

Oracle 애플리케이션은 Enterprise 별로 Setup 사항과 Volume

사용영역이 다르고 특히Add-OnCustomized에 따른 상호간

영향 및 성능 문제가 발생 하게 됨

프로젝트 계획구축시험 및 운영단계별로 성능시험과 튜닝이

지속적으로 필요

9 결론9 결론

ldquoWe can help you to do more with lessrdquo

ldquoWe can help you to do more with lessrdquo