2013 한국 소프트웨어공학 학술대회(lig넥스원 이주현)dslab.konkuk.ac.kr/etc/kcse...

2013. 01. 30

연구 배경

관련 연구

본 론

결 론

1) 무기체계 내장형 소프트웨어 특징 I. 개요

무기체계 소프트웨어의 비중 및 중요성이 증대되고, 소프트웨어가 체계 전체 성능을 좌우하는 핵심요소로 변화하고 있음.

4/20

최신 무기체계는 감시정찰, 지휘통제, 정밀타격이 통합된 SW 중심의 복합체계로 발전

공통기반SW, 체계기반SW, 전술응용SW 등 무기체계 제반 기능이 대부분 SW로 구현

무기체계 개발비 중 SW의 비중이 큰 부분을 차지하고 있으며, 매년 증가 추세

무기체계 내장형 소프트웨어가 무기체계의 전체 성능을 좌우하는 핵심 요소로 자리잡음.

소프트웨어 시험 성과 지표를 통한 소프트웨어의 품질의 정량적 목표 관리가 필요함.

2) 무기체계 내장형 소프트웨어 품질 특성

5/20

무기체계 SW는 여러 품질 특성 중 특히 신뢰성과 유지보수성이 매우 중요함.

기능성 (Functionality) 신뢰성 (Reliability) 사용성 (Usability)

효율성 (Efficiency) 유지보수성 (Maintainability) 이식성 (Portability)

신뢰성 부족

인명 손실 및 안전 위험

전력화 후 30~40년의 운용으로

유지보수 시간/비용 증대

요구하는 기능이 정확히

실행되는가?

요구 기능이 고장 없이

안정적으로 실행되는가?

사용하기 편리한가?

시간과 자원을 효율적으로

활용하는가?

유지보수가 편리하도록

개발되었는가?

다양한 운용 환경에 설치하기가

편리한가?

I. 개요

3) 방위사업청의 시험 동향 I. 개요

당사는 2007년부터 국방 SW의 신뢰성 확보 차원에서 체계적인 테스팅 활동을 수행하고 있으며,방위사업 지침에도 활동이 의무화 되어 가고 있음

6/20

외부 동향

2011년 6월 ~ 현재

제안 RFP

SW 분야 평가항목(4개)/비중 증가

RFP 평가항목 ① SW 개발방안 ② SW 개발방법론 ③ SW 품질보증 ④ SW 신뢰성 시험

방위 사업청 동향

신뢰성 시험 시범 적용

2010. ~ 2011.7

무기체계 SW 개발 및 관리 지침 공식 발표

2011.8.28

모든 프로젝트 대상 신뢰성 시험 적용

현재

방산업체 지침 교육

2011. 12. 09

LIG 넥스원 활동

자동화 도구 기반의 SW 테스팅 수행

2007년 시작 ~ 현재까지

TMMi Level 3 달성

모든 프로젝트 SW 신뢰성 시험 의무 수행

2012. 3. 7 현재

4) TMMi 요구사항 I. 개요

당사의 체계적인 소프트웨어 시험 프로세스 구축을 위해 참조한 TMMi 모델에서 시험 성과 지표를 선정하여 관리할 것을 요구하고 있음.

Optimization

1. 결함 예방

2. 테스트 프로세스 최적화

3. 품질제어 Measured

1. 테스트 측정

2. 제품 품질 평가

3. 발전된 동료 검토 Defined

1. 테스트 조직

2. 테스트 훈련 프로그램

3. 테스트 수명주기&통합

4. 비기능 테스팅

5. 동료 검토

Managed

1. 테스트 정책&전략

2. 테스트 계획

3. 테스트 모니터링&제어

4. 테스트 설계&실행

5. 테스트 환경

Level 5

Level 4

Level 3

Level 2

Initial

Level 1

※ TMMi Level 구분

7/20

SG3 Establish Test Performance Indicators (테스트 성과 지표를 선정한다.) SP 3.1 Define test performance indicators (테스트 성과 지표를 정의한다.) SP 3.2 Deploy test performance indicators (테스트 성과 지표를 적용한다.)

1) ISO/IEC 9126 II. 관련 연구

ISO/IEC 9126은 소프트웨어 품질특성과 척도에 관한 지침으로, 고객관점에서 소프트웨어에 관한 품질특성과 품질 부특성을 정의하고 있음.

9/20

Internal Metrics (6대 특성) ISO 9126-3

External Metrics (6대 특성) ISO 9126-2

Quality in Use Metrics (Effectiveness, Productivity, Safety, Satisfaction) ISO 9126-4

ISO 9126 Quality Model

[참조] ISO/IEC 9126 Quality Model

2) ISO/IEC 25000 II. 관련 연구

ISO 25000은 SQuaRE* 시리즈라고 불리며, ISO/IEC 9126과 ISO/IEC 14598의 두 표준의 보강 및 통합을 목적으로 개발되고 있음.

10/20

* SQuaRE(Software Quality Requirements and Evaluation)

주특성 부특성

기능성 기능성숙도

기능정확도

기능타당성

효율성 시간반응성

요소 활용

기억 용량

상호운용성 공존성

상호 운용성

사용성 타당성 식별력

학습성

운용성

사용자 오류 보호

사용자 인터페이스 미학

접근성

신뢰성 성숙성

가용성

결점 완화

회복 가능성

주특성 부특성

보안성 기밀성

무결성

부인 방지

책임성

진본성(인증성)

유지보수성 모듈성

재사용성

분석성

수정 가능성

시험 가능성

이식성 적용성

설치성

대치성

[참조] Organization of SQuaRE series of International Standards

[참조] ISO/IEC 25010 에 정의된 Product quality model

3) CMMI의 측정 지표 관련 요건 II. 관련 연구

CMMI*에서 프로젝트의 상태를 파악하기 위해 다양한 형태의 측정 데이터를 정의하고, 수집 및 분석 하여 이해관계자들과 함께 검토하는 활동을 정의하고 있음.

11/20

* CMMI (Capability Maturity Model Integrated) : 미국방성에서 SEI연구소에 의뢰하여 만든 조직 프로세스 능력 성숙도를 개선해 나가고 평가하는데 활용되는 세계적 공통 모델

SG 1 Align Measurement and Analysis Activities Measurement objectives and activities are aligned with identified information needs and objectives. SP 1.1 Establish Measurement Objectives Establish and maintain measurement objectives derived from identified information needs and objectives.

SP 1.2 Specify Measures Specify measures to address measurement objectives.

SP 1.3 Specify Data Collection and Storage Procedures Specify how measurement data are obtained and stored.

SP 1.4 Specify Analysis Procedures Specify how measurement data are analyzed and communicated.

SG 2 Provide Measurement Results Measurement results, which address identified information needs and objectives, are provided.

SP 2.1 Obtain Measurement Data Obtain specified measurement data.

SP 2.2 Analyze Measurement Data Analyze and interpret measurement data.

SP 2.3 Store Data and Results Manage and store measurement data, measurement specifications, and analysis results.

SP 2.4 Communicate Results Communicate results of measurement and analysis activities to all relevant stakeholders.

[참조] CMMI for Development, Version 1.3

1. 측정 목표 수립

3. 데이터 수집 및 저장 절차 명시

2. 측정 데이터 분석

1. 측정 데이터 획득

4. 결과 의사소통

2. 측정 지표 명시

3. 데이터 및 결과 저장

4. 분석 절차 명시

4) TMMi의 성과 지표 관련 요건 II. 관련 연구

TMMi*의 Test Policy and Strategy Process에서 3번째 목표로써 Test Performance Indicator 구축을 요건으로 정의하고 있음.

12/20

* TMMi (Test Maturity Model Integration) : 조직의 SW테스트 성숙도를 점검하고 개선방향을 가이드하는 모델로서 국제적으로 유일하게 인정받고 있는 심사 모델을 가지고 있음.

[참조] Test Maturity Model integration(TMMi) Release 1.0

1. 테스트 정책과 목적 연구

(테스트 프로세스 개선)

2. 필요하다면 요청

3. 테스트 정책 및 목적과 연계된

테스트 성과 지표 정의

4. 테스트 성과 지표 리뷰 (이해관계자)

테스트 정책과 목적 명확화 6. 테스트 성과 지표

수집과 저장에 대해 구체적 명시

5. 테스트 성과 지표에 대한 오너십

정의 및 수립

7. 테스트 성과 지표 분석과 보고에 대해

구체적 명시

1) 소프트웨어 시험 프로세스 III. 본 론

14/20

마스터시험계획

계획

설계(기본)

체계통합 시험

계획

설계(기본)

SW통합 시험

수행

종료

정적 시험

계획

설계(기본)

SW단위 시험

수행

종료

정적 시험

SW단위시험 설계(상세)

수행

종료

정적 시험

SW통합시험 설계(상세)

수행

종료

SW단위 시험

수행

종료

정적 시험

체계통합시험 설계(상세)

수행

종료

SW통합 시험

수행

종료

정적 시험

마스터시험종료

수행

종료

체계통합 시험

1. 코딩규칙* 검증 2. 코드 실행율* 확인

3. 실행시간 오류* (Runtime Error) 검출

수행

종료

정적 시험

각 개발 단계 별로 정적 시험과 동적 시험을 수행하며, 방위사업청의 SW 신뢰성 시험의 평가 항목을 SW 단위시험 단계부터 수행 중임.

2) 소프트웨어 시험 성과지표 선정 III. 본 론

15/20

특성 성과 지표 명 측정 공식 측정 시기

기능성 요구사항 커버리지 TC로 확인된 요구사항 수

/ 전체 요구사항 수

소프트웨어통합시험

체계 통합 시험

신뢰성

결함 밀도 발생 결함수 / KLOC 소프트웨어단위시험

소프트웨어통합시험

체계 통합 시험

결함 조치율 조치 결함수 / 발생 결함수

테스트 커버리지 수행된 TC / 계획된 TC

테스트 성숙성 Pass된 TC / 계획된 TC

구문 커버리지 TC 수행 시 코드 수행 비율

소프트웨어단위시험 유지보수성

소스코드 주석율 주석 라인 / 총 라인

코딩표준 준수율 위반 코딩룰 / 계획된 코딩룰

복잡도

(Cyclomatic

Complexity)

함수 내 조건문 + 1

상호운용성

상호운용성

요구사항 커버리지

상호운용성에 대한 요구사항 수

/ 전체 요구사항 수 소프트웨어통합시험

체계 통합 시험 표준적합성

요구사항 커버리지

표준적합성에 대한 요구사항 수

/ 전체 요구사항 수

[ ISO/IEC 9126 ] 통합 및 선정

[ ISO/IEC 25000 ]

ISO/IEC 9126의 기능성과 유지보수성, 신뢰성의 부특성의 지표를 해석하여 무기체계에 적합한 성과 지표로 다음과 같이 재정의함.

☞ 시험성과지표명세서 상세 정의

3) 시험 성과 지표 관리 방안 (1/2) III. 본 론

시험 성과 지표 추가

시험 결과서

특성 지표 명 목표 실측

기능성 요구사항 커버리지 100% 98%

신뢰성

결함 밀도(건/KLOC) 6.2 5.2

결함 조치율 100% 94%

테스트 커버리지 100% 100%

테스트 성숙성 90% 86%

구문 커버리지 90% 95%

유지 보수성

소스코드 주석율 30%

이상 31%

코딩표준 준수율 100% 96%

복잡도 (Cyclomatic complexity)

20이하 15

상호 운용성

상호운용성

요구사항 커버리지 NA NA

표준적합성

요구사항 커버리지 NA NA

주간 업무 보고서

16/20

주간 업무 보고서에 지표 측정 내용을 추가하여 진행 사항을 관리하고, 전체 시험이 종료된 후에 시험 결과서에 해당 사항을 종합하여 분석하도록 함.

4) 각 시험 성과 지표 별 측정 환경 (1/2) III. 본 론

특성 지표 명 측정 방법 출처

(자동화 도구) 화면 예시

기능성 요구사항 커버리지

요구사항 문서 류(SRS 등)에 식별된 요구사항 개수와 시험 단계에 이를 검증한 개수와의 비율로 측정함

요구사항 문서 (IBM DOORS 9.2)

신뢰성

결함 밀도 (건/KLOC)

시험 단계에 발생한 결함의 개수를 측정하고, 이를 해당 SW LOC를 통하여 측정함 결함관리대장

(HP Quality Center 11.00)

결함 조치율 발생한 결함과 조치한 결함을 개수와의 비율을 측정함

테스트 커버리지 전체 테스트케이스 대비 수행한 테스트케이스의 비율로 측정함

테스트설계명세서 (Jama Contour 3.5.2)

테스트 성숙성 전체 테스트케이스 대비 성공한 테스트케이스의 비율로 측정함

구문 커버리지 전체 소스코드의 대비 수행(테스트된)한 소스코드의 비율로 측정함

단위시험결과보고서 (VectorCAST 6.0)

17/20

각각의 시험 성과 지표 별로 다음과 같은 측정 방법 및 사용하는 도구가 있음.

4) 각 시험 성과 지표 별 측정 환경 (2/2) III. 본 론

특성 지표 명 측정 방법 출처

(자동화 도구) 화면 예시

유지 보수성

소스코드 주석율 소스코드 주석율 확인 도구를 통하여 전체 LOC 대비 주석에 대한 비율을 측정함

소스코드 (SLOC Metrics 3.0.5)

코딩표준 준수율 사내에 정의된 소프트웨어 코딩 규칙에 따라 소스코드가 작성되었는지를 자동화 도구를 통하여 점검하여 측정함.

소스코드 (QAC 8.0

/QAC++ 3.0)

복잡도 (Cyclomatic

complexity)

각 함수 별 복잡도(조건문+1)을 자동화 도구를 통하여 점검하여 측정함.

소스코드 (QAC 8.0

/QAC++ 3.0)

18/20

각각의 시험 성과 지표 별로 다음과 같은 측정 방법 및 사용하는 도구가 있음.

5) 프로젝트 적용 사례 III. 본 론

19/20

TMMi 인증 심사 시 5개의 프로젝트에 적용하여 시험 성과 지표 및 이를 기반으로 테스트 설계 명세서와 결함 등의 추적성 관리 내용을 입증함.

시험 진행 중 간 보고서 성과 지표 기록

테스트 설계 명세서

결함관리대장

마스터 시험 계획서의 성과 지표 정의

Ⅵ. 결론

소프트웨어 품질 측정과 관련된 기존의 연구는 대부분 품질 지표를 정의하고,

체크리스트를 기반으로 전문가들의 검토를 통한 정성적인 측정 방법을 사용하였으나

특히 본 논문에서는 시험 단계에 객관적으로 측정할 수 있는 성과 지표를 정의하여

시험 단계에 적용하므로 시험에 대한 진척 현황과 함께 소프트웨어의 품질을

예측할 수 있는 기반을 마련함.

기존의 연구에서 연구한 품질 지표를 바탕으로 시험 단계에 성과 지표를 정의하였으나

소프트웨어가 개발되고 난 이후부터 적용이 가능하기 때문에

소프트웨어 요구사항 분석 및 설계 과정에서 소프트웨어 품질 측정은 기존의 방법을

유지해야 하는 한계를 가짐.

본 연구와 관련하여 향후 소프트웨어 개발 단계에서는 품질 지표를 정의하여

시험 단계와의 연계를 통한 통합적인 소프트웨어 품질 지표 모델을 연구할 계획임.

20/20

References

1) ISO/IEC 9126, “Information Technology Software Quality Characteristics and metrics-Part 1,2,3.

2) ISO/IEC 25000 (Software and System engineering: Software product Quality Requirements and Evaluation(SQuaRE) - Guide to SQuaRE),

2005. 10, FDIS

3) CMMI for Development, Version 1.3

4) TMMi Framwork v4.0, TMMi Foundation, 2012

5) 방위사업청, "무기체계 내장형 소프트웨어 획득 및 관리 실무 지침서", 2011

[첨부] ISO/IEC 9126으로부터 시험 성과 지표 도출

이와 같이 ISO/IEC 9126의 부특성 별로 설정된 지표를 검토하여 이를 조직

에서 사용하는 용어로 정제하고, 시험을 하면서 필수적으로 측정 가능한 항

목만 도출하여 성과지표를 선정함.

[첨부] 시험 성과지표 명세서 (1/3)

측정지표 요구사항 커버리지 범위 0.0 ~ 단위 개/개

산출공식 A / B * 100

측정항목 정 의

A 테스트 케이스로 확인된 요구사항 수 단위 개

B SRS에 정의된 요구사항 수 단위 개

측정항목 출 처

A 테스트 케이스

B 소프트웨어 요구사항 명세서

측정단계

요구분석 설계 구현/제작 √ SW/HW 시험

√ 통합 시험 √ 체계 시험 √ 인수 시험 개발 시험

운용 시험 프로젝트 종료 - - - -

측정지표 소프트웨어 결함 조치율 범위 0.0 ~ 단위 %

산출공식 A / B * 100


A 조치된 결함 수 단위 개

B 시험 결함건수 단위 개


A 프로젝트 결함관리대장

B 프로젝트 결함관리대장

측정단계

요구분석 설계 √ 구현/제작 √ SW/HW 시험

√ 통합 시험 체계 시험 인수 시험 개발 시험


측정지표 테스트 커버리지 범위 0.0 ~ 단위 %

산출공식 A / B * 100


A 수행된 테스트 케이스 수 단위 개

B 계획된 테스트 케이스 수 단위 개


A 테스트 케이스, 시험일지

B 테스트 케이스

측정단계





측정지표 테스트 성숙성 범위 0.0 ~ 단위 %

산출공식 A / B * 100


A Pass된 테스트 케이스 수 단위 개

B 계획된 테스트 케이스 수 단위 개


A 테스트 케이스, 시험일지

B 테스트 케이스

측정단계




측정지표 구문커버리지 범위 0.0 ~ 단위 %

산출공식 A


A Statement 커버리지 단위 %

- 단위 -


A 소프트웨어 동적 시험 자동화 도구

-

측정단계


통합 시험 체계 시험 인수 시험 개발 시험


측정지표 주석율 범위 0.0 ~ 단위 %

산출공식 A / B * 100


A 주석 라인수 단위 LOC

B 총 라인수 단위 LOC


A 소프트웨어 소스코드

B 소프트웨어 소스코드

측정단계





측정지표 코딩표준준수율 범위 0.0 ~ 단위 %

산출공식 X=(1-R/Rt) * 100


R 위반한 코딩룰 수 단위 개

Rt 계획된 코딩룰 수 단위 개


A 프로젝트 결함관리대장

B 프로젝트 결함관리대장

측정단계




측정지표 수정복잡도 범위 0.0 ~ 단위 -

산출공식 X=(1-R/Rt) * 100


A Cyclometric Complexity 단위 -

- - 단위 -


A 소프트웨어 소스코드

- -

측정단계




2013 한국 소프트웨어공학 학술대회(lig넥스원 이주현)dslab.konkuk.ac.kr/etc/kcse...

Documents