saeki - new topics of ipa-sec white paper 2014-2015 on software development projects in japan

1

ソフトウェア開発データ白書2014-2015の新規分析例 New topics of “IPA/SEC White Paper 2014-2015 on

Software Development projects in Japan”

佐伯正夫（Masao Saeki）

三縄俊信（Toshinobu Minawa）

塚元郁児（Ikuji Tsukamoto）

独立行政法人情報処理推進機構技術本部ソフトウェア高信頼化センター

Software Reliability Enhancement Center , Technology Headquarters,

Information-technology Promotion Agency, Japan （IPA/SEC）

2014年 10月22日

IT Confidence 2014 Tokyo

Copyright © 2014 IPA, All Rights Reserved

2

目次（Index）

IPA/SECのソフトウェア開発データ白書に関する活動を紹介すると共に、本年

10月1日に発行した「ソフトウェア開発データ白書2014-2015」（及び今年末公開予定

の補遺）の中から、次の新たな分析結果を紹介する。

１．生産性に関する変動要因について

The productivity variation factors

２．信頼性に関する変動要因について

The reliability variation factors

３．各工程における規模、成果物量および工数の相関

The correlation among functional size, amount of

deliverables and effort in each development phase.


3

◇統計情報 statistical Information

プロファイル、規模、工数、工期、

Profile, Size, Effort, Duration

生産性、信頼性とそれらの変動要因

Productivity, Reliability and their

Variation Factors

◇データ項目、ﾒﾄﾘｸｽ、分析方法、知見

Data Items, Metrics, Analyzing

Methods, Knowledge

Own

Repository

組織／企業における定量的管理 Quantitative Management in a organization

生産性向上, 信頼性向上

Improve software

productivity and

reliability

◇Benchmarking and management decisions

about software development practices.

◇Areas for improvement are identified.

ソフトウェア開発データ白書

White Paper Software

Development

Project data

from

29 companies

in Japan.

Repository

3,541 project data set

ソフトウェア開発データ白書の定期的発行 IPA/SEC is continuously collecting software development project data

every year and publishing the White Paper every two years.

IPA/SEC

collect

every year

publish

every

2 years

参考 use as reference


4

ソフトウェア開発データ白書の定期的発行（つづき） IPA/SEC published White Paper 2014-2015 on 2014/10/1.

☆IPA/SECは、ソフトウェア開発データ白書作成を通じて得られた知見を基に、IT プロジェクトベンチマーキング国際標準規格（ISO/IEC 29155 シリーズ）の標準化に貢献している。

IPA/SEC has been contributing standardization

of ISO/IEC 29155 series ” Information

technology project performance benchmarking

framework” by using knowledge of the White

Paper.

今秋10月1日に、ソフトウェア開発データ白書2014-2015を発行


5

・・・

Example of productivity/reliability variation factor model

生産性の結果指標

FP当り実績工数

開発プロセス Development Process

設計文書化密度テスト密度

・・・

Q,C,D要求 Requirements 顧客の協力度合い Cooperation

Degree of Customer

プロファイル

Profile 開発環境

Environment

組織の成熟度 Maturity

of Organization

信頼性要求レベル

システムリスク

開発期間・・・

発注仕様の確定時期

レビュー・承認の実施時期・・・

レビュー工数比率

レビューでの欠陥摘出率

テスト工数比率

・・・

CMMIレベル

品質保証体制

・・・

開発規模

新規／改良

・・・

ｿﾌﾄｳｪｱ資産の

整備度

・・・スキルレベル

０．生産性・信頼性の変動要因と結果指標について There are productivity/reliability variation factors in various areas： Requirements, Cooperation Degree of Customer, Development Process , Profile,

Maturity of Organization,etc.

業種、ｼｽﾃﾑ種別

要件定義への顧客参加度合い

Result Index of

Productivity

信頼性の結果指標

・・・

KFP当り発生不具合密度

SLOC当り実績工数

KSLOC当り発生不具合密度

Result Index of

Reliability


6

１．生産性に関する変動要因について New topics of productivity variation factors

factors are shown here.

生産性の結果指標

FP当り実績工数 Work Effort per Unit

FP Size


設計文書化密度 Documentation Density： The Number of Design

Document Pages per Unit

FP Size (Basic Design + Detailed

Design)

テスト密度 Test Density:

The Number of Test

Cases per Unit FP

Size (Integration Test +

System Test)

Q,C,D要求 Requirements

プロファイル Profile

信頼性要求レベル Reliability-Requirements-Level

開発規模 Functional Size (FP)

Result Index of

Productivity


7

１．生産性に関する変動要因について（つづき） New topics of productivity variation factors

＜検索条件（Search Criteria）＞

◇ 新規開発（New Development）

◇ FP計測手法（FP Count Approach）： IFPUG, SPR or NESMA

◇ FP規模（FP Size） > 0

◇ 開発工数（Work Effort） > 0

◇ 開発5工程が揃っているプロジェクト

（Development Phases are from Basic Design to System Test.）

＜比較方法（Comparison Method）＞ ◇ 中央値を境に２群に分けて、両者のFP当り実績工数を比較する。

Divide numeric data into two groups by the median, and compare

the work effort per unit FP size of both. ◇ 対数化データに対して、平均の差の検定（Welchのｔ検定）を行う。

Perform Welch's t test for the data after logarithmic transformation.


8


信頼性要求レベルが高い集合の方がFP当りの工数が大きい傾向が見られる。（1%有意）つまり、信頼性要求レベルが高くなると、FP生産性が低下する傾向が窺える。

0

10

20

30

40

50

低い (Low) 高い (High)

信頼性要求レベルReliability-Requirements-Level

N = 83N = 86

FP当り実績工数（man-hours/FP）

低

←

F

P

生産性→

高

IF Reliability-Requirements-

Level is high,

then FP productivity is low.


9


FPが大きい集合の方がFP当りの工数が大きい傾向が見られる。（3%有意）つまり、開発規模が大きくなると、 FP生産性が低下する傾向が窺える。

0

10

20

30

40

50

60

FP小（Small） FP大（Large）

FP規模FP size


低

←

F

P

生産性→

高

N = 193N = 193

IF FP size is large,

then FP productivity

is low.


10


設計文書化密度が高い集合の方がFP当りの工数が大きい傾向が見られる。（1%有意）つまり、規模当りの設計書ページ数が多くなると、 FP生産性が低下する傾向が窺える。

0

10

20

30

40

50

60


設計文書化密度

Documentation Density：Document Pages per Unit FP Size


低

←

F

P

生産性→

高

N = 69N = 70

IF Documentation Density

is high,



11


テスト密度が高い集合の方がFP当りの工数が大きい傾向が見られる。（1%有意）つまり、規模当りのテストケース数が多くなると、 FP生産性が低下する傾向が窺える。

0

10

20

30

40

50

60


テスト密度Test Density:Test Cases per Unit FP Size


低

←

F

P

生産性→

高

N = 136N = 137

IF Test Density is high,



12


まとめ（Summary）

ソフトウェア開発データ白書用に収集した現行プロジェクトデータによれば、開発規模（FP）と工数には強い相関関係が見られるものの、バラツキが小さくない。業種、開発プロジェクトの種別（新規／改良）、開発規模の他、規模当りの設計書ページ数、規模当りのテストケース数、信頼性要求レベル等によって変動する傾向が見られる。

⇒ 自組織のソフトウェア開発プロジェクト群のデータに基づいて、自組織における生産性変動要因を見出すこと、そして見積り／計画の妥当性評価にあたっては、その生産性変動要因による変動を勘案しながら評価することが望ましい。

◇ Find productivity variation factors in each organization.

◇ Evaluate the validity of estimated efforts by taking the productivity

variation factors into account.


13

２．信頼性に関する変動要因について New topics of reliability variation factors

factors are shown here.

信頼性の結果指標


Q,C,D要求 Requirements

信頼性要求レベル Reliability-Requirements-Level Result Index of

Reliability

KFP当り発生不具合密度 Defect Density： The number of defects per 1000 FP in the first 6 months of use of the software

組織の成熟度 Maturity of Organization

テストスキル Test Skill

定量的な出荷品質基準 Quantitative Criteria of Quality Evaluation for Delivery


14

２．信頼性に関する変動要因について（つづき） New topics of reliability variation factors

＜検索条件（Search Criteria）＞ ◇ FP計測手法（FP Count Approach）： IFPUG, SPR, NESMA

◇ FP規模（FP Size） > 0

◇ 開発5工程が揃っているプロジェクト

（Development Phases are from Basic Design to System Test.） ◇ 稼働時の発生不具合数（The number of defects in the first 6 months

of use of the software） >= 0

＜比較方法（Comparison Method）＞ ◇ 変動要因のカテゴリ間で、FP当り実績工数を比較する。

Compare the work effort per unit FP size between categories of

each variation factor. ◇ 平均の差の検定（Welchのｔ検定）を行う。

Perform Welch's t test for the data.


15


信頼性要求レベルが高い集合の方が発生不具合密度が低い傾向が見られる。（4%有意）つまり、信頼性要求レベルが高いとFP信頼性が高くなる傾向が窺える。

0

5

10

15

20

25

高い（High）低い（Low）

信頼性要求レベルReliability-Requirements-Level

発生不具合密度（No. of defects/1000FP）

低

←

F

P

信頼性→

高

N = 89N = 98

IF Reliability-Requirements-

Level is high,

then FP reliability is high.


16


組織に定量的な出荷品質基準が有る方が発生不具合密度が低い傾向が見られる。（8%有意）つまり、定量的な出荷品質基準が有ると信頼性が高くなる傾向が窺える。

0

5

10

15

20

25

30

35

40

基準有りCriteria are established

基準無しNo Criteria

定量的な出荷品質基準の有無Quantitative Criteria of Quality Evaluation for Delivery

低

←

F

P

信頼性→

高

発生不具合密度（No. of defects

/1000FP）

N = 46N = 102

IF criteria are established,



17


テスト要員のスキルが十分な方が発生不具合密度が低い傾向が見られる。（5%有意）つまり、テスト要員のスキルが十分であると信頼性が高くなる傾向が窺える。

0

5

10

15

20

25

30

35

40

45

50

スキルが十分Sufficient Skill

スキルが不足Insufficient Skill

テストスキルTest Skill

発生不具合密度（No. of defects/1000FP）

低

←

F

P

信頼性→

高

N = 45N =68

IF test skill is sufficient,



18



ソフトウェア開発データ白書用に収集した現行プロジェクトデータによれば、開発規模、業種、開発プロジェクトの種別（新規開発／改良開発）の他、信頼性要求レベルおよび組織の成熟度に関する要因（定量的出荷品質基準の有無、テストスキル）によって、 FP信頼性が変動する傾向が見られる。

⇒ 自組織のソフトウェア開発プロジェクトデータ、自組織の成熟度に関するデータおよび出荷後の（あるいはサービスイン後の）不具合密度等に基づいて、自組織における信頼性変動要因を見出すこと。そして、それらの信頼性変動要因に関して信頼性向上方策を検討することが望ましい。

◇ Find reliability variation factors in each organization.

◇ Consider reliability Improvement policy in relation to the reliability

variation factors.


19

３．各工程における規模、成果物量および工数の相関 The correlation among functional size, amount of deliverables

and effort in each development phase.

開発規模（FP 規模）と各工程の成果物量との間、および各工程の成果物量と各工程の工数との

間には、強い（又は中程度の）正相関が見られることが分かった。

開発規模

FP size

各工程の開発工数

Effort(man-hour)

In each phase

各工程の成果物量

Amount of deliverables

In each phase

工程（phase）* 成果物量（Amount of deliverables ）

要件定義

Requirement Definition

要件定義書ページ数

The Number of Pages of Requirement Definition Documents

基本設計

Basic Design

基本設計書ページ数

The Number of Pages of Basic Design Documents

詳細設計

Detail Design

詳細設計書ページ数

The Number of Pages of Detail Design Documents

製作

Manufacturing

実効KSLOC実績値

Actual Source Lines of Code÷1000

結合テスト

Integration Test

結合テストケース数

The Number of Test Cases of Integration Test

総合テスト（ベンダ確認） System Test by vender

総合テスト（ベンダ確認）ケース数

The Number of Test Cases of System Test by vender

correlation correlation

(＊) Phase name mapping to SLCP is shown on the White Paper.


20

＜相関係数（R）表 correlation coefficient table＞

Phase Requirement

Definition

Basic

Design

Detail

Design

manufacturing Integration

Test

System Test

by vender

FP ⇔ Amount of

deliverables 0.56 0.68 0.72 0.77 0.64 0.43

Amount of deliverables

⇔ Effort 0.67 0.81 0.80 0.79 0.65 0.42

FP ⇔ Effort

0.76 0.79 0.84 0.81 0.76 0.73

＜条件（Conditions）＞ ◇ 新規開発（New Development） ◇ FP計測手法（FP Count Approach）： IFPUG, SPR or NESMA ◇ FP規模（FP Size） > 0 ◇ 成果物量（Amount of deliverables）＞0 ◇ 開発工数（Work Effort） > 0 ◇対数化したデータで相関係数（R）を求める。 Calculate coefficient of correlation from data after logarithmic transformation.

次ページ以降に、詳細設計および結合テストにおける相関を表す散布図等を示す。（他の工程の散布図等は割愛する。）

３．各工程における規模、成果物量および工数の相関（つづき） The correlation among functional size, amount of deliverables



21

＜工程：詳細設計 Detail Design Phase＞

0.0

0.5

1.0

1.5

2.0

2.5

3.0

3.5

4.0

Pages /FPFP当りの詳細設計書ページ数

Detail Design Document Pages /FP



1

10

100

1000

10000

100000

1000000

1 10 100 1000 10000 100000

詳細設計書

ページ数

No.of Pages

機能量（FP size)

FPと詳細設計書ページ数との関係

FP ⇔Number of Pages of Detail Design doc.（logarithmic）

N=93R=0.72


22

＜工程：詳細設計 Detail Design Phase＞

1

10

100

1000

10000

1 100 10000 1000000

詳細設計書ページ数Number of Pages of Detail Design

詳細設計書ページ数と詳細設計工数との関係

Number of Pages ⇔ Effort (Detail Design)（logarithmic）

N=93R=0.80

詳細設計工数Effort(man-hour)

0

1

2

3

4

5

6

7

8

詳細設計書ページ当りの詳細設計工数Effort /Page (Detail Design)

人時/ページMan-Hour/Page




23

＜工程：結合テスト Integration Test Phase＞

1

10

100

1000

10000

100000

1000000

1 10 100 1000 10000 100000

結合テスト

ケース数No.of Test

Cases

機能量（FP Size）

FPと結合テストケース数との関係

FP ⇔ Number of Test Cases of Integration Test

（logarithmic）

N=192R=0.64

0

1

2

3

4

5

6

7

8

ケース/FPCases/FP

FP当りの結合テストケース数

Integration Test Cases/FP




24

＜工程：結合テスト Integration Test Phase＞

1

10

100

1000

10000

100000

1 100 10000 1000000

工数Effort

（man-hour）

結合テストケース数Number of Test Cases of Integration test

結合テストケース数と結合テスト工数との関係

Number of Test Cases ⇔ Effort (Integration Test)

（logarithmic）

N=192R=0.65

0

1

2

3

4

5

6

7

人時/ケースMan-Hour/Test Case

結合テストケース当りの結合テスト工数

Effort/Test Case (Integration Test)




25


開発規模（FP 規模）と各工程の成果物量との間、および各工程の成果物量と各工程の工数との間には、強い（又は中程度の）正相関が見られることが分かった。

⇒ 自組織の各ドメインにおいて、開発規模、各工程の成果物量、各工程の工数との間の

相関を確認した上で、各工程の成果物量に着目した「見積りの妥当性評価」を行うことが有効と考えられる。

◇ Examine the following correlation in each organization.

・Correlation among functional size and amount of deliverables

in each phase.

・Correlation among amount of deliverables and efforts in each phase.

◇ Evaluate the validity of estimated efforts by taking the above

correlation into account.




26

おわりに（Closing Remarks）

ソフトウェア開発データ白書用に収集した現行プロジェクトデータを分析することによって、生産性および信頼性に関して新たに見られた傾向を紹介した。これらの傾向は、業種を始め様々なプロファイルのプロジェクトデータが混在した中でも見られる傾向であることから、各組織の同種のドメインにおいては、より強い傾向が見られることが期待される。

☆各組織において、定量的管理（定量データを活用したマネジメント）を推進しよう。

Let’s promote quantitative management based on own repository

in each organization.

☆各組織の定量的管理推進において、ソフトウェア開発データ白書の次の情報を、ご参考にして頂きたい。

◇収集データ項目 ◇メトリクス ◇分析方法 ◇分析結果（統計情報および知見） Please use the following information on the White Paper as reference.

◇Data Items ◇Metrics ◇Analyzing Methods

◇ Statistical Information and Knowledge

☆本講演で紹介した内容を含む、ソフトウェア開発データ白書2014-2015の補遺を、今年末にWebサイトに掲載する予定である。併せてご参考にして頂きたい。

The addendum of White Paper2014-2015 will be placed in the web site

at the end of this year. Please use it as reference, too.


saeki - new topics of ipa-sec white paper 2014-2015 on software development projects in japan

Business