ソフトウェア開発データ白書と...

81
SEC主催セミナー IPA 独立行政法人情報処理推進機構 SEC 技術本部 ソフトウェア・エンジニアリング・センター Information-technology Promotion Agency, Japan Software Engineering Center Software Engineering Center Copyright© 2013 Information-technology Promotion Agency, Japan. All rights reserved. ソフトウェア開発データ白書と 定量データの活用方法 専門委員 小椋 (東京)2013131

Upload: others

Post on 06-Jul-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー

IPA 独立行政法人情報処理推進機構

SEC 技術本部 ソフトウェア・エンジニアリング・センター

Information-technology Promotion Agency, Japan

Software Engineering Center

Software Engineering Center Copyright© 2013 Information-technology Promotion Agency, Japan. All rights reserved.

ソフトウェア開発データ白書と 定量データの活用方法

専門委員 小椋 隆

(東京)2013年1月31日

Page 2: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 1 Copyright © 2013 IPA, All Rights Reserved

本日の内容

1.定量的マネジメントの必要性

1-1.定量データの必要性

1-2.データ白書の見方

2.定量データの実践的活用方法と事例

2-1.活用その1(品質)

2-2.活用その2(工数・工期)

3.実践的活用をサポートするツール

Page 3: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 2 Copyright © 2013 IPA, All Rights Reserved

市場競争の激化

トラブルの多発

・低コスト、短納期開発 ・多機能化、高性能化

安全・安心の 確保要請が増大

・信頼のおけるマネジメント ・トラブル発生未然抑止

人海戦術的な手段による対処

不適切な見積、生産性の見誤り

システムへの 要求が増大

理 想

現 実

KKD(勘、経験、度胸)

ネットワークの普及

ビジネスモデルの転換

リスクの増大

IT産業を取り巻く環境の変化

期待・ニーズ

Page 4: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 3 Copyright © 2013 IPA, All Rights Reserved

ユーザ ベンダ

ユーザ・ベンダ間の合意形成

【事業計画】 ・事業目的 ・事業領域/規模 ・投資/回収 ・事業スケジュール

【プロジェクト計画】 ・開発目的 ・スコープ/規模 ・予算 ・開発スケジュール

要件

実現性

整合

「やりたいこと」と「できること」の整合が必要だが・・・

・共有しやすい見積り手法がない

・初期の仕様は固めにくく、早期契約時の適切な見積りが困難

・要件決定の遅れ、プロジェクト途中での仕様変更の発生 など

定量データに裏付けられたマネジメントが必要

Page 5: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 4 Copyright © 2013 IPA, All Rights Reserved

定量データの必要性

定量データが十分集まれば ・・・ こんな活用ができる

ユーザ

ベンダ

経営層

業務・情報システム部門 組織長・スタッフ

プロジェクト管理者

・IT投資、概略計画の妥当性、実現性の目安

・予算数値、根拠の制御 ・ベンダからの見積の比較と評価、強み/弱みの認識

・計画策定、目標値の制定、QCDの妥当性評価 ・予実差異の分析、完了評価、開発能力の評価

経営層

プロジェクトマネージャ プロジェクトリーダ

・自社の強み・弱み、生産性などの開発力の認識

・規模、工数、工期、品質の見積り、計画策定、制御 ・オフショア等、外部委託先評価

PMO 品質保証部門

・定量データベースの構築 ・自社プロジェクトのベンチマーキング、モニタリング

ユーザ、ベンダ間の合意形成

Page 6: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 5 Copyright © 2013 IPA, All Rights Reserved

定量データ使っていますか?

プロジェクトデータを

している

プロジェクトデータを

している

76% 53%

SECセミナーのアンケート結果

> 収 集 活 用

Page 7: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 6 Copyright © 2013 IPA, All Rights Reserved

収集した定量データ活用の期待とギャップ

期待感 (ひとつの例)

収集したプロジェクトデータについて、代表的な要素間には 相関関係がある。

2つの要素(2変量)の関係が回帰分析により定式化される。

例) ソフトウェア開発規模と工数のデータを収集すれば・・・

・規模と工数は相関関係があり、 工数=規模*係数+α という定式性があり、規模から工数という答えがでる。

現実とのギャップ

相関は低い

バラツキが大きく、偏りもある

プロジェクトの特性に合わない

⇒ そもそもデータを集めても無駄?

工数

規模

Page 8: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 7 Copyright © 2013 IPA, All Rights Reserved

組織的定量データ活用の重要性

組織成熟度の向上と定量データ活用 例) 組織的見積能力の成熟度 (SEC BOOKS「ソフトウェア開発見積りガイドブック」一部抜粋)

自らの直感に基づいて、見積を行っている状態。 (属人的で再現性がない) レベル1 その場限りの見積

過去に経験したデータまたは経験的知識を 収集・蓄積して、手順化し見積を行っている状態。 レベル2

再現性のある 見積の実施

組織的な見積手法を確立し、継続的に活用するための体制を整え、組織全体が統一された見積手法を活用し、改善している状態。

レベル3 組織的な見積手法の

確立と活用

見積能力を定量的に計測及び監視し、コントロールが可能な状態。また、差異分析などを通して、定期的に組織的な見積手法を改善している状態。

レベル4 見積能力の定量的制御

組織内のプロジェクトの見積結果の分析に基づき、組織に共通の強み・弱みを把握し改善目標を定着化し、定量的に改善を制御している状態。

レベル5 組織の共通原因分析と

改 善

Page 9: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 8 Copyright © 2013 IPA, All Rights Reserved

定量データの実践的活用方法について

SEC「ソフトウェア開発データ白書」を例とし、

・定量データの見方と活用方法

・ベンチマーキングの実践

について、開発の局面毎にポイントと事例を示す。

ベンチマーキング: ITプロジェクトの評価対象の特性を、相互に、あるいは ベンチマークと対比する活動 (ISO/IEC29155-1の定義を仮訳)

ベンチマーク: 特定のITプロジェクトの性能が、組織内外のITプロジェクトと比較して どのレベルに位置するかを評価するため、比較対象として利用する 組織内外の参照情報(基準値) (ISO/IEC29155-1の定義を仮訳)

Page 10: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 9 Copyright © 2013 IPA, All Rights Reserved

【参考】 ITプロジェクト性能ベンチマーキング(1)

ISO/IEC 29155-1

のベンチマーキングの

枠組みモデル

(SEC活動成果は、国際 標準化活動にも 取り込まれている)

Page 11: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 10 Copyright © 2013 IPA, All Rights Reserved

【参考】 ITプロジェクト性能ベンチマーキング(2)

【SECの取り組みとの関係】

① データの収集・蓄積 (データ管理による 機密保護やデータ 提供者との精査など)

② データ白書の出版、 大学との共同研究など

③ プロジェクト診断ツール、 データ活用ガイド発行

④ データ測定・提供、 支援ツールの提供

Page 12: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 11 Copyright © 2013 IPA, All Rights Reserved

【参考】 URL

経済産業省 ソフトウェアメトリクス高度化プロジェクト

ITプロジェクトの性能を客観的、共通的に分析、評価でき、他組織のデータやベンチマークと自組織の ITプロジェクトに係るデータの相互運用性を高めることを目的にした産学官連携活動の成果物。

<活動成果物のダウンロードURL>

1.定量的マネジメントのための公開データ利用ガイド(2009年度)

http://www.meti.go.jp/policy/it_policy/softseibi/metrics/process_metrics.pdf

2.定量的マネジメントのための公開データ利用ガイド付録(2009年度)

http://www.meti.go.jp/policy/it_policy/softseibi/metrics/process_metrics_appendix.pdf

3.発注者/受注者による公開データ利用方法一覧表・メトリクス関係図(2009年度)

http://www.meti.go.jp/policy/it_policy/softseibi/metrics/metrics.xls

4.ITプロジェクトのベンチマーク供給者のためのガイドライン(2010年度)

http://www.meti.go.jp/policy/it_policy/softseibi/metrics/20110324process_metrics2010.pdf

Page 13: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 12 Copyright © 2013 IPA, All Rights Reserved

データ収集からプロジェクトへのフィードバックの流れ

プロジェクト活動における定量データの活用

・プロジェクト活動

評 価

データ活用

コントロール

データ活用

計 画

データ活用

見積り

データ活用

内部ベンチ マーク

プロジェクト の測定値

精 査 分 析

・組織活動

収集

蓄積

データ 提供

ベンチマーキング リボジトリ リポジトリ管理

ベンチ マーク作成

外部ベンチ マーク

SECソフトウェア開発 データ白書 等

支援活動

道具立てを整える

・ツール ・手法 ・ガイド

プロジェクト活動から見た定量データの活用

Page 14: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 13 Copyright © 2013 IPA, All Rights Reserved

本日の内容

1.定量的マネジメントの必要性

1-1.定量データの必要性

1-2.データ白書の見方

2.定量データの実践的活用方法と事例

2-1.活用その1(品質)

2-2.活用その2(工数・工期)

3.実践的活用をサポートするツール

Page 15: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 14 Copyright © 2013 IPA, All Rights Reserved

SECの取組みとデータ白書の目的

定量的アプローチによる科学的マネジメントの普及拡大

・モノサシとしての精度を高めていく ・新たなモノサシや課題抽出の切り口を提案する

「ソフトウェア開発データ白書」として公開 (2010年度は27企業、3089プロジェクトのデータ)

メーカー系、ユーザ系、独立系の複数のベンダからデータを収集

2012年 09月発行

2012- 2013

1774

942

1418

2056

2005 2006 2008 2007

3089

2327

2009

2584

2010- 2011

Page 16: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 15 Copyright © 2013 IPA, All Rights Reserved

【参考】データ提供状況

データ提供企業一覧 (27社:50音順 2012年3月31日現在)

Page 17: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 16 Copyright © 2013 IPA, All Rights Reserved

データ白書2012-2013の構成

プロジェクトの特性 (プロファイル)

開発種別

アーキテクチャ 業 種

開発言語

開発ライフ サイクルモデル プラットフォーム

代表的な要素

生産性

信頼性

工 期

規 模 工 数

1章 背景と本書の目的

2章 収集データについて

3章 分析について

4章 収集データのプロファイル

5章 プロジェクトの 主要要素の統計

6章 工数、工期、規模の 関係の分析

7章 信頼性の分析

8章 工程別の分析

9章 生産性の分析

10章 予実分析等

付録A~G データ項目の定義や 収集データ年別プロファイル 等々

Page 18: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 17

収集データのプロファイル(1)

データ白書掲載のプロファイル一覧

掲載事項 内容、備考

1 開発プロジェクト の全般的な特徴

開発プロジェクトの種別、形態、作業概要、 新規顧客か、新規業種・業務か、新技術利用か

2 利用局面 業種、業務、利用形態

3 システム特性 システム種別、業務パッケージ利用、処理形態、 アーキテクチャ、開発対象プラットフォーム、 Web技術の利用、開発言語、DBMSの利用

4 開発の進め方 開発ライフサイクルモデル、類似プロジェクトの参照、 開発方法論の利用、開発フレームワークの利用、 ツールの利用

5 ユーザ要求管理 ユーザ要求と関与、要求レベル

6 要員などの 経験とスキル

PM経験とスキル、要員の経験

7 規模 規模の尺度の種別、FP計測手法、純度、FP実績値、 SLOC実績値

Copyright © 2013 IPA, All Rights Reserved

Page 19: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 18

収集データのプロファイル(2)

掲載事項 内容、備考

8 工期 プロジェクト全体の月数実績値、開発5工程の月数実績値

9 工数 プロジェクト全体、開発5工程の工数の実績値 (人時、人月)、工数の単位、人月-人時の換算係数

10 体制 外部委託工数比率、外部委託金額比率

11 信頼性 稼動後の不具合数(全体、現象数、原因数)、 品質保証の体制、品質基準、レビューの有無

12 実施工程の組み 合わせパターン

開発プロジェクトにおける実施工程の有無が同じものをグルーピングしたパターン

13 プロジェクト成否 計画の評価及び実績の評価は、QCDの三つの観点についての評価を段階的に表す。

計画の評価(QCD)、実績の評価(QCD)、 プロジェクト成否の自己評価、 顧客満足度に対するベンダ側の主観評価

Copyright © 2013 IPA, All Rights Reserved

Page 20: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 19 Copyright © 2013 IPA, All Rights Reserved

定量データの収集・分析のイメージ

データ収集から様々な分析を行い、フィードバックを行う。 (以下は一つの例)

(1)収集データの精査

(2)全データの分布分析

(3)主要要素の データの分布分析

(4)主要要素の関係分析

(5)層別の設定と分析

不良データの除外 データ提供側との確認、見直し

ばらつき、偏りをヒストグラムや 散布図より、自然な傾向を確認

規模、工期、工数、生産性、信頼性 の分布の明確化

代表的な要素について、要素相互の 関係を分析

データの干渉を廃し、極力独立性を 出す、または特徴を出すために層別を設定し、細分化した分析を実施

Page 21: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 20

データ収集のポイント

重点収集したデータについて

次に示す重点データ項目について、欠損が極力少ない プロジェクトを対象にデータ収集している。

項 目 詳 細

開発種別 新規開発、改修・保守、拡張

アーキテクチャ イントラネット/インターネット、2階層C/S、3階層C/S

業 種 金融・保険業、情報通信業、製造業、卸売・小売業、公務など

開発言語 Java、VB、C、COBOL、C++など

規模の指標 FP、SLOCのいずれかで計測されているもの

FP計測手法名が明確、SLOC言語名が明確なもの

プラットフォーム Windows系、Unix系

Copyright © 2013 IPA, All Rights Reserved

Page 22: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 21 Copyright © 2013 IPA, All Rights Reserved

データの分布状況の表わし方

・件数、分布の掲載対象と

その層別の方法

右図のように段階的に層別を

行いながら、FP規模、SLOC規模、

工期、工数、月あたりの要員数の

各データについて、件数、

ヒストグラムによる度数分布

及び基本統計量を示している。

新規開発改良開発

FP詳細値 新規開発

全開発種別新規開発改良開発

全開発種別新規開発改良開発

規模

新規開発改良開発

FP規模

SLOC規模

業種

アーキテクチャ

業務

業種

業務

全開発種別

業種

アーキテクチャ

業務

SLOC規模

全開発種別新規開発改良開発

業種

開発種別

FP規模

開発種別工期

月あたりの要員数

新規開発改良開発

新規開発改良開発

アーキテクチャ

工数

アーキテクチャ

業務

データ白書2012-2013

P71、図表5-1-1

Page 23: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 22 Copyright © 2013 IPA, All Rights Reserved

収集したプロジェクトデータの分布

プロジェクトの主要要素の分布例

項 目 分析結果事例(一部抜粋)

FP規模 1000FP以下のプロジェクトが7割弱(但し、3000FP超もある) 「改修・保守」の中央値が310FP、「新規開発」が736FP

SLOC規模 100KSLOC以下のプロジェクトが多く、さらにその内訳は 10KSLOC以下が多い。 「改良・保守」の中央値が32.2KSLOC、「新規開発」が70.0KSLOC

工 期 14ヶ月以下が9割弱を占めている 業種別において、「情報通信業」の工期がやや短い 「改修・保守」の中央値が5.2ヶ月、「新規開発」が7.1ヶ月

工 数 工数が5000人時(約31人月)以下が4割弱を占めている 「改修・保守」の中央値が5252人時(約33人月)、 「新規開発」が9593人時(約60人月)

月あたりの 要員数

2~4人が一番多く、10人以下が6割弱を占めている 「金融・保険業」の新規開発では、20人超が3割程度ある 「改修・保守」の中央値が6.6人、「新規開発」が8.2人

Page 24: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 23

基本統計量

基本統計量について 散布図や箱ひげ図など視覚的に傾向を捉える図表と共に、基本統計

量も認識することで、的確なデータ値を把握することができる。

基本統計量の表記

次に示すいずれかの形式で掲載している。

各項目は以下のように表記 「項目」:データ名称、 「N」:件数 「最小」:最小値、 「P25」:25 パーセンタイル 「中央」:中央値、 「P75」:75 パーセンタイル 「最大」:最大値、 「平均」:平均値、 「標準偏差」:標準偏差

項目 N 最小 P25 中央 P75 最大 平均 標準偏差

N 最小 P25 中央 P75 最大 平均 標準偏差

N 中央 平均 標準偏差

Copyright © 2013 IPA, All Rights Reserved

Page 25: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 24 Copyright © 2013 IPA, All Rights Reserved

基本統計量、プロファイルデータの見方と留意点 (収集したプロジェクトデータの分布)

2000FP以上の大きな値に 引きづられ、平均値が大きい。

非対象系の分布など考慮すると、 中央値の方が全体のプロファイルとして適切だと見て取れる。

【白書の表記と見方の留意点】

FP実績値の基本統計量

FP実績値の分布(ヒストグラム) FPによる規模では、 500FPまでのプロジェクトが 5割強を占める。

2000FP以上のプロジェクト も、一割強ある。

データ白書2012-2013

P49、図表4-8-4、5

平均値

中央値

[FP]N 最小 P25 中央 P75 最大 平均 標準偏差

1,270 5 210 475 1,074 34,720 1,031 1,944

Page 26: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 25 Copyright © 2013 IPA, All Rights Reserved

箱ひげ図(1)

データの分布を視覚的に捉えることができるグラフ

外境界点

外境界点

内境界点

内境界点

箱の高さ×1.5

外れ値を除いた 最大値

外れ値を除いた 最小値

中央値

上ヒンジ

下ヒンジ

箱の高さ×3.0

箱の高さ×1.5

箱の高さ×3.0

* 極値

外れ値

ひげ

箱の上端は、「上ヒンジ」と呼ばれ、上から 全体の25%に相当するデータの位置である。

箱の下端は、「下ヒンジ」と呼ばれ、下から 全体の25%に相当するデータの位置である。

上下50%の境目は「中央値」であり、 太線で表す。

箱の高さの3倍の位置を「外境界点」と呼び、 そこから外れた点を「極値」という。

箱の高さの1.5倍の位置を「内境界点」と呼び、 外境界点内で外れた点を「外れ値」という。

外れ値、極値の除いた点の最大値、最小値 までを「ひげ」として表現する。

Page 27: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 26

箱ひげ図(2)

箱ひげ図事例

例) FP規模あたりの検出バグ数(新規開発、IFPUGグループ)

幅は狭いほうが、ばらつきが小さい。

正規分布に近いデータの集団では、 上下のひげが同じ大きさで、 中央値が箱の真ん中にある。

Copyright © 2013 IPA, All Rights Reserved

データ白書2012-2013

P228、図表8-4-1

Page 28: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 27

回帰分析(1)

回帰分析の結果を散布図上で示す

データ白書ではプロジェクトの代表的な要素間の関係について、その多くは散布図により表わしている。

基本的には2つの要素間の関係を表わしている。

何らかの傾向があるか見ることができる。

2つの要素間に相関関係がないか見ることができる。

相関関係が見て取れる場合、2つの要素(2変量)の関係を

回帰分析により、定式化する。(近似式として表わす。)

定式化が可能な場合、信頼幅の線を表わす。

Copyright © 2013 IPA, All Rights Reserved

Page 29: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 28

回帰分析(2)

回帰分析結果の掲載基準

回帰分析結果について掲載するのは、下記図表に示す 3項目の目安をすべて満たす場合としている。 回帰式は、相関係数が高くデータの件数も十分ある。

2つのデータ項目間に強い関係が見出せると判断される。

回帰直線又は曲線を示す条件も同様。

傾向を単に視覚的に示す場合や説明の必要性から係数を用いるなどの ケースはこの限りではない。

回帰分析を使用した場合の評価の目安:

項目 判断の目安

1 データ数nの量 データ数は層別あたり、n≧30とする

2 相関の見方 |相関係数R|≧0.85 :強い関係

0.85>|相関係数R|≧0.70 :やや強い関係

|相関係数R|<0.70 :強い関係は認められないが要継続観察

3 相関の有意性 P値<0.05 とする(危険率5%で相関が有意と判断できる)

Copyright © 2013 IPA, All Rights Reserved

Page 30: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 29 Copyright © 2013 IPA, All Rights Reserved

【白書の表記と見方の留意点】

対数変換による分析

ソフトウェア開発プロジェクトのデータは正規分布していないこと が多い。(例えば規模の分布:規模の大きい方に裾野が長い分布)

・対数に変換するとほぼ正規分布と見なせることが多く、裾野を含めた 全体の状況が見やすい。

・「正規分布」であることを前提としている相関係数の有意性や回帰式の 予測値の信頼区間推定を求めることができる。

FP実績値(調整前) N=211

0

10

20

30

40

~100

~300

~500

~700

~900

~1100

~1300

~1500

~1700

~1900

~2100

~2300

2401~

FP実績値(調整前)

件数

Log (FP実績値(調整前)) N=211

0

5

10

15

20

25

30

35

40

45

1.11

1.32

1.52

1.72

1.93

2.13

2.33

2.54

2.74

2.94

3.15

3.35

3.55

3.76

3.96

次の級

Log (FP実績値(調整前))

件数

詳細は次の文献を参照のこと ※ 「プロジェクトデータ分析の指針と分析事例」:古山恒夫、SEC journal No3、 pp6~pp13、 2005

対数 スケール化

正規 分布

裾野の分布が分かり易い

Page 31: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 30 Copyright © 2013 IPA, All Rights Reserved

【白書の表記と見方の留意点】

対数変換後のデータともとのデータの見方

データを対数スケールに変換すると相関が明確になる場合がある。 ・散布図の表記において、必要に応じ対数スケール表示を取り入れている。

・元のスケールに戻すと有効範囲(誤差)は右上方向に開く。

・もとのデータに戻し、50%の信頼幅を示すと・・・ 規模や工数が大きくなるに伴い信頼幅が広がるため、規模と工数の 関係など、妥当性の検証時はそれを考慮して判断する必要がある。

FP規模と工数 (新規開発、IFPUGグループ) N=188

0

50,000

100,000

150,000

200,000

250,000

300,000

0 2,000 4,000 6,000 8,000 10,000 12,000 14,000 16,000

FP実績値(調整前)

実績

工数

(開発

5工

程)

[人時

]

y(50%)

y(-50%)

実績値

Copyright IPA SEC

FP規模と工数 (新規開発、IFPUGグループ) N=188

0

1

2

3

4

5

6

0 1 2 3 4 5

FP実績値(調整前)

実績

工数

(開発

5工

程)

[人時

]

log(y)(50%)

log(y)(-50%)

実績値

10 100 1,000 10,000 100,0001

1,000,000

100,000

10,000

1,000

100

10

1Copyright IPA SEC

50%信頼幅 もとのスケールに戻す 対数表示

Page 32: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 31 Copyright © 2013 IPA, All Rights Reserved

本日の内容

1.定量的マネジメントの必要性

1-1.定量データの必要性

1-2.データ白書の見方

2.定量データの実践的活用方法と事例

2-1.活用その1(品質)

2-2.活用その2(工数・工期)

3.実践的活用をサポートするツール

Page 33: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 32 Copyright © 2013 IPA, All Rights Reserved

ITシステムの障害の影響が深刻化し、高品質な情報システムが 求められている

「品質を高める」=品質を測定する物差しが必要

「品質が高い」=開発者から利用者への説明責任

定量的品質予測が必要

定量的品質予測のために どうやって品質を予測すればいいか

そのためには、何をどのように測定すればいいのか

SEC活動として 2006年~2008年、定量データ分析部会WGにて、参加企業・大学

が実際に取り組んでいる品質予測の手法を整理

2008年から2010年、上流工程に焦点をあてたプロセス (特に組織的準備)と定量的品質管理の阻害要因を整理

定量的品質管理のススメ

Page 34: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 33 Copyright © 2013 IPA, All Rights Reserved

定量的品質管理の考え方

品質の測定と予測の枠組み

(注)測定、対策はそれぞれの工程で実施される。

蓄積データ 人の作業

データの受渡し

作業の流れ

分析・ モデル化 モデル

【 プロジェクト 】 【 プロジェクト 】

《 プロジェクト生産活動 》

要件 定義

基本 設計

詳細 設計

製作 総合 テスト

結合 テスト

【 プロジェクト 】 データ

計画(P) 対策(A)

《 プロジェクトマネジメント活動 》

モデルの改善・見直し

単体 テスト

データ蓄積

測定(D) 分析・予測(C)

どのようなプロセスで

Page 35: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 34 Copyright © 2013 IPA, All Rights Reserved

測定単位(例)

測定単位を小さくして品質データ(欠陥数など)を測定することにより、 詳細な品質管理・分析が可能

その測定値を集計することにより当該工程の品質管理・分析が可能

工 程 基本設計 詳細設計 製 作 単体テスト 結合テスト 総合テスト

システム・サブシステム

◎ ◎

◎ ◎ ◎ ◎

● ◎ ◎ ◎ ◎ ◎

● ◎ ◎ ● ●● ●

分解粒度

測定単位の

業務機能

プログラム 数100L~1KL   -

想定規模

100KL~1ML

20KL~50KL

数KL~10KL

●:その工程完了時に最小の測定単位、◎:その工程で主に着目する測定単位

測定単位

どれくらいの粒度で

測定単位について

Page 36: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 35 Copyright © 2013 IPA, All Rights Reserved

対象工程 測 定 量 単 位 測 定 方 法

全工程 規模 FP、LOC Function Point (FP) では測定方法 、LOCは測定ルールを明確にする

作業工数 人時

設計工程 レビュー回数 回数

レビュー時間 人時 Σ 各レビューアのレビュー実施時間

レビュー対象規模 ページ数 レビュー対象ドキュメント量(A4換算ページ数)

レビュー指摘件数 件数 レビュー記録票の指摘事項数

テスト工程 欠陥数 件数 障害連絡票の欠陥数

テスト項目数 項目数 テスト仕様書の項目数

基 本 測 定 量

導 出 測 定 量

対象工程 測 定 量 単 位 算 出 方 法

設計工程 レビュー指摘密度 件数÷FP,LOC

件数÷ページ数

レビュー指摘件数÷規模

レビュー指摘件数÷レビュー対象規模

レビュー工数密度 人時÷FP,LOC

人時÷ページ数

レビュー時間÷規模

レビュー時間÷レビュー対象規模

レビュー指摘効率 件数÷人時 レビュー指摘件数÷レビュー工数

テスト工程 欠陥密度 件数÷FP,LOC 欠陥数÷規模

テスト密度 項目数÷FP,LOC テスト項目÷規模

品質改善の立案には、属性情報も必要

代表的な基本測定量と導出測定量

何を

Page 37: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 36 Copyright © 2013 IPA, All Rights Reserved

分析名称 (モデル名)

概 要

管理図分析 (閾値モデル)

データの分布がUCLとLCLに対してどの位置にプロットされるかを見て、データが正常値であるか外れ値であるかを判断する分析方法

ゾーン分析 (ゾーンモデル)

与えられた分析のテーマを、ある特徴に着目した視点によってゾーンに分割し、各ゾーン毎に分析を行う

曲線近似分析 (回帰モデル)

二つのデータ列の関係を回帰式と呼ぶ近似曲線で代替することで分析を行う

トレンド分析 (トレンドモデル)

過去のプロジェクトの実績データの時間的なパターンと、現在のプロジェクトの実績データのトレンドを比較し、過去のプロジェクトの最終品質と同等な結果となるかを予測する分析である

チェックリスト分析 (チェックリスト)

チェックリストは、与えられたテーマに対してチェックする項目をリストにしたもの

UCL

LCL

品質不良と予測

レビュー指摘密度

ゾーン4ゾーン3ゾーン9

ゾーン2ゾーン1ゾーン7

ゾーン6ゾーン5ゾーン8

尺 度

単体テスト 結合テスト 総合テスト

検出欠陥密度

UCL

CL

LCL

Xプロジェクト

Yプロジェクト

要求分析のレビュー指摘チェックリスト

大分類 小分類 レビュー指摘事項 評価 重み ポイント 備考

全体 網羅性 記載内容の範囲についての記述があり、明確か ○ A 1.2

要求の網羅性について記載があるか ○ B 1.0

要求に漏れがないかの確認をしているか × A 0.0

整合性 内容に矛盾がないか ○ A 1.2

要求の粒度は揃っているか × B 0.0

了解性 主語が明確であるか ○ C 0.8

事実と推測が分離しているか ○ B 1.0

数値表現できるところは数値で表現しているか ○ A 1.2

※ 評価(○:1、×:0)、重み(A:1.2、B:1.0、C:0.8) 6.4

近似曲線 二つの要因を回帰式で分析

① ここの値から

ゾーン分析

どうみるか

管理図分析

曲線近似分析

トレンド分析

チェックリスト分析

分析について(分析モデル一覧)

詳細については、SEC BOOKの「品質予測のススメ」及びその続編を参照

Page 38: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 37 Copyright © 2013 IPA, All Rights Reserved

データ白書における「工程別の分析」について 開発5工程全体ではなく、工程別に工数と工期、レビューおよび

テストケースとバグ密度の分析結果を示している。 8.1 工程別の工期、工数

・工期や工数の工程別比率に関する分析

8.2 レビュー指摘件数 ・基本設計、製作工程のレビュー指摘件数に関する分析

8.3 レビュー実績工数 ・設計工程のレビュー実績工数、各工程のレビュー実績工数比率に関する分析

8.4 テスト工程別のテストケースと検出バグ数 ・結合テスト、総合テスト(ベンダ確認)の2工程を対象に 「規模当りと工数当りのテストケース数」、 「検出バグ数(現象数)、(原因数)」を分析

8.5 工程別のFP生産性 ・様々な層別による工程別の生産性に関する分析

8.6 工程別のSLOC生産性 ・様々な層別による工程別の生産性に関する分析

ソフトウェア開発データ白書の工程別分析

品質関連

Page 39: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 38 Copyright © 2013 IPA, All Rights Reserved

レビュー指摘件数(1)

「レビュー指摘件数」について

設計工程及び制作工程のレビュー指摘件数に関する分析結果を示している。

レビュー指摘件数に対する密度として、以下の3つの観点により 分析結果を基本統計量として示している。

規模当り(FP規模当り、SLOC規模当り)の件数

工数当りの件数

ページ当りの件数

例) ページあたりの基本設計レビュー指摘件数の基本統計量

データ白書2012-2013

P223、図表8-2-5

[件/ページ]

N 最小 P25 中央 P75 最大 平均 標準偏差

169 0.000 0.106 0.269 0.507 2.885 0.426 0.513

Page 40: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 39 Copyright © 2013 IPA, All Rights Reserved

レビュー指摘件数(2)

「レビュー指摘件数」のデータの活用(1) ソフトウェアの品質を把握する際、また品質目標を策定する際、

その一つの考え方に閾値モデル(管理図分析)がある。

ある尺度の閾値によって、例えば管理図分析においては、 データの分布がUCLとLCLに対して、どの位置にあるかで、データ が正常値であるか外れ値であるかを判定する考え方である。

UCL(上部管理限界線 Upper Control Limit)

LCL(下部管理限界線 Lower Control Limit)

例) 要求分析・設計における品質予測の事例(閾値モデル)

UCL

LCL

レビュー 指摘密度

要注意!

Page 41: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 40 Copyright © 2013 IPA, All Rights Reserved

レビュー指摘件数(3)

「レビュー指摘件数」のデータの活用(2)

UCLやLCLには、品質データが正規分布する際には、標準偏差の何倍かを目安に策定する考え方がある。

しかし、ソフトウェア開発のデータ、例えばレビュー指摘件数の データは正規分布しないこともある。

その場合、基本統計量で示している四分位点のような、外れ値 に引きずられにくい統計量を参照するのも一考である。

留意点:

ただし、P25とP75では、あくまでもその箱の中には50%の データのみが入るような値なので、品質指標としてUCLやLCL に直接設定することは早計である。

データ白書では分布や特徴を見る一つの統計量として明示して いるものではあるので、その点を考慮して参照する必要がある。

Page 42: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 41 Copyright © 2013 IPA, All Rights Reserved

レビュー実績工数(1)

「レビュー実績工数」について

データ白書では、基本設計、詳細設計工程について、ページ あたりの対象工程におけるレビュー実績工数を、基本統計量 として示している。

また、基本設計、詳細設計、制作の3工程について、それぞれ 該当する工数に対するレビュー実績工数を、レビュー実績工数 比率として示している。

プロジェクトのレビューの妥当性確認や、ドキュメントページ数 からのレビュー工数の予測、工程内工数からのレビュー工数 の予測などに利用することが考えられる。

Page 43: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 42 Copyright © 2013 IPA, All Rights Reserved

レビュー実績工数(2)

「レビュー実績工数」のデータの見方 設計工程のレビュー実績工数と、工程別レビュー実績工数比率の

基本統計量を以下に示す。

ページあたりの基本設計レビュー実績工数の基本統計量(新規開発)

工程別レビュー実績工数比率の基本統計量

データ白書2012-2013

P225、図表8-3-1

データ白書2012-2013

P227、図表8-3-6

[人時/ページ]N 最小 P25 中央 P75 最大 平均 標準偏差

62 0.018 0.067 0.156 0.621 120.267 8.964 25.693

[比率]

レビュー実績工数比率 N 最小 P25 中央 P75 最大 平均 標準偏差

基本設計 303 0.002 0.026 0.061 0.125 0.667 0.095 0.103

詳細設計 277 0.002 0.029 0.062 0.111 0.450 0.093 0.097

製作 210 0.000 0.014 0.028 0.062 0.825 0.060 0.105

Page 44: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 43 Copyright © 2013 IPA, All Rights Reserved

レビュー実績工数(3)

「レビュー実績工数」のデータの活用

ゾーン分析での活用例:

レビュー量とレビュー指摘の適切性の評価 レビュー工数密度とレビュー指摘密度の双方を合わせた視点 から品質を分析し、傾向性を読み取る。

ゾーン分析の目標範囲(目標の上限と下限)の参考 基本統計量の分析結果を参考にする。ただし、P25、P75を 直接指定するのではなく、策定の際の参考情報とする。

レビュー指摘密度 (件/ページ)

レビュー工数密度 (人時/ページ)

上限

下限

下限 上限

例) ページあたりの基本設計 レビュー実績工数の 基本統計量を参考に 策定する。

P25 P75

Page 45: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 44 Copyright © 2013 IPA, All Rights Reserved

「規模あたりのテストケースと検出バグ数」について

データ白書では以下について示している。 結合テスト及び総合テストにおける規模あたりのテストケース数

(テストケース密度)

規模あたりの検出バグ数(検出バグ密度)

テストケース数や検出バグ数の予測の目安に。 基本統計量にある中央値の利用

P25、P75を上下限値として、妥当性確認に利用

テストケース密度と検出バグ密度を利用した、ゾーン分析に による品質管理のヒントに。

規模あたりのテストケース数と検出バグ数(1)

Page 46: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 45 Copyright © 2013 IPA, All Rights Reserved

規模あたりのテストケース数と検出バグ数(2)

「規模あたりのテストケースと検出バグ数」のデータの見方

結合テストと総合テストのデータの見方: 結合テストと総合テストを横並びにすることで、双方の関係

として、傾向を見ることができる。

結合テストケース数は総合テストケース数の約4倍弱と見える。

FP 規模あたりのテストケース数 (全開発種別)箱ひげ図

FP 規模あたりの検出バグ数 (全開発種別)箱ひげ図

データ白書2012-2013

P229、図表8-4-2

データ白書2012-2013

P228、図表8-4-1

Page 47: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 46 Copyright © 2013 IPA, All Rights Reserved

[件/KFP]N 最小 P25 中央 P75 最大 平均 標準偏差

結合テスト(テストケース) 92 16.8 673.8 1,873.0 2,934.2 54,476.6 2,944.1 6,197.2

総合テスト(テストケース) 85 11.1 192.8 423.7 1,132.6 12,069.9 1,042.2 1,684.4

結合テスト検出バグ(現象) 81 0.0 48.2 121.0 214.8 3,417.3 198.0 391.7

総合テスト検出バグ(現象) 74 0.0 4.4 22.3 41.9 884.3 51.8 114.4

結合テスト検出バグ(原因) 84 4.3 35.8 79.7 200.1 741.3 140.1 145.6

総合テスト検出バグ(原因) 81 0.0 7.3 19.6 52.4 390.6 51.7 81.4

「規模あたりのテストケースと検出バグ数」のデータの活用

ゾーン分析によるプロダクト品質予測の活用例 結合テストケース密度の上下限値と、結合テストバグ密度の上下限値

について、基本統計量のP25とP75を参考に策定。

⑧ ⑤ ⑥

⑦ ① ②

⑨ ③ ④

バグ密度 (件数/KFP)

テスト密度 (ケース数/KFP)

上限

下限

下限 上限

テスト工程別 FP 規模あたりのテストケース数、検出バグ数の基本統計量(新規開発、IFPUG グループ)

データ白書2012-2013

P231、図表8-4-8

直接設定するのではなく、 あくまでも上下限値の 策定時に参考と している例。

規模あたりのテストケース数と検出バグ数(3)

Page 48: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 47 Copyright © 2013 IPA, All Rights Reserved

本日の内容

1.定量的マネジメントの必要性

1-1.定量データの必要性

1-2.データ白書の見方

2.定量データの実践的活用方法と事例

2-1.活用その1(品質)

2-2.活用その2(工数・工期)

3.実践的活用をサポートするツール

Page 49: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 48 Copyright © 2013 IPA, All Rights Reserved

ソフトウェア開発ライフサイクルから見た活用事例

局面別の定量データ活用ポイントと事例

ソフトウェア開発ライフサイクルを通し、様々な局面について、

定量データの活用ポイントや事例を示す。

基本設計 詳細設計 製作 結合テスト 総合テス

定量的プロジェクト管理・マネジメント 見積り 評価 プロジェクト

計画

①:見積り

②:計画

③:コントロール

④:評価

Page 50: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 49 Copyright © 2013 IPA, All Rights Reserved

①見積り:規模、工数、工期のデータ活用

データ活用のねらい

プロジェクトの規模と工数や、工数と工期との間に定式性や 特性を見出し、適正な工数や工期の範囲を目安にできる ようにする。

工数

規模 下限50%

上限50%

妥当性 の目安

工期 (月数)

工数

下限95%

上限95%

工期短縮 限界

①50%の信頼幅の上下限内に 入っていれば妥当性が高い。 入っていなければ、差異理由 を明確にし、見積りの見直しに 繋げる。

②工数・工期短縮の要求に対し、 それが対応可能かどうか、 信頼幅95%の下限値を 限界の目安とする。

Page 51: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 50 Copyright © 2013 IPA, All Rights Reserved

①見積り:「規模と工数」のデータの見方

データの関係性

新規開発、IFPUGグループ

FP規模と工数には正の「相関」が認められる。 例) 新規開発、IFPUGグループ

工数 = A × (FP規模)**B B=1.14 (Aは係数)

(B = 1.14 の場合、FP規模が2倍になると、工数は約2.20倍になる。)

1

10

100

1,000

10,000

100,000

1,000,000

10,000,000

1 10 100 1,000 10,000 100,000

FP実績値(調整前)[FP]

実績

工数

(開発

5工

程)

[人時

]

Copyright IPA SEC

N=347

0

50,000

100,000

150,000

200,000

250,000

300,000

0 2,000 4,000 6,000 8,000 10,000 12,000 14,000 16,000

FP実績値(調整前)[FP]

実績

工数

(開発

5工

程)

[人時

]

y(50%)

y(-50%)

Copyright IPA SEC

N=347

データ白書2012-2013

P138、図表6-4-11

データ白書2012-2013

P137、図表6-4-9

FP規模と工数 (新規開発、IFPUGグループ) 信頼幅50%付き FP規模と工数 (新規開発、IFPUGグループ) 対数表示

Page 52: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 51 Copyright © 2013 IPA, All Rights Reserved

規模と工数のデータの使い方

例)新規開発、IFPUGグループ ・4,000FPの規模の工数を

50%の信頼幅から読み取る。

・約30,000人時から100,000人時

(約185人月~625人月)の範囲。

これを、妥当性の目安とする。

留意点

規模が大きくなると規模の増加率以上に工数が増大する。

一般的に規模が大きくなると関係者も多くなり、間接的な工数が 増加する。

0

50,000

100,000

150,000

200,000

250,000

300,000

0 2,000 4,000 6,000 8,000 10,000 12,000 14,000 16,000

FP実績値(調整前)[FP]実

績工

数(開

発5工

程)

[人時

]

y(50%)

y(-50%)

Copyright IPA SEC

N=347

①見積り:工数の見積り(事例)

30,000

FP規模と工数 (新規開発、IFPUGグループ) 信頼幅50%付き

データ白書2012-2013

P137、図表6-4-9

Page 53: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 52 Copyright © 2013 IPA, All Rights Reserved

データの関係性

新規開発(開発5工程)

工期(月数)は工数の

3乗根に概ね比例。

例) 工期 = A × (工数)* * 0.32 (Aは係数)

信頼幅95%の下限値より下にはプロジェクトがほとんどない。

⇒ 工数に対する工期の実現可能性を考える目安

0

5

10

15

20

25

30

35

0 50,000 100,000 150,000 200,000 250,000 300,000

実績工数(開発5工程) [人時]

実績

月数

(開発

5工

程)

[月]

y(50%) y(-50%)

y(95%) y(-95%)

Copyright IPA SEC

N=672

①見積り:「工数と工期」のデータの見方

開発5 工程の工数と工期(新規開発)信頼幅50%、95%付き

データ白書2012-2013

P127、図表6-3-2

Page 54: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 53 Copyright © 2013 IPA, All Rights Reserved

工数と工期のデータの使い方

例)新規開発、開発5工程 ・工数が約60,000人時

(約375人月)の場合、

工期(月数)の中央値は

12~13ヶ月

・信頼幅95%の下限値の

工期(月数)を見てみると

約5ヶ月

留意点

工期短縮には限界がある。

12ヶ月から工期短縮を目指しても、5ヶ月以下にするのは難しい。

また、50%の下限値は約9ヶ月であり、目標の目安の一つ。

0

5

10

15

20

25

30

35

0 50,000 100,000 150,000 200,000 250,000 300,000

実績工数(開発5工程) [人時]

実績

月数

(開発

5工

程)

[月]

y(50%) y(-50%)

y(95%) y(-95%)

Copyright IPA SEC

N=672

①見積り:工期の見積り(事例)

12~13

開発5工程の工数と工期 (新規開発) 信頼幅50%、95%付き

(60,000、5.0)

データ白書2012-2013

P127、図表6-3-2

Page 55: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 54 Copyright © 2013 IPA, All Rights Reserved

①見積り:改良開発のテスト見積り(参考)

改良開発の見積りにおけるテスト量について

ソフトウェア改良開発における見積りは、新規開発に比べて、

以下のように改良開発の特質を考慮したテスト量の見積りが

重要である。

既存の母体システムにおける品質面での考慮 (既存システムの品質が思わしくない場合、品質を確保する

作業が必要)

テスト巻き込み規模の把握 (変更の際に影響を受ける部分を表す規模)

ソフトウェア開発データ白書では、改良開発のプロジェクトを 対象にSLOC規模とテストケース数の関係を母体規模別に 示している。

Page 56: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 55 Copyright © 2013 IPA, All Rights Reserved

①見積り:改良開発のテスト見積り(参考)

母体規模別のSLOCとテストケース数 ・母体規模を大・中・小の3つに分け、

散布図の中で識別して示している。

大:200以上

中:50~200未満、

小:50未満 (単位 KSLOC)

・母体規模を含まない実効SLOC

実績値が100KSLOC以下で、 テストケース数の大きなプロジェクト

には母体規模が大きいものが多い。

留意点

実効値としての規模だけではなく、母体の規模も考慮し、テスト

ケース数や、生産性を加味した見積りや計画策定が必要。

データ白書2012-2013

P245、図表8-4-45

母体規模別SLOC 規模とテストケース数 (総合テスト(ベンダ確認))(改良開発)

Page 57: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 56 Copyright © 2013 IPA, All Rights Reserved

②計画:開発条件の検討(事例)

赤▲:当初案

緑▲:計画変更提案

規模と工数の軸反転 工数と工期

利用イメージ・事例 想定シーン:計画局面における開発条件の検討。

定量データの利用目的:システム開発における、規模、工数、工期 からの適切な計画案の策定。

見方・使い方:

Page 58: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 57 Copyright © 2013 IPA, All Rights Reserved

②計画:開発条件の検討(事例)

(1)図表から認識できること ・想定工数に対し工期が信頼幅線下位50%以下と相対的に短くリスクが高い。

・しかし規模は反転した信頼幅線の右50%の近傍で、相対的に工数は多め (低生産性)である。

(2)利用・想定事例 ケース1:発注側の要件として工期を優先する場合、開発規模を小さくする

ため機能を削減するか、または分割開発により工期をずらし、 機能毎の優先度と必要時期を協議する。

ケース2:発注側が工期に拘らない場合、コストを守ることを前提に、工期を 50%信頼幅の中央部近傍の12~14ヵ月を提案する。

ケース3:開発対象機能(規模)を優先する場合、工期を12~14ヵ月で提案 すると共に、工数を50%信頼幅の中央部近傍の80,000人時を 提案する。 (図中の緑▲位置)

Page 59: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 58

要員山積みの妥当性確認

各工程にどの位の工数と期間がかかるか、要員を何人程度投入

するか、工数比率と工期比率のデータから妥当性を確認する。

① 開発すべきシステムの構築に必要な総工数、全体工期を算出

② 工数比率によって、各工程に必要な工数を算出

③ 工期比率によって、各工程に必要な期間を算出

④ 上記②と③から、各工程に必要な要員数を算出

Copyright © 2013 IPA, All Rights Reserved

②計画:工数比率と工期比率のデータ活用

基本設計 詳細設計 製作 結合テスト 総合テスト

工数

工期

要員数

合計

① ③

Page 60: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 59 Copyright © 2013 IPA, All Rights Reserved

②計画:工数比率のデータの見方

データの関係性 比率が高い工程には「それだけ多くの作業工数がかかる」ということ。

プロジェクト全体の工数の35%弱を製作工程が占めている。

工数比率 ・・・各開発工程を実施するのに必要な作業工数の比率

要件定義工程も含めた工程別の 実績工数の比率の基本統計量 (新規開発)

[比率]工程 N 最小 P25 中央 P75 最大 平均 標準偏差

基本設計 593 0.001 0.100 0.153 0.211 0.589 0.166 0.092

詳細設計 593 0.015 0.118 0.169 0.222 0.533 0.175 0.079

製作 593 0.018 0.267 0.344 0.440 0.847 0.360 0.140

結合テスト 593 0.002 0.112 0.161 0.215 0.588 0.170 0.088

総合テスト(ベンダ確認) 593 0.000 0.064 0.118 0.175 0.564 0.130 0.087

データ白書2012-2013

P220、図表8-1-13

(新規開発)

[比率]工程 N 最小 P25 中央 P75 最大 平均 標準偏差

要件定義 322 0.001 0.046 0.081 0.129 0.672 0.098 0.079

開発5工程 322 0.328 0.871 0.919 0.954 0.999 0.902 0.079

データ白書2012-2013

P220、図表8-1-15

Page 61: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 60 Copyright © 2013 IPA, All Rights Reserved

データの関係性 比率が高い工程には「それだけ長い作業期間を要する」ということ。

プロジェクト期間全体の約30%(1/5~1/3)を製作工程が占める。

[比率]工程 N 最小 P25 中央 P75 最大 平均 標準偏差

要件定義 119 0.032 0.107 0.149 0.227 0.743 0.182 0.110

開発5工程 119 0.257 0.773 0.851 0.893 0.968 0.818 0.110

②計画:工期比率のデータの見方

工期比率 ・・・各開発工程を実施するのに必要な作業期間の比率

要件定義工程も含めた工程別の 実績月数の比率の基本統計量 (新規開発)

データ白書2012-2013

P216、図表8-1-5

[比率]工程 N 最小 P25 中央 P75 最大 平均 標準偏差

基本設計 188 0.016 0.150 0.215 0.282 0.533 0.222 0.103

詳細設計 188 0.026 0.133 0.187 0.243 0.645 0.194 0.088

製作 188 0.047 0.208 0.254 0.330 0.902 0.274 0.114

結合テスト 188 0.016 0.104 0.152 0.196 0.604 0.159 0.087

総合テスト(ベンダ確認) 188 0.014 0.083 0.133 0.192 0.765 0.151 0.103

(新規開発)

データ白書2012-2013

P216、図表8-1-3

Page 62: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 61 Copyright © 2013 IPA, All Rights Reserved

③コントロール:残作業見積りにおけるデータ活用

差異発生時の今後の見通し

予実差異を吸収して計画通りに完了させるため、

何らかの手を打つかどうかを判断し、適切に対応する必要がある。

明確になった情報、条件を利用し、さらに精度の高い

残作業の見積り(残りの工程、工期の予測)を行う。

再度測定した規模、これまでに掛かった期間、 消化した工数、実績からみた生産性などから、

今後の実現性を検証する。

Page 63: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 62 Copyright © 2013 IPA, All Rights Reserved

工数比率、工期比率からの現在以降の再見積りと評価 例) 基本設計工程が終わった段階で、後工程を見通す際の注意点

読み方: 基本設計工程は全工期の 概ね15-28%を占める。

中央値: 約21%

使い方: 基本設計工程にかかった工期から、 それ以降の工期は約2.6~5.6倍 かかると予測できる。

中央値で見ると: 約3.7倍

計画値で全工程7月のプロジェクトの場合: 基本設計1.5ヶ月の予定が2ヶ月かかった。 ⇒ 2週間遅れ、計画上残り5ヶ月。 基本設計以降の工期は(2*3.7=7.4)から、あと約7ヶ月半はかかる可能性。

※ 基本設計が2週間遅れただけと安易に考えていると、 実質2ヶ月半も遅れるリスクを見落とすことになる。

データ白書2012-2013

P215、図表8-1-1

工程別の工期比率の箱ひげ図

③コントロール:残作業の再見積りと評価(事例)

Page 64: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 63 Copyright © 2013 IPA, All Rights Reserved

緑▲:計画値

赤▲:実績値

赤+:実績自己の位置

④評価:プロジェクト完了時の評価(事例)

想定シーン:PMによるプロジェクト完了時のプロジェクト評価。

定量データの利用目的: 短期開発のため要注意プロジェクトと指定し重点監視したが、計画時 (100,000人時、12ヵ月)の予定が、実績(130,000人時、13ヵ月)となった。 結果から見て開発力が妥当な範囲か評価したい。

見方・使い方:

利用イメージ・事例

工期比率

Page 65: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 64 Copyright © 2013 IPA, All Rights Reserved

④評価:プロジェクト完了時の評価(事例)

(1)図表から認識できること

・工数と工期の信頼幅線下位50%を下回り、計画段階から工期が 厳しく挑戦的な工期であった。 実績も同様で、工数の割に工期が厳しく、短期での開発力、 管理力が備わっていることが分かる。

・工数が30%増加しているが、工期を守るためのトレードオフと推察 できる。

(2)利用・想定事例

ケース1:平均要員数60人規模のプロジェクトを短期で開発・管理 できる能力がある。 これを強みと捉え、実践した施策、手法をプロセスとして 文書化する。

ケース2:短工期に対応できる工程別工期比を自社の特徴と捉え、 新たなプロジェクトに際しても適用する。

Page 66: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 65

0

10

20

30

40

50

60

70

80

90

0 500,000 1,000,000 1,500,000 2,000,000 2,500,000 3,000,000 3,500,000 4,000,000

実効SLOC実績値[SLOC]

SLO

C生

産性

(SLO

C/開

発5工

程工

数)[

SLO

C/

人時

]

a:レベル6、レベル7

b:レベル5

c:レベル4

d:レベル3

Copyright IPA SEC

N=132

0.0

0.2

0.4

0.6

0.8

1.0

1.2

0 1,000 2,000 3,000 4,000 5,000 6,000 7,000 8,000 9,000 10,000 11,000 12,000 13,000

FP実績値(調整前)[FP]

FP

生産

性(F

P/開

発5工

程工

数)[

FP

/人

時]

a:レベル6、レベル7

b:レベル5

c:レベル4

d:レベル3

Copyright IPA SEC

N=159

Copyright © 2013 IPA, All Rights Reserved

データの関係性

規模と生産性をPMスキル別に層別して示している。

⇒ 規模の小さいプロジェクトは生産性のばらつきが大きく、 PMスキルの分布もばらついている。 規模の大きいプロジェクトは生産性が低い傾向と同時に、 PMスキルが高い傾向が見られる。

④評価:規模とPMスキルの関係に見る留意点

データ白書2012-2013

P302、図表9-1-35

データ白書2012-2013

P330、図表9-2-28

PMスキル別のFP規模とFP生産性(新規開発) PMスキル別のSLOC規模とSLOC生産性(新規開発)

Page 67: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 66

・実績工数は中央値で2.9%、超過傾向があり、

-3%~+24%で変動している。(P25~P75幅)

Copyright © 2013 IPA, All Rights Reserved

【参考】データ白書に見る予実差異

超過率 ={実績値 - 計画値}÷計画値

データ白書2012-2013

P352、図表10-1-13

データ白書2012-2013

P350、図表10-1-10

データ白書2012-2013

P350、図表10-1-8

工期の計画と実績の差の比率の分布

工数の計画と実績 工数の計画と実績の差の比率の分布

工期 中央値0%

工数 中央値3.3%

データ白書2012-2013

P347、図表10-1-4

FP規模の計画と実績の差の比率の分布

FP規模 中央値0.0%

Page 68: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 67 Copyright © 2013 IPA, All Rights Reserved

データ白書における生産性の分析について

生産性データの傾向を把握することで、見積りや計画の妥当性

の確認、実績の評価などに利用することができる。

データ白書では、生産性の傾向などを掴むため、以下の層別

による分析を行い、基本統計量を示している。

規模別、業種別、アーキテクチャ別、主開発言語別

プラットフォーム別、月あたり要員数、外部委託比率

信頼性要求の高さ

規模別・業種別、規模別・チーム規模別

業種別生産性と発生不具合密度

規模とPMスキル

【参考】生産性の分析について(1)

Page 69: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 68

「生産性の分析」のデータの見方① 規模と生産性の傾向

新規開発、IFPUGグループ:規模と生産性

データの関係性: 規模を1000FP未満と1000FP以上に層別すると、後者のグループの 生産性は前者より低い。小規模では生産性のばらつきが大きく、 大規模では生産性に上限があるように見える。

Copyright © 2013 IPA, All Rights Reserved

【参考】生産性の分析について(2)

データ白書2012-2013

P286、図表9-1-6

データ白書2012-2013

P287、図表9-1-7

FP規模別FP生産性

(新規開発、IFPUGグループ) 箱ひげ図 FP規模とFP生産性(新規開発、IFPUGグループ)

Page 70: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 69

「生産性の分析」のデータの見方② 月あたりの要員数と生産性の傾向

新規開発、IFPUGグループ:月あたりの要員数と生産性

データの関係性: 要員数が10人以上の場合、FP生産性は要員数10人未満に比べて かなり低い。(大人数の開発体制では、生産性に上限があるように見える)

Copyright © 2013 IPA, All Rights Reserved

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0 10 20 30 40 50 60 70 80 90 100 110 120 130 140

月あたりの要員数 [人]

FP

生産

性(F

P/開

発5工

程工

数)[

FP

/人

時]

Copyright IPA SEC

N=218

【参考】生産性の分析について(3)

データ白書2012-2013

P294、図表9-1-21

データ白書2012-2013

P295、図表9-1-22

月あたりの要員数とFP生産性(新規開発、IFPUGグループ) 月あたりの要員数別FP生産性 (新規開発、IFPUGグループ) 箱ひげ図

Page 71: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 70

「生産性の分析」のデータの見方③

Copyright © 2013 IPA, All Rights Reserved

【参考】生産性の分析について(4)

データ白書2012-2013

P314、図表9-1-60

要求レベル(信頼性)別 FP生産性箱ひげ図 (新規開発、 IFPUGグループ)

データ白書2012-2013

P300、図表9-1-31

要求レベル(信頼性)別 FP生産性箱ひげ図 (改良開発、 IFPUGグループ)

データ白書2012-2013

P328、図表9-2-24

データ白書2012-2013

P343、図表9-2-51

信頼性要求レベルが高い方が生産性は低い傾向がある

要求レベル(信頼性)別 SLOC生産性箱ひげ図 (改良開発、 主開発言語グループ)

要求レベル(信頼性)別 SLOC生産性箱ひげ図 (新規開発、 主開発言語グループ)

Page 72: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 71 Copyright © 2013 IPA, All Rights Reserved

本日の内容

1.定量的マネジメントの必要性

1-1.定量データの必要性

1-2.データ白書の見方

2.定量データの実践的活用方法と事例

2-1.活用その1(品質)

2-2.活用その2(工数・工期)

3.実践的活用をサポートするツール

Page 73: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 72 Copyright © 2013 IPA, All Rights Reserved

SECが提供する定量関連のコンテンツ・ツール群

定量データの投入

収集データの精査 定量データの送付

データ提供企業 IPA/SEC

データ収集サイクル

定量データの収集依頼

■収集ツール

文書化・編集

白書コンテンツ作成

機密室

機 密 室

SECデータ ■分析ツール データ登録

データ出力

開発5工程の工数と工期 (新規開発) N=185

0

5

10

15

20

25

30

35

40

45

50

0 50,000 100,000 150,000 200,000 250,000 300,000

実績工数(開発5工程) [人時]

実績

月数

(開発

5工程

) [月

]

y(95%)

y(50%)

y(-50%)

y(-95%)

実績値

Copyright IPA SEC

開発5工程の工数と工期 (新規開発) N=185

0

5

10

15

20

25

30

35

40

45

50

0 50,000 100,000 150,000 200,000 250,000 300,000

実績工数(開発5工程) [人時]

実績

月数

(開発

5工程

) [月

]

y(95%)

y(50%)

y(-50%)

y(-95%)

実績値

Copyright IPA SEC

開発5工程の工数と工期 (新規開発) N=185

0

5

10

15

20

25

30

35

40

45

50

0 50,000 100,000 150,000 200,000 250,000 300,000

実績工数(開発5工程) [人時]

実績

月数

(開発

5工程

) [月

]

y(95%)

y(50%)

y(-50%)

y(-95%)

実績値

Copyright IPA SEC

簡易分析 自社蓄積 データ

ベンチ マーク

品質管理 ノウハウ

■スタンドアロン型診断支援ツール

■プロジェクト 診断支援ツール (IPA/SECWebサイト)

開発5工程の工数と工期 (新規開発) N=185

0

5

10

15

20

25

30

35

40

45

50

0 50,000 100,000 150,000 200,000 250,000 300,000

実績工数(開発5工程) [人時]

実績

月数

(開発

5工

程)

[月]

y(95%)

y(50%)

y(-50%)

y(-95%)

実績値

Copyright IPA SEC

・データ白書のグラフと自社の データをWEB上で重ねて表示可能

ツール化

プロジェクト診断 (外部データとの対比)

■SECBOOKS

マネジメント ノウハウ

一般利用者(企業)

・白書の収集項目枠と代表的な 分析グラフを用意した EXCELのtool

プロジェクト診断 (自社デ―タ)

■定量的プロジェクト管理ツール

ソース規模、WBS,工数等

収集

ソース管理、障害管理、 工数管理

自社蓄積 データ

0

500

1000

1500

2000

2500

3000

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

ソー

ス規

模(行

数)

ソースコード規模推移

モジュールA モジュールB モジュールC

モジュールD 全体規模 想定到達規模

規模計画値 4W平均生産性(右目盛)

計画値

開発終了

遅れ予測

プロジェクト管理 (自社デ―タ)

■利用目的別 メトリクス一覧表

メトリクス 情報収集

SECコンテンツ

SECツール の活用 (今回の説明)

Page 74: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 73 Copyright © 2013 IPA, All Rights Reserved

プロジェクト診断支援ツール(Web)

SECのWebサイト上で

「ソフトウェア開発データ白書」のデータに対して

ベンチマーキングが可能

2007年12月25日より無償公開,稼働中!

データ白書に掲載されている様々な図表が参照可能

入力したデータはサーバ等には一切残らない (ログオフ時にすべて破棄されます。)

Page 75: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 74 Copyright © 2013 IPA, All Rights Reserved

プロジェクト診断支援ツール(Web)

プロット可能図表一覧 利用者が登録したデータが、どの図表にプロットできるのかを一覧で表示する。

信頼幅%指定 信頼幅を引くことができる散布図の場合、その値を任意に指定することができる。

自社プロジェクトデータ属性表示

散布図にプロットされたデータの番号と名称がマウスオーバーで表示される。

人時/人月切替え 散布図および箱ひげ図の工数をどちらの単位で表示するか選択することができる。

機能 特徴

自社データのプロット1件または複数件のプロジェクトデータを入力し、統計図表上に自社データの位置をプロットすることができる。自社データのみの表示も可能。機密保全のため、入力したプロジェクトデータはログオフ時にすべて破棄され、サーバ等には一切残らない。

図表の拡大と縮小散布図を拡大、縮小する。プロットが局所に密集している場合、拡大によって、その部分の状況をより詳細に確認することができる。拡大する際の基点の指定も可能。

データ種別の選択 種別分類した散布図で、特定の種別だけに絞って描画することができる。

XY軸の反転 各社の評価軸に合わせて、散布図のXY軸を反転させることができる。

対数グラフの表示散布図に通常表示と対数表示がある場合、ボタンひとつで表示を切り替えることができる。通常表示では分かりづらい傾向が、両対数変換すると見えてくる可能性がある。

図表のコピー& 印刷 WORDやEXCEL等で作成した文書に統計図表を貼り込んだり、画面を印刷したりすることができる。

機能概要と特徴

Page 76: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 75 Copyright © 2013 IPA, All Rights Reserved

プロジェクト診断支援ツール(Web)

Page 77: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 76 Copyright © 2013 IPA, All Rights Reserved

スタンドアロン型プロジェクト診断支援ツール

デスクトップ上で

「自社のプロジェクト情報」を活用して

QCDの見える化を支援

2009年9月より無償ダウンロード (SECのWebサイト)

自社データを容易な画面入力で蓄積可能

データ白書と同じ分析図表が簡単に作成可能

プロジェクト診断支援ツール(Web)へアップロードし、 ベンチマーキングが可能

信頼幅を任意で指定、表示が可能 (2011/7/10版バージョンUP)

Page 78: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 77 Copyright © 2013 IPA, All Rights Reserved

スタンドアロン型ツールの機能と特徴

機能

データ入力(入力フォーム切替え)

図表作成

以下の図表を作成することができる。

1. 工数-工期 :散布図 2. 規模-工数(FP) :散布図 3. 規模-工数(SLOC) :散布図 4. 規模-生産性(FP) :散布図 5. 規模-生産性(SLOC) :散布図 6. 工数別月数比 :基本統計量 7. 工程別工数比 :基本統計量

 種別や業種など7項目で絞込みができる。

8. 規模-発生不具合数(FP) :散布図 9. 規模-発生不具合数(SLOC) :散布図10. 規模-発生不具合密度(FP) :散布図11. 規模-発生不具合密度(SLOC) :散布図12. レビュー指摘件数(FP) :基本統計量13. レビュー指摘件数(SLOC) :基本統計量14. レビュー指摘件数(工数) :基本統計量

データ精査

CSV出力

データ一括取込

データ一括出力

同一フォーマットの別ファイルのプロジェクトデータを一括して取り込む。

登録されているプロジェクトデータを、編集可能な状態で別ファイルに出力する。

特徴

簡易版(必須項目数:15)と全体版(必須項目数:41)の2種類のフォームで登録することができる。図表の作成は、簡易版による入力で問題ない。全体版を利用すれば、1つのプロジェクトデータで、最大約400項目まで登録可能。

Webツールにアップロード可能なCSV形式のファイルを出力する。

入力データの自動精査が可能で、管理データの精度を高めることができる。

信頼幅を任意で指定、表示が可能 (2011/7/10版バージョンUP)

Page 79: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 78 Copyright © 2013 IPA, All Rights Reserved

スタンドアロン型プロジェクト診断支援ツール

規模-工数(FP)

0

2000

4000

6000

8000

10000

0 200 400 600 800 1000 1200 1400 1600

FP実績値

実績

工数

[人

時]

y(95%)y(-95%)

Page 80: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 79 Copyright © 2013 IPA, All Rights Reserved

【参考】データ白書の見方・使い方について

「データ白書の見方と定量データ活用ポイント」のご紹介

・定量データの見方や活用方法

・事例を交えたポイント

第1部:データ白書の見方・使い方

第2部:定量データの活用ポイントと事例

スライド部

ノート部

タイトル ■○○○ (本スライド内の項目) ・・・ (説明や図表)

【メッセージ】 (本スライドで言いたい一言) 【説明・解説】 (スライドを用いた説明) 【アドバイス・留意点】 (説明時のアドバイス)

2011年3月31公開 (SECのWebサイトから無償ダウンロード可)

PowerPointファイル形式

Page 81: ソフトウェア開発データ白書と 定量データの活用方法「やりたいこと」と「できること」の整合が必要だが・・・ ・共有しやすい見積り手法がない

SEC主催セミナー (東京)2013年1月31日

SEC Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center 80 Copyright © 2013 IPA, All Rights Reserved

より良いソフトウェア開発と業界の発展のために

プロジェクトのデータ収集をしましょう!

定量データのご提供 随時募集中です!

ご清聴ありがとうございました

IPA(独立行政法人情報処理推進機構) http://www.ipa.go.jp/

SEC(技術本部 ソフトウェア・エンジニアリング・センター) http://sec.ipa.go.jp/

・データ白書はデータの宝庫ではあるが、

全ての答えがそこにある訳ではない

・見積や計画策定について、過去の事例を参考に、

まずは自分で行うことが重要

・自分の見積や計画の妥当性を確認するために、データ白書を紐解く

最後に