SPI活動と連携した定量的マネジメントの実践 - IPA...2017/02/28 · SPI担当者...

All Rights Reserved. Copyright © 2017. Tohoku Information Systems Co., Inc

SPI活動と連携した定量的マネジメントの実践

2017/02/28

東北インフォメーション・システムズ(株)

佐藤浩明

IPA SECセミナー組織のプロセス改善に向けたソフトウェア開発定量管理の勧め


会社概要 TOiNX(トインクス) 東北インフォメーション・システムズ株式会社情報システムの企画・コンサルティングから開発，運用，保守そして情報機器販売・リースに至

るまで，総合的な情報システムサービスを提供。従業員数：675名(平成28年7月1日現在) 本社所在地：宮城県仙台市 URL：http://www.toinx.co.jp/

所属：開発運用本部業務管理部 SPI (ソフトウェア・プロセス改善) 組織プロセス資産の整備品質保証活動開発PJへの適用支援各種研修講師など

PMO (プロジェクト・マネジメント・オフィス) 大規模PJの監視・点検・支援

データ解析 ITメトリクスに関するコンサルティング ITメトリクス解析サービス

自己紹介 2

http://www.toinx.co.jp/


1. はじめに

2. 定量的マネジメントとは

3. SPI活動の概要

4. データ解析の概要

5. 工数評価ツール

6. おわりに

目次 3


本セミナーの内容

当社のSPI活動とは？ CMMI®-DEV(※2)をベースに「組織プロセス資産の維持」，「第三者による品質保

証」，「プロセス適用支援」，「データ解析」を継続し，開発組織の成熟度レベル向上を目指す活動。

1. はじめに 4

定量的マネジメントの実践に向けた，当社の『SPI(※1)活動』の概要と教訓を紹介します。また，PJ初期段階における工数見積りの妥当性を，客観的に評価する『工数評価ツール』を解説します。

※1. ソフトウェア・プロセス改善(Software Process Improvement)の略称。※2. システム開発を行う組織が，プロセス改善を行うための世界標準ともいえるガイドライン。米国国防総省が米国カーネ

ギーメロン大学に設置したソフトウェア工学研究所(SEI)で考案された。2015年時点では，少なくとも日本を含む98ヶ国で利用されている。


2. 定量的マネジメントとは

5


2.1. システム開発プロジェクトの実態調査結果 6


2.2. 定量的マネジメントとQCDの関係 7


開発方法論やリスク管理で著名なトム・デマルコ氏や，経営学者のピーター・ドラッカー氏らが繰り返し唱えた言葉。

PJの今後の見通し(予測)を立て，現状を正確に監視・制御するためには，カンと経験だけではなく，定量的マネジメントの実践が必要。

言い換えれば・・・

2.3. 定量的マネジメントとは-1 8

測れないものはマネジメントできない

測れるものは管理・改善できる！！


CMMI®では，定量的マネジメントに関する2つのプロセスをLv4で定義。

高成熟度レベルでは，組織が提供するメトリクス(※1)から，自PJの特性を踏まえた基準値を設定。この基準と実績の乖離を監視・制御。

2.3. 定量的マネジメントとは-2 9

プロセス名称概要担当者(当社)

組織プロセス実績組織レベルでの「品質とパフォーマンスのベースラインと予測モデル」を確立する。

SPI担当者

定量的プロジェクト管理

PJごとの「品質とパフォーマンスの目標」を確立し，目標達成のために統計的技法を活用してPJを監視・制御する。

各開発PJ

【Lv1】場当たり的で無秩序

【Lv2】PJごとに基本的なプロジェクト管理を実施

【Lv3】組織で定義されたプロセスを実施

プロセスの予測・制御は統計的技法に基づかない

【Lv4】定量的に管理された状態

プロセスの実績は統計的技法で管理される

成熟度レベルの向上

※1. JIS X 0141：2004「ソフトウェア測定プロセス」では，基本測定量や，その計算方法を含む広い範囲をメトリクスと定義しているが，本資料においては，計測したデータを解析し，管理に利用できるように変換したものを指す。


【補足】CMMI®の5段階の成熟度レベル 10

Lv 段階概要

5 最適化している

・プロセスの実績や，その変動に関する定量的な把握に基づいて，プロセスや技術上の革新的な改善策を実施する状態。

・プロセス改善策の効果が測定され，定量的目標に照らして評価される。

4 定量的に管理された

・品質やプロセスの実績に対する定量的な目標が確立されている状態。

・組織とPJは，品質やプロセスの実績を定量的に収集し，その測定値を統計的に分析している状態。

3 定義された・「組織の標準プロセス」が存在し，PJはこのプロセスを自PJの特性に応じてテーラリングして利用。

・エンジニアリングに関するプロセスが定義されている。

・品質やプロセスの実績は，定性的に予測することができる状態。

2 管理された・PJは文書化された計画に基づき実施され，管理している状態。

・基本的なマネジメントは実施されているが，そのやり方はPJごとに大きく異なる場合がある。

1 初期・プロセスは場当たり的で秩序がない。

・成功もあるが，成功は特定人員の力量や活躍などに依存したもので，実績あるプロセスの使用によってもたらされた訳ではない。

通常，成熟度レベルをひとつ上げるためには，2年前後の期間を要するといわれています。


PPB(Process Performance Baseline)

開発組織の「実力値」や「基準値」を信頼できる幅で表すもの。

PowerPointの「メトリクス分析結果報告書」として公開。

PPM(Process Performance Model)

開発PJのさまざまな場面で利用する予測や妥当性評価のためのツール。

Excelの「予測モデル」として公開。

2.4. 定量的マネジメントのための2つのメトリクス 11

PPBとPPMについては「4. データ解析の概要」で実例を紹介します。

既知の情報(X)から未知の(Y)をシミュレーション例1：開発工数から最適な開発期間を予測例2：開発規模から最適なテストケース数を予測

※.当社では，基本的に幾何平均値±1σを利用。


計画内容の妥当性評価開発期間や工数見積りの一つの手法として活用。

PJ計画の客観的な妥当性評価に利用。

2.5. 定量的マネジメント実践のイメージ-1 12

今回の開発期間は「10ヶ月」と見積りました。

本当に大丈夫？？？若干短いような気もするのだけど・・・

過去の実績データから，約68%の確率で「11.5～13ヶ月」の範囲が妥当と予測します。作業の漏れや，依存関係に無理がないか再確認してください。

見積り担当者

PM


定量的品質管理の実践レビューやテストなど品質に関する基準値の設定。

基準値との比較による定量的な状況監視。


統合テストでは「200ケース」のテストを行います。

品質の確保は大丈夫？？？少ないような気もするのですが・・・

過去の実績データに基づくと，同規模の開発では「400～600」のテストケースを設定しています。前工程の検出欠陥数も基準値の上限付近だったので，テストケースを追加してください。

テスト担当者

PM


開発組織の実力値の把握生産性や品質を把握し，組織の強みと改善機会を定量的に特定。

特定した改善機会に対して具体的な目標値を設定。


TOiNXの生産性は同業他社と比較してどうなのかね。

感覚的にはそれほど低くないとは思いますが・・・

組織全体のFP生産性は「○○/人月」です。外部情報と比べ，やや高い状態です。ただし，A分門は「△△/人月」と若干低い状態ですので，今年度は「□□/人月」までの向上を目標とします。

お客さま，経営者

SPI担当者【注意】FP生産性では，開発PJの生産性を正確に把握できないことがあります。詳細は，ユニシス技報(2016年9月発刊Vol.36 No.2 通巻129号)の『ソフトウェア開発プロジェクトの生産性評価に関する事例(佐藤浩明)』を参照。


2.6. 定量的マネジメント実践の期待効果 15

【効果1】見積りの精度向上と

計画内容の妥当性評価

【効果2】定量的品質管理による

成果物品質の向上

【効果3】開発組織の実力値と

基準値の定量的な把握

PJ計画書の各計画項目に対する妥当性評価を，早期段階から客観的に実施。

• 開発期間や工数の予測・評価に利用するPPM・PPBを確立。

• 見積り時や，見積り結果の妥当性評価に活用。

• レビューやテストに関するPPM・PPBを確立。

• テストケースや欠陥数の設定と，工程途中・完了時の品質判断に活用。

上流から下流までの全工程に対する品質目標値の設定と状況監視が可能。上流工程から計画的に品質を作り込む。

• 生産性，品質，開発期間などに関するPPB・PPMを確立。

• 自組織の実力を定量的に把握。

外部ベンチマーキングで，自社の位置付けを把握し，改善機会を特定。

ex・工数期間率，工程別工数配分比・工数評価ツール

ex・テスト密度・管理図作成ツール

ex・工数生産性評価ツール


3. SPI活動の概要

16


当社は，お客さまのニーズに柔軟に対応し，高品質なシステムを提供するため，PJ活動を支援するシステム(各種ツール)の活用と，組織横断的な監視・点検・品質保証を継続。

PMO ：監視・点検(大規模PJ) 【特効薬】

SPI ：提言・支援(全PJ) 【漢方薬】

3.1. 開発プロジェクトの品質向上への取り組み 17

SPI活動

PMO活動支援システム(各種ツール)


3.2. SPI活動とデータ解析活動の経緯

2001年度 SW-CMM®に関する動向調査・SPI推進計画の策定。

2002年度SPI推進事務局の設置。第1回目の公式アプレイザル。Lv2とのギャップ分析。

2003年度

2010～2011年度

第2回目の公式アプレイザル。Lv2を達成。

2005年度第3回目の公式アプレイザル。Lv3とのギャップ分析。開発部門から独立したPMOの設置。

2007年度第4回目の公式アプレイザル。Lv2の更新。

2008年度第5回目の公式アプレイザル。Lv3を達成。

PJの立上げから完了までの，計画・実績を一元管理・可視化する「マネジメント支援システム(Co.守り)」を開発。

定量的マネジメントの実践を目指し「メトリクス分析支援ツール」を開発。(PJの実績データが，ある程度蓄積できたため)

2012～2016年度

メトリクス分析結果の公開を開始。以降，毎年，最新版を公開。併せて，各種の定量管理支援ツールを順次開発し提供。

2011年度第6回目の公式アプレイザル。Lv3の更新。(以降，内部アセスメントに切り替えて定期的に評定。)

18

定着を実感できたのは，SPI活動開始後10年以上。


3.3. SPI活動の全体概要 19

SPI推進委員(現場代表者)

1. 部内要望・意見集約・標準プロセスの変更・メトリクス拡張・研修要望・各種ツールの作成など

2. 提案・課題の検討3. 検討結果の部内への周知徹底

開発PJ(PM + 品質保証担当者)

1. プロジェクトマネジメント・PJ計画策定，監視・制御・要件・供給者合意管理など

2. エンジニアリング・要件定義～移行・品質管理

3. 支援・品質保証【プロセス評価(1次)】・構成管理・データ計測・登録など

検討結果，要望・意見の提示改善ニーズ

の提供

提案事項・検討課題の提示

品質保証を通じて，各PJに是正対応を提言

SPI推進会議

現場ニーズに応じた適用支援

SPI担当者

1. 品質保証(1) PJ憲章 or 適用除外申請の確認(2) テーラリング結果記述書の承認(3) 品質保証計画書の承認(4) プロセス評価(2次)

① 書面評価 or 立会い評価② 品質保証活動評価報告書の作成

(5) PJ完了報告書の承認など

2. 品質保証担当者スキル診断(認定試験)

3. 各種プロセス研修

4. 成熟度評定(内部アセスメント)

5. メトリクス解析・定量管理ツール開発

7. プロセス適用支援・問合せ対応

8. SPI推進会議(各種検討・情報共有)

6. 組織の標準プロセスの維持

9. メトリクス分析支援ツールの維持管理

SPI担当者PM 品質保証担当者(PJ)


3.4. 品質保証の流れ-1 20

PJ憲章

PJ登録

(各種一覧，情報共有環境作成)

テーラリング結果記述書

承認・却下

品質保証計画書

プロセス評価結果

プロセス評価(要件定義)

プロセス評価(2次)【立会い評価】※.初回は立会い

品質保証活動評価報告書

評価結果登録


プロセス評価(外部設計)

プロセス評価(2次)【書面評価】


要件定義詳細(外部)設計

Co.守り

PM

品質保証担当者(PJ)

SPI担当者

評評

非遵守課題への対応期間を考慮し，工程の8割時点で評価。

PJ概要や計画書の作成期限を明記

標準プロセスの選択や変更を定義


3.4. 品質保証の流れ-2 21

テーラリング結果記述書

承認・却下

品質保証計画書


プロセス評価(工程ごとに実施)

プロセス評価(2次)【書面】


評価結果登録

プログラム(内部)設計コーディング/統合テスト/

システムテスト

Co.守り

移行

実績データ，教訓の登録PJ完了報告の

同意依頼

同意・差戻し

評評評

メトリクス分析支援ツールに連携

評評

各工程の実績データ(工数，テストケース数，レビュー情報)は，該当工程の完了後(10営業日以内)にCo.守りへ登録。

PM


SPI担当者


プロセスの遵守状況を「プロセス評価シート」で確認。

該当PJの運営と作業成果物の客観的な見通しを関係者に提供。(品質確保・可視化のために必須の活動)

プロセス評価結果により，中小規模PJでもPMOの監視対象に。

3.5. プロセス評価とは-1 22

No 評価の視点評価レベル

1 作業成果物の有無

2 作業成果物内の該当記述の有無

3 作業成果物間の整合性

4 作業成果物と実際の活動の整合性

浅

深

【評価の視点】


SPI担当者

No プロセス名項目数時期

1 統合プロジェクト管理 5 毎回

2 プロジェクト計画策定 16 〃

3 プロジェクトの監視と制御 10 〃

4 供給者合意管理 3 〃

5 リスク管理 3 〃

6 要件管理 5 〃

7 品質管理 4 〃

8 要件定義 8 該当時

9 詳細設計 7 〃

No プロセス名項目数時期

10 プログラム設計 2 該当時

11 コーディング・単体テスト 2 〃

12 統合テスト 3 〃

13 システムテスト 3 〃

14 移行 2 〃

15 プロセスと成果物の品質保証 4 毎回

16 構成管理 6 〃

17 正式評価 3 〃

合計 86

SPI担当者は，年間で約150回のプロセス評価を行う。


2.プロジェクト計画策定プロセス(PP)

No. 評価項目評価結果関連作業成果物名/活動状況該当タスク

1

各工程に対する“作業概要・完了基準”が「プロジェクト計画書」に記載されていますか。

(各工程の名称と「マスター・スケジュール」の記載は整合している必要があります。) PP01

2

「WBS」には，エンジニアリングとプロジェクト管理に関する全てのタスクを網羅し，計画の

“工数・スケジュール・担当者”が定義されていますか。(直近のタスクは，“5人日程度”ま

で詳細化されている必要があります。)PP02

3

規模見積り(FP，SLOC，画面数など)から，工数見積りに変換した際の“根拠(方

法)・前提条件”が記録された文書がありますか。PP03

PP04

4

開発のために調達が必要な“設備・機器・ソフトウェア”と，その“必要数量”が「プロジェク

ト計画書」に記載されていますか。 PP05

5

プロジェクトで必要な教育の“実施内容・対象者”が「プロジェクト計画書」に記載されてお

り，かつ，該当する教育の“スケジュール・工数”が「WBS」に定義されていますか。 PP06

プロセス評価シートのイメージ

3.5. プロセス評価とは-2 23

設問はシンプル。○：評価項目を満たす。(実施前は)該当作業がWBSに定義(期間・工数・担当)。×：評価項目を満たさない。WBSにも定義していない。対象外：テーラリング結果記述書，または品質保証計画書で，対象外扱いが合意されている場合。

証跡の提出が必須。SPI担当者は，すべての証跡の内容・記述レベルを確認。


データ解析はSPI活動のサブセット(大前提)

プロセスの定着・安定化がない状態では，実績データがばらついて当たり前。

SPI活動の初期段階で，データ解析によって何ができるのか，どう役立つのかを現場と具体的に共有。

データ解析により把握した結果を，プロセス改善策として組み込むことが重要。

何のため，何を改善する，という明確な「きっかけ」なしでは，単なる数値遊び。きっかけは現場ニーズから。

実績データの精度・鮮度は組織横断的に確保

PJ完了報告の定量・定性データは宝の山。

SPI担当者が約300のデータをすべて確認。納得するまで何度でも差し戻す。(5回程度の差戻しは通常)

各PJに対する監視・点検・プロセス評価の情報をPMO/SPIで共有。不正データの混入を事前に防止。

PJ完了報告の提出遅延や登録上の留意事項は，SPI推進会議ですべて共有。

各工程の実績データの登録(鮮度)は，プロセス評価で監視。

未登録の場合は，非遵守課題として是正対応を提言。

3.6. 定量的マネジメントに向けたSPI活動の教訓-1 24

No. 評価項目評価結果関連作業成果物名/活動状況該当タスク

5

【全評価時必須】

各工程の実績データを集約し，Co.守りの「フェーズ別実績情報」に登録するタスクが

「WBS」に定義されていますか。(該当工程完了後“10営業日以内”までに登録できる

計画でなければなりません。)

【2回目以降必須】

前工程終了後，「プロジェクト完了報告書」の対象となる実績データをCo.守りの「フェー

ズ別実績情報」に登録しましたか。

(※.Co.守り対象外プロジェクトの確認方法についてはコメントを参照してください。)

IPM07


計測対象データの定義は初期段階で(当たり前だが，当社の反省事項)

計測データの定義は，SPI活動の初期段階から厳密に。

欠陥の重要度，テストケース数，画面・帳票数などは，意外なほど人(部門)それぞれ。

品質・工数・期間に影響を与える定性要因(質的変数)の収集も初期段階から。

データ解析を進めると，定量データだけでは壁にぶつかることが。

ダミー変数を用いた重回帰分析(※1)の適用を見据える。

3.6. 定量的マネジメントに向けたSPI活動の教訓-2 25

重要度統合テスト以降の欠陥の重要度の例

A アプリケーション全体のダウン，他システムへの影響が大きいなど。

B 主要(または複数の)機能の障害や処理速度の低下など。

C 限定的機能の障害や，メッセージ内容の誤り，操作性の問題など(限定的機能が利用不能だが，迂回策あり)。

D 表示内容の単純なスペルミスなど，動作には影響しない欠陥など。

1. 要件の状態や顧客との関係

1.1. 各要件は，どのような状態で顧客から提示されたか？

回答 N/A

1. 要件は極めて明確であった

2. 要件は明確であった

3. 特に問題はなかった

4. 曖昧さや不整合があった

5. 非常に曖昧で不整合も多い内容であった

6. テストや移行に関する特性

6.1. 【コンバージョンのみ】移植方法はどのような内容であったか。

回答 N/A

1. 移植は自動変換が可能で，修正・検証作業は発生しない

2. 移植は自動変換が可能だが，一部の修正・検証作業がある

3. 移植は自動変換が可能だが，大規模な修正・検証作業がある

4. 一部の移植作業は自動変換ができない。

5. ほとんどの移植作業が自動変換できない。

※1. 定性・質的なデータを0，1の2値で変換した説明変数にし，量的な目的変数を分析する手法。


4. データ解析の概要

26


ITメトリクスの解析は，統計学に加え，対象PJの特性・IT分野固有の技術的知見(FPや欠陥数の性質)も考慮。

4.1. データ解析の基本的な手順 27

1. 基本測定量の解析

2. 導出測定量の解析

3. 層別(※1)の検討

4. 層別後の解析(PPB・PPM)※.上記1～3を繰り返す

・カテゴリ変数の集約検討(言語，OS，顧客など)・ヒストグラムによる分布の確認(歪度・尖度)・変数変換の検討・データ補正の検討(ゼロ補正，経験ロジット)・真値・変数変換後の基本統計量(平均値・標準偏差など)・±3σを越える外れ値除外の検討

・全体散布図の確認・クロス集計・層別候補の検討(層別散布図の作成)

【PPB】・組織・PJ特性・年度推移の傾向分析(幾何平均と加重平均)

【PPM】・単回帰分析の実施・重回帰分析の実施(定性要因のダミー変数検討)・2次元的外れ値の除外検討(てこ比，残差外れ値)・回帰式の利用可否判断(データ数，回帰係数のp値，残差の正規性，自由度2重調整済み寄与率，相関行列など)

・予測区間の設定

データ解析のために「メトリクス分析支援ツール」を開発。複雑な処理を要する解析を手作業で行うことは極めて非効率。

※1. データを同じ共通点を持つグループに分類すること。層別することで，データの特徴がより明確になることがある。


Accessは大量データの基本統計処理を，分析結果の可視化はExcelで。

各種設定ファイルは，Excelで編集して取り込む。分析では，層別の検討を繰り返し試すなど，各種の設定変更に対する柔軟性が必要。

4.2. メトリクス分析支援ツールの全体概要 28

各種設定ファイル(MS Excel)

メトリクス定義ファイル

層別定義ファイル

期間定義ファイル

Co.守りのPJ実績データ(CSV)

分析結果(MS Excel)

区分(層別)集計(グラフ&表)

単回帰分析と散布図(外れ値など)

年度・四半期推移(グラフ&表)

期間推移・検定結果(グラフ&表)

フェーズ別配分率(箱ひげ図)

メトリクス分析支援ツール(MS Access)

1.実績データの取り込み2.各種設定ファイルの取り込み3.層別条件の指定と基本統計処理の実行4.基本統計処理結果の出力

重回帰分析(残差分析など)


基本・導出測定量の解析

4.3. ツールの主要機能・アウトプット-1 29

No 集計区分件数加重平均幾何平均標準偏差 -3σ 点 -2σ 点 -σ 点＋σ 点＋2σ 点＋3σ 点1 新規・再構築 65 0.267 0.255 3.301 0.007 0.023 0.077 0.843 2.784 9.1882 コンバージョン 70 0.142 0.143 2.766 0.007 0.019 0.052 0.397 1.098 3.0373 エンハンス 134 0.137 0.251 2.882 0.010 0.030 0.087 0.722 2.081 5.9964 メンテナンス 42 0.219 0.266 2.401 0.019 0.046 0.111 0.639 1.534 3.684

全体 311 0.189 0.224 2.943 0.009 0.026 0.076 0.658 1.937 5.700

区分集計・分布外れ値検出

対象メトリクスを任意の層別で分析。

算術・幾何・加重平均や標準偏差を算出。

基本・導出測定量の±3σを超える外れ値候補を検出・除外。

カテゴリ変数集約

言語，OS，顧客などのカテゴリ変数を任意の区分で集約するように設定。

データ数に応じて集約や分離を検討。

no c8x cnt c8 c8_1

1 ASP.Net 20 ASP.Net .Net系

2 VB.Net 24 VB.Net .Net系

3 C 24 C C系

4 C# 6 C# C系

5 C++ 2 C++ C系

6 PL/I 25 PL/I PL/I

7 VC++ 13 VC++ C系

ヒストグラム

基本・導出測定量の分布を可視化。

歪度・尖度を確認し，変数変換の必要性を検討。

ツール本体には，データを対数変換する機能を搭載。

ヒストグラム（真数）

【基本統計量】【ヒストグラム（真数）】選択変数 n0 【タイトル設定】

軸タイトル

真数 n0 設定有り

データ数 313平均 88.77014 【級設定】

標準偏差 129.2532 設定指定

幾何平均 51.63493 級の数 29中央値 48.36 級代表最小値 -26.89884615

ひずみ 4.073989 級代表最大値 891.1888462

とがり 19.22423 級間隔 32.78884615

最小 5.89最大 858.4 【その他】

自動起動なし

n0分布

反映新規作成

反映

0

20

40

60

80

100

120

-27 6

39

71

104

137

170

203

235

268

301

334

367

399

432

465

498

531

563

596

629

662

694

727

760

793

826

858

891

n0分布



層別の検討Y軸LN(n0)とX軸LN(n1)

0

2

4

6

8

10

3 8 13

N:254

全体散布図作成真値・対数変換後の散布図を作成可能。

2変量の関係を表す全体の散布図を作成。

データが幾つかの集落に分離している場合，層別を検討。

0

2

4

6

8

10

2 4 6 8 10 12

AIX:エンハンス・メンテナンスN:43

0

2

4

6

8

10

2 4 6 8 10 12

AIX:新規・再構築N:6

0

2

4

6

8

10

2 4 6 8 10 12

AIX:コンバージョンN:10

N:52 N:4 N:1

0

2

4

6

8

10

2 4 6 8 10 12

Windows:エンハンス・メンテナ

ンス

N:27

0

2

4

6

8

10

2 4 6 8 10 12

Windows:新規・再構築N:15

0

2

4

6

8

10

2 4 6 8 10 12

Windows:コンバージョンN:28

0

2

4

6

8

10

2 4 6 8 10 12

Solaris系:エンハンス・メンテナ

ンス

N:54

0

2

4

6

8

10

2 4 6 8 10 12

Solaris系:新規・再構築N:39

0

2

4

6

8

10

2 4 6 8 10 12

Solaris系:コンバージョンN:30

エンハンス・メンテナンス新規・再構築コンバージョン

AIX 43 6 10

ホスト系 52 4 1

Windows 27 15 28

Solaris系 54 39 30

クロス集計・層別散布図作成

任意の層別条件を指定することで，クロス集計結果と層別散布図を作成。

データの特徴がより明確になる層別を検討。


層別後の解析


v2 vs v1ログ単回帰 PX_MERATE 開示区分：基準全体

信頼率 0.68 【両対数散布図】【タイトル設定】タイトル

【ログ変換単回帰分析】モデル: y=exp(b0)*x^b1 軸タイトル v2 v1b0 b1 exp(b0) 自動なし

回帰係数 -2.242345954 0.928219027 0.10620905標準偏差 0.103936981 0.024548821 1.109530531t 値 -21.57409171 37.81114463 【両対数グラフ軸設定】p 値 4.78468E-63 2.3769E-116 範囲自動自動

From 0.01 0.001寄与率 82.6% 残差標準偏差 0.525007417 To 1000000 100000Ｆ比 1429.682659 残差の自由度 301回帰平方和 394.0674168 残差平方和 82.96546912予測範囲下限 0.020015527 予測範囲上限 258597.2339 【回帰直線・信頼区間・予測区間】てこ比判定値 0.01650165 t (fe;1-CL) 0.99610339 回帰直線有り寄与率 R*2 82.6% 寄与率 R**2 82.5% 信頼区間なし

予測区間有り

【ベキ乗予測】【その他】入力 57.50 点の大きさ 2予測値 4.57 予測標準偏差 0.525873052 自動起動なし予測値（下限） 2.70 予測値（上限） 7.71 ゾーン分析なし

v2 vs v1

反映

反映

反映新規作成

0.001

0.01

0.1

1

10

100

1000

10000

100000

0.01 1 100 10000 1000000

v1

v2

v2 vs v1

単回帰分析

指定した層別で，2変量の関係を表す散布図を作成。

同時に単回帰分析結果も行う。

2次元的外れ値の検出や信頼・予測区間も算出。

a

変数の数 5データ数 194

変数名切片 LF LL LI LS LE較正入力

LN LN LN LN LN

Y Y Y Y

Ｆ値 3.39701 3.550986 43.66755 6.427822

p値 0.066881 0.061045 3.86E-10 0.012045偏回帰係数 -0.17233 0.150298 0.107002 0.339679 0.130411標準偏回帰係数 0.167836 0.16476 0.439394 0.151633群間変動 0.005897 0.006165 0.07581 0.011159郡内変動 0.001736 0.001736 0.001736 0.001736平均値 6.795932 4.040876 6.565187 5.803882 4.268412標準偏差 1.359074 1.874012 1.574341 1.41512 1.217062

行列式 0.056988重相関係数 R 0.819685寄与率 R^2 0.671883寄与率 R*^2 0.664939寄与率 R**^2 0.658066

新規分析

回帰分析

回帰診断

変数変換全対数

全選択

回帰診断

残差分析前へ次へ

-3

-1

1

3

5

7

9

11

-3 -1 1 3 5 7 9 11

実績

値

予測値

予測と実績

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

2.5

1 2 3 4 5 6 7 8

予測値

重回帰分析

指定した層別で，重回帰分析。

データの対数変換も自動。

外れ値の検出・除去も自動。

質的変数のダミー変数への変換も可能。


メトリクス分析結果は，毎年，最新版を公開。(今年度は10区分・142パターンの分析結果を開示。)

対象メトリクスは，開発PJへの要望調査結果で，毎年，見直す。

4.4. メトリクス分析結果 32

No メトリクス名概要計画策定時(工数/期間)

品質の計画・状況監視

要件定義～PGM設計

単体～システムテスト

1 フェーズ別期間配分率各工程期間の配分率 ○

2 フェーズ別工数配分率各工程工数の配分率 ○

3 工数期間率*3 工数と期間の関係 ○

4 マネジメント工数比全体工数とPM工数の関係 ○

5 テスト工数予測*3 テストケース数とテスト工程工数の関係 ○

6レビュー指摘効率(レビュー工数)*3

上流工程のレビュー工数とレビュー指摘数の関係

○

7 テスト密度*6 開発規模とテストケース数の関係 ○ ○

8テスト実施効率(工程工数)*3

テスト工数とテストケース数の関係 ○

9 欠陥検出密度*6 開発規模と検出欠陥数の関係 ○ ○

10欠陥検出効率(テストケース数)*3

テストケース数と検出欠陥数の関係 ○

No.7の「テスト密度」や，No.9の「検出欠陥密度」が品質の計画・状況監視だけではなく，計画策定時にも利用。テスト工数の見積りや改修作業量の見積りのインプットになるため。No.10の「欠陥検出効率」は，テストケースの品質に焦点をあてたもの。システムそのものの品質を対象にしたメトリクスではない。


4.5. メトリクス分析結果の公開方法 33

分析結果報告書をクリック予測・評価モデルをクリック

メトリクス分析結果報告書(PPB)・層別ごとの分析結果の傾向を記載。・どの予測モデル，基準値を利用するのかをナビゲート。

予測モデル(PPM)・・・118種類用意・各種の見積りに利用するツール。・精度の高さの順に「基準」，「推奨」，「参考」となる。

ポータルは，社員全員が参照可能


下の例は，1000FPの「新規・再構築」PJにおける統合テストのテストケース数を予測したもの。

この予測の結果は，以下のように解釈。

1000FPのPJの場合，標準的には「1275」程度のテストケース数を設定。

ただし，PJは多様な要因(要求される品質レベルなど)が絡み合いバラツキが大きい。もし，1000FPのPJが100件存在した場合，68件のPJが収まる範囲は「588～2761ケース」程度の幅(±1σ)がある。

LT・IT密度(FP)ログ単回帰 P67_TEDFP 開示区分：基準新規・再構築

信頼率 0.68 【両対数散布図】

【ログ変換単回帰分析】モデル: y=exp(b0)*x^b1b0 b1 exp(b0)

回帰係数 -0.459430596 1.101644639 0.631643203標準偏差 0.654122054 0.091549386 1.923453089t 値 -0.702362187 12.03333723p 値 0.485646792 1.62351E-16

寄与率 74.0% 残差標準偏差 0.76246934Ｆ比 144.8012048 残差の自由度 51回帰平方和 84.18155524 残差平方和 29.64933421予測範囲下限 19.79011457 予測範囲上限 194321.1084てこ比判定値 0.094339623 t (fe;1-CL) 1.004248483寄与率 R*2 73.4% 寄与率 R**2 73.0%

【ベキ乗予測】入力 1000.00予測値 1274.69 予測標準偏差 0.769743438予測値（下限） 588.42 予測値（上限） 2761.35

反映

1

10

100

1000

10000

100000

1000000

10 100 1000 10000 100000

LT・

ITケ

ース

数

FP

LT・ IT密度(FP)

4.6. 予測モデル(PPM)の利用方法 34

①.任意の信頼率を設定。

②.既知の情報(この例では1000FP)を入力。

③.予測値と上・下限値を算出。


下の例は，1000FPの「新規・再構築」PJにおける統合テストのテストケース数を予測したもの。

この予測の結果は，以下のように解釈。

1000FPのPJの場合，標準的には「1275」程度のテストケース数を設定。

ただし，PJは多様な要因(要求される品質レベルなど)が絡み合いバラツキが大きい。もし，1000FPのPJが100件存在した場合，68件のPJが収まる範囲は「588～2761ケース」程度の幅(±1σ)がある。

LT・IT密度(FP)ログ単回帰 P67_TEDFP 開示区分：基準新規・再構築



回帰係数 -0.459430596 1.101644639 0.631643203標準偏差 0.654122054 0.091549386 1.923453089t 値 -0.702362187 12.03333723p 値 0.485646792 1.62351E-16



反映

1

10

100

1000

10000

100000

1000000

10 100 1000 10000 100000

LT・

ITケ

ース

数

FP

LT・ IT密度(FP)

4.6. 予測モデル(PPM)の利用方法 35

①.任意の信頼率を設定。

②.既知の情報(この例では1000FP)を入力。

③.予測値と上・下限値を算出。

約120の予測モデルを確立。(工数や欠陥数の予測については，専用のツールを開発してPJに提供。)


以下の表は，テスト密度の分析結果報告書に記載された，「システムテスト：SLOC」の基準値を抜粋したもの。

「エンハンス」を例に，この表の意味を確認。

分析結果報告書の1ページ前の「層別予測モデル(PPM)分析」を見ると，次のような記述が。「エンハンス」は，回帰係数b1の検定結果から回帰式は高度に有意であるものの寄与率が低く，現時点では，

層別後の予測モデルを確立することはできない。また，平均値の傾向も他の区分と異なることから，層別後の幾何平均±1σの範囲を利用することを推奨する。

この記述の解釈は次のとおりである。「エンハンス」は，残念ながら現時点では高精度の予測モデルがありません。予測の精度は低くなりますが，表に

記載された数値を目安レベルで利用してみてはいかがでしょうか。

10万SLOCの「エンハンス」の場合，以下のように。(PPBによる予測は，各数値×100) ※.数値はKSLOC 上限値： 2481テストケース平均値： 735テストケース下限値： 218テストケース

4.7. 基準値(PPB)の利用方法-1 36


以下の表は，テスト密度の分析結果報告書に記載された，「システムテスト：SLOC」の基準値を抜粋したもの。

「エンハンス」を例に，この表の意味を確認。

分析結果報告書の1ページ前の「層別予測モデル(PPM)分析」を見ると，次のような記述が。「エンハンス」は，回帰係数b1の検定結果から回帰式は高度に有意であるものの寄与率が低く，現時点では，

層別後の予測モデルを確立することはできない。また，平均値の傾向も他の区分と異なることから，層別後の幾何平均±1σの範囲を利用することを推奨する。

この記述の解釈は次のとおりである。「エンハンス」は，残念ながら現時点では高精度の予測モデルがありません。予測の精度は低くなりますが，表に

記載された数値を目安レベルで利用してみてはいかがでしょうか。

10万SLOCの「エンハンス」の場合，以下のように。(PPBによる予測は，各数値×100) ※.数値はKSLOC 上限値： 2481テストケース平均値： 735テストケース下限値： 218テストケース


140パターンのPPBを解析してPJに提供。


PPBを予測に利用する場合は，以下の点について考慮する。

PPMのべき乗回帰による予測には，以下のAからCの3つのパターンが。

通常，ITメトリクスは規模依存性を持つため，【B】の中央の比例関係はあまりない。ところが，PPBを利用した予測は比例関係を前提としており注意が必要。


【B】XとYは比例関係であり直線となる。

【A】Xが大きくなるにつれYは増加していく。

【C】Xが大きくなるにつれYの増加は少なくなる。

【散布図】

0

200

400

600

800

1000

1200

1400

1600

1800

2000

0 2000 4000 6000 8000 10000 12000 14000

検出

欠陥

数

FP物理

統合テスト検出欠陥密度(FP物理)

①

②

赤線：予測モデルによる見積り青線：目安となる数値を用いた見積り

左の散布図のように，①では過大見積り②では過小見積り

のとなる危険性があることを考慮する必要がある。

工数，テストケース数，欠陥数の予測では【A】，期間(月数)関連の予測では【C】になる傾向が。


開発PJのニーズに応じ，メトリクス分析結果以外に，各種の支援ツールを提供。

4.8. その他の定量管理支援ツール 39

No. カテゴリツール名称機能概要

1

工数・規模

工数評価ツール PJ特性に応じた工数と，その上下限値を予測。PJ初期段階の工数見積りの妥当性評価に利用。

2 工数生産性評価モデル PJ特性に応じた生産性の評価を行う。

3 FP値(IFPUG)推定画面や帳票数などの限定された情報からFP値を推定。

4WBS/EVM

WBSツール WBSとEVMの作成を支援。

5 統合EVMグラフ複数のWBS/EVMツールのEVMグラフを統合

6 WBS要員展開ツール要員ごとの計画・実績工数を月別(日別)に展開。

7

品質管理

テスト進捗管理表(ゾーン分析)

テストの進捗管理とゾーン分析を組み合せたツール。

8 管理図作成ツール各種レビューと単体テストの情報からu管理図を作成。

9 検出欠陥予測ツール統合テストの総検出欠陥数をPJの特性に応じて予測。

10ゾーン分析(レビュー)ツール

要件定義～PGM設計のレビューのデータから工程完了時の品質を予測。

11 信頼度成長モデル指数型モデルを用い統合テスト以降の定量的品質管理を支援。

12 標準ﾌﾟﾛｾｽ成熟度評定ツールプロセス評価の結果から，組織(部・課)ごとの成熟度レベルを自動で評定。

13その他ライン数カウント空白行・コメント行を除いたライン数をカウント。修正行のみカウントする事も

可能。


5. 工数評価ツール

40


PJ初期段階(要件定義前・途中)の工数見積りとは？

PJの成否を左右する重要な基礎データ。

一部の有識者は，経験則から妥当な結果を得ることも。

いくら結果が正しくても，属人的で再現性や客観性に欠けたもの。

ITベンダーとユーザー企業の双方が納得して，PJを開始するためには，客観的かつ体系的な手法による妥当性評価が不可欠。

ユーザー企業

通常は，より安価な調達を要求。

実現性のない過小見積りはPJの失敗に。希望時期に調達できないビジネス上のリスクも。

ITベンダー

過度な過小見積りは，PJ失敗の最大要因。

不当な過大見積りは，顧客満足度の低下に。

適切な妥当性評価ができない場合，パートナー企業の工数を鵜呑みに。

5.1. 工数の妥当性評価とは 41


工数見積りと妥当性評価は表裏一体

見積り時と別の手法を用い，乖離を確認。

各手法には一長一短がある。

共通することは，最適な見積りと妥当性評価とは，蓄積した自社の実績データを用いること。

PJの初期段階では

過去の類似PJの実績に基づくWBS積算法の結果を，異なるロジックを持つ，類推法やパラメトリック法で評価し，不足・不要な作業を特定するのが現実的。

5.2. 工数見積り手法とは 42

手法名概要特徴

WBS積算法 PJで作成する作業成果物を詳細化し，作業ごとの工数見積りを積み上げる手法

PJの初期段階では精度が低く，見積り担当者の能力に影響を受ける。過去の類似PJのWBSが存在する場合，この実績を参考にできる。作業成果物の特定と，詳細化の粒度によって精度が異なる。

類推法過去の類似する開発PJの実績データを基に工数を推測する手法

精度は低いが，初期の見積りに適している。実績データの蓄積が必要。過去のPJの特性や制約が明確でないと適用することが困難。

パラメトリック法 FP，SLOCなどの開発規模を入力値として，数学的な関数(予測モデル)を用いて工数を見積る手法

入力値となる開発規模が明確な場合は，初期段階から利用可能。再現性があり，客観性が高い。自社の実績値を基に予測モデルを確立した場合，精度が高い予測が可能。

開発規模が不確定な場合は，見積りの予測誤差も大きい。


WBSテンプレート(お客さまと共有)で見積った工数を，予測モデル「工数予測(FP)」を用いて評価。

5.3. 当社における妥当性評価プロセスの課題-1 43

工数予測(FP)ログ単回帰 PX_N0/N1 開示区分：基準新規・再構築



回帰係数 -2.964148605 1.121449834 0.051604386標準偏差 0.300790742 0.042119509 1.35092662t 値 -9.854520722 26.6254253p 値 8.2136E-13 3.49342E-29



反映

全体

工数

(人月

)

FP

工数予測(FP)

係数は非公開とします。

目盛は非公開とします。

全期間EVM チーム名

開始日 H26.4.3 作成日作成者完了日 H28.4.1 更新日更新者

基準日. 本ツール利用はTOiNX限定。無断複製を禁止する。 WBS開始番号 1 日毎GANT 月毎GANT

WBS番号. タスク. 先行タスク. 担当. 成果物. 期間. 工数. 工数計. 計画. 実績.

macro Ver 2.22 update 2016/11/15 14:36# 担当追加(労働日) （人日） (人日）

WBS更新 A 担当削除 A A 合計開始日終了日開始日終了日

サマリー. 本ツール利用はTOiNX限定。無断複製を禁止する。 118 90.60 325.31 2/2 5/30 4/1

1 エンジニアリング 118 85.60 320.31 2/2 5/30 4/12 プロジェクトマネジメント，支援 28 5.00 5.00 4/3 4/30 4/3 4/30

BEGIN;1 エンジニアリング 85.60 320.31 2/2 5/30 4/11.1 要件定義 85.60 320.31 2/2 5/30 4/11.1.1 要件定義作業基準の作成 40 43.60 186.31 2/2 3/31 4/1 4/301.1.1.1 要件定義作業基準作成 A担当 40 43.60 186.31 2/2 3/31 4/1 4/301.1.2 現行業務の情報収集と整理 26.00 58.00 4/20 5/30 4/201.1.2.1 現行業務の物理モデルの作成 6.00 6.00 4/20 4/30 4/20 4/261.1.2.1.1 現行業務の物理モデルの作成 A担当 1 3.00 3.00 4/20 4/20 4/20 4/231.1.2.1.2 現行業務の問題点の抽出 5 3.00 3.00 4/23 4/30 4/23 4/261.1.2.1.2.1 業務用語集の作成 A担当 5 3.00 3.00 4/23 4/30 4/23 4/261.1.2.2 現行業務の論理モデルの作成 22 15.00 37.00 4/30 5/30 5/11.1.2.2.1 現行業務の論理モデルの作成 3 5.00 7.00 4/30 5/5 5/1 5/51.1.2.2.2 データ・ディクショナリの作成 20 5.00 15.00 5/4 5/30 5/41.1.2.2.3 現行業務のデータ特性の作成 20 5.00 15.00 5/4 5/30 5/41.1.2.3 要求調査計画の策定 20 5.00 15.00 5/4 5/30 5/41.1.3 要求の調査と分析 20 10.00 50.00 5/4 5/30 5/41.1.3.1 要求の調査と分析 20 5.00 25.00 5/4 5/30 5/41.1.3.2 システム化要求の整理と合意 20 5.00 25.00 5/4 5/30 5/41.1.4 システム化対象範囲(案)の明確化 20 5.00 25.00 5/4 5/30 5/41.1.5 新業務の論理モデルの作成 20 1.00 1.00 5/4 5/30 5/41.1.5.1 新業務の論理モデルの作成 A担当 20 1.00 1.00 5/4 5/30 5/4

プロジェクト名期間

2014/5/9

テストチーム1

テストプロジェクトA

EVM更新

→：１階層下に移動

←：１階層上に移動

非表示タスクの工数を集計する。

WBSで積算した工数が予測モデルの上下限値に納まっていればOK

工数予測のPPMは，FPとSLOC版の2つを用意。それぞれ，以下の開発タイプごとのPPMを公開。①新規・再構築 ②コンバージョン③エンハンス ④メンテナンスFPやSLOCを入力するだけで

予測工数と上下限値が分かるから便利だね。自社の実績データに基づく評

価だから信頼できる。


ところが，何年か経つと。。。

5.3. 当社における妥当性評価プロセスの課題-2 44

②予測・評価の精度をもっともっと上げてほしい！PJ特性(OS，言語，顧客)も加味した評価がしたい！

③FPとSLOCのどちらの予測モデルを使えば良いの！異なる結果が出るじゃないか！

④全体工数ではなく，特定工程の工数が知りたい！

開発PJからの改善提案で「工数評価ツール」の開発に着手。

①FPやSLOCが分かるのはずっと後。お客さまからは，もっと早い段階で見積りを要求される！


TOiNX 工数評価ツール

【予測工数】

【規模】予測工数 100.0

FP入力タイプ直接入力処理対象FP値下限 75.0

直接入力FP値 1000 1000 上限 160.0

SLOC（K) 300 *過小見積りの可能性があります

UT数【選択工数モデル】

LT数+IT数モデル順位 1

ST数モデルID D000F_DM

開発タイプ新規・再構築

主OS

【計画工数または実績工数】主言語

工数(人月) 70.0 顧客

規模要因 F

【プロジェクト特性】データ数 57

開発タイプ新規開発寄与率 90.9%

主OS Solaris 上下限係数 1.46

主言語 Java

顧客顧客12

【該当工程】

要件定義該当 9.8

詳細設計該当 13.7

プログラム設計該当 16.4

*画面数などからFPを推定する場合はFP推

定シートを利用してください。

*工数予測ではWBSなどに基づく計画工数

を入力してください。

1

10

100

1000

10000

100000

1 10 100 1000 10000 100000

計画

工数

予測工数

予測と計画

第１候補選択次候補選択戻る

PJ初期段階(進行後も)の過大・過小見積りを防止する仕組み。

WBS積算法など，他の見積り手法で算出した工数の妥当性を評価。

自社の実績データを用いたパラメトリック手法。青線部分にPJ特性を入力すると，標準的な工数と，その上下限値を赤線部分に出力。

5.4. 工数評価ツールとは 45

【予測工数】

予測工数 100.0

下限 75.0

上限 160.0

*過小見積りの可能性があります

【該当工程】

要件定義該当

詳細設計該当

プログラム設計該当

コーディング/UT 該当

【規模】

FP入力タイプ直接入力

直接入力FP値 1000

SLOC（K) 300

UT数

LT数+IT数

ST数

【プロジェクト特性】

開発タイプ新規開発

主OS Solaris

主言語 Java

顧客顧客12

【計画工数または実績工数】

工数(人月) 70.0


本ツールは，下表に示す特徴を持つ。各特徴の詳細については，次スライド以降で説明。

5.5. 工数評価ツールの特徴 46

No 特徴概要

1 FP推定機能による規模予測画面や帳票数などの限定された情報からIFPUG法FP値の近似値を推定。

2 PJ特性に応じた工数評価

自社の実績データで作成した990の工数予測式を搭載。個々のPJ特性(OS，言語，顧客)に応じた層別から，最も精度の高い予測式を自動判定。予測式ごとの信頼できる上下限値を提示。

3規模尺度(FP・SLOC)の自動選択

FP推定値とSLOCを入力すると，より精度の高い規模尺度を自動で判定。FP推定値やSLOCの入力値が，予測式の適用範囲を超える場合に警告メッセージを表示。

4 特定の工程を対象とした工数評価全体工程のほか，特定の工程に対する評価も可能。


通常，IFPUG法FP値の計測は，詳細(外部)設計完了時点。

本ツールは，画面数や帳票数などの限定された情報から，他のパラメータを推定。5つのパラメータを用いてIFPUG法FP値の近似値(FP推定値)を算出するため，早期段階での妥当性評価が可能。

5.6. 【特徴1】FP推定機能による規模予測-1 47

開発タイプ概要規模確定のタイミング

推定FP値 IFPUG法FP SLOC

新規開発以前に開発されたソフトウェアをベースとして含まない新たなシステムの開発

要件定義初期に推定可能

詳細(外部)設計プログラム(内部)設計またはコーディング

エンハンス既存システムの一部の機能に対して，機能の「追加」，「削除」，「変更」を行う開発追加・変更個所が明確

な場合，要件定義前に推定可能メンテナンス

欠陥修正，コード構造の変更，パフォーマンスのチューニングなど，既存の機能を直接変更しない開発

再構築既存のソフトウェアをベースとしてシステム全体を再構築する開発前回の計測結果，もしくは既存システムの事前調査により要件定義

前に把握可能コンバージョン

システムの全体的な機能は変更せず，ソースコードなどを異なるプラットフォームに移植する開発

実績データによる多重比較の結果から，補完ロジックは，開発タイプごとに異なる。

推定値補完FP値

マスターファイル数 26 183

インターフェース数 15 75

画面数 50

帳票数 20

バッチ数 10 40

推定FP値(IFPUG) 845

推定値補完FP値

マスターファイル数 16 111

インターフェース数 9 45

画面数 50

帳票数 20

バッチ数 41 163

推定FP値(IFPUG) 877

新規開発エンハンス


下の散布図は，推定FP値とIFPUG法FP値の関係。

両値を持つ同一PJで分析。(外れ値除外なし)

両値は，完全に一致しないが，強い関係を持つ。

自由度2重調整済み寄与率(※1)から，IFPUG法FP値の，およそ9割を説明。

5.6. 【特徴1】FP推定機能による規模予測-2 48


ただし，重要なことは，如何にIFPUG法FP値に近似するかではなく，推定FP値で工数を予測・評価できるかどうか。

※1. 回帰式の説明変数が，目的変数の変動をどの程度説明できるかを表す指標。説明変数の多さによって寄与率を下げるように調整したもの。


354PJの実績データを層別し，計6,050回の回帰分析。利用可能と判断した990の予測式を搭載。

5.7. 【特徴2】PJ特性に応じた工数評価-1 49

【プロジェクト特性】

開発タイプ新規開発

主OS Solaris

主言語 Java

顧客顧客4

No モデルID 要因 p n q R**2 se 切片

180 D010F D 新規・再構築 0 1 .NET系全体 0 F ** 12 1 0.8002 0.58323 -1.8388

183 D030F D 新規・再構築 0 3 Java 0 F ** 40 1 0.8678 0.44133 -3.0624

184 D030FL D 新規・再構築 0 3 Java 0 FL ** 37 2 0.9122 0.35524 -0.7855

186 D030L D 新規・再構築 0 3 Java 0 L ** 38 1 0.8785 0.41853 1.05371

191 D031FL D 新規・再構築 0 3 Java 1 顧客1 FL ** 6 2 0.9143 0.30377 -2.1543

193 D031L D 新規・再構築 0 3 Java 1 顧客1 L ** 6 1 0.8911 0.36316 -0.1905

195 D03AF D 新規・再構築 0 3 Java A 顧客14 F ** 10 1 0.9445 0.28801 -3.1789

196 D03AFL D 新規・再構築 0 3 Java A 顧客14 FL ** 8 2 0.9499 0.28657 -1.7925

198 D03AL D 新規・再構築 0 3 Java A 顧客14 L ** 8 1 0.8978 0.42937 1.19225

211 D03FL D 新規・再構築 0 3 Java F 顧客グループ1 L ** 5 1 0.9822 0.12408 0.41357

214 D03GF D 新規・再構築 0 3 Java G 顧客グループ2 F ** 11 1 0.8078 0.36393 -1.7575

216 D03IF D 新規・再構築 0 3 Java I 顧客グループ4 F ** 10 1 0.9445 0.28801 -3.1789

217 D03IFL D 新規・再構築 0 3 Java I 顧客グループ4 FL ** 8 2 0.9499 0.28657 -1.7925

219 D03IL D 新規・再構築 0 3 Java I 顧客グループ4 L ** 8 1 0.8978 0.42937 1.19225

223 D100F D 新規・再構築 1 AIX 0 0 F ** 6 1 0.8284 0.54456 -3.1416

225 D100L D 新規・再構築 1 AIX 0 0 L ** 6 1 0.9122 0.38945 -0.6704

226 D200F D 新規・再構築 2 Solaris系 0 0 F ** 35 1 0.8995 0.366 -2.9177

227 D200FL D 新規・再構築 2 Solaris系 0 0 FL ** 32 2 0.9086 0.34593 -1.0559

229 D200L D 新規・再構築 2 Solaris系 0 0 L ** 33 1 0.8774 0.40111 0.99104

232 D20AF D 新規・再構築 2 Solaris系 0 A 顧客14 F ** 10 1 0.9445 0.28801 -3.1789

233 D20AFL D 新規・再構築 2 Solaris系 0 A 顧客14 FL ** 8 2 0.9499 0.28657 -1.7925

235 D20AL D 新規・再構築 2 Solaris系 0 A 顧客14 L ** 8 1 0.8978 0.42937 1.19225

開発タイプ主OS 主言語顧客

①990の予測式からPJ特性に合致する層別の予測式候補を特定

②予測式候補から，最も精度の高いものを自動選択

【予測工数】

予測工数 100.0

下限 65.0

上限 135.0

③選択した予測式ごとの残差標準偏差(±1σ)で上下限値を設定


層別とは

適切な層別によりFP推定値と工数の関係が明確に。

ダミー変数を利用した重回帰分析

当社のデータから，開発タイプの次に「顧客」が工数に大きく影響することが判明。

データ数が少なく，単一顧客で層別できない場合，顧客をダミー変数にして重回帰分析。

5.7. 【特徴2】PJ特性に応じた工数評価-2 50

全開発タイプ新規開発 Solaris-Java 顧客A

横軸：FP推定値

縦軸：実績工数

重相関係数 R 0.918866寄与率 R^2 0.844316寄与率 R*^2 0.841631

寄与率 R**^2 0.839035回帰診断FP推定値のみでの予測と実績

重相関係数 R 0.963624寄与率 R^2 0.928572寄与率 R*^2 0.918367

寄与率 R**^2 0.908515回帰診断顧客をダミー変数とした場合

自由度2重調整済み寄与率が6%向上。顧客によって工数を0.87～1.92倍で調整。


FPとSLOCの両方を入力すると，より多くの予測式が候補となる。

推定FP値，SLOC，または両値の組合せで，最も予測精度の高いものを自動で選択。

テストケース数も入力すると，さらに高精度の予測式も選択。(ただし，初期段階では難しい。)

回帰分析は，入力した規模が，分析時の対象データを超える範囲(外挿)の場合，予測精度が低下。

入力した規模が大きい(小さい)場合に，警告を表示。他の予測モデルの利用を促す。

5.8. 【特徴3】規模尺度(FP・SLOC)の自動選択 51

【規模】

FP入力タイプ直接入力

直接入力FP値 1000

SLOC（K) 200

UT数

LT数+IT数

ST数

第1候補：SLOCによる予測式

モデル順位 1

モデルID D001L


主OS

主言語

顧客顧客1

規模要因 L

データ数 9

寄与率 93.9%

上下限係数 1.42

モデル順位 2

モデルID D001FL


主OS

主言語

顧客顧客1

規模要因 FL

データ数 6

寄与率 91.4%

上下限係数 1.35

第2候補：FPとSLOCの両方を使った予測式

以降，入力された規模から最も予測精度が高い順に表示

FP入力タイプ直接入力処理対象FP値

直接入力FP値 100000 100000

SLOC（K) 200

UT数

LT数+IT数

ST数

「FPが大きい」「FPに対してSLOCが小さ

い」ために入力範囲外となっています。

モデルの適用範囲を超える規模入力が

あります。過小または過大となっている入

力を除外して、モデルを選定することを推

奨します。


開発タイプごとの「工程別工数配分率」を搭載。

工程全体の工数だけではなく，特定工程を対象とした妥当性評価も可能。

全工程を対象

プログラム(内部)設計以降を対象

5.9. 【特徴4】特定の工程を対象とした工数評価 52

【予測工数】

予測工数 98.1

下限 76.5

上限 125.8

【該当工程】

要件定義該当 8.9

詳細設計該当 12.4


コーディング/UT 該当 27.3

統合テスト(LT・IT) 該当 14.3

システムテスト該当 12.6

移行該当 7.7

【該当工程】

要件定義非該当

詳細設計非該当


コーディング/UT 該当 27.3

統合テスト(LT・IT) 該当 14.3

システムテスト該当 12.6

移行該当 7.7

【予測工数】

予測工数 76.8

下限 59.9

上限 98.5

契約の範囲や，見積り時期によって，対象とする工程を任意に選択。工程別工数配分率は，実績データの分析結果から開発タイプごとに違う割合を利用。


メトリクスや各種支援ツールの改善機会は，常に現場から。

現場ニーズを満たすことで，SPI活動も加速する。

5.10. SPI活動とデータ解析の連携 53

②従来のメトリクス分析結果より，予測・評価精度がものすごく上がった！お客さまに応じた妥当性評価もできるようになった。

③FPとSLOCのどちらが良いか判別してくれるので助かる。

④契約範囲に応じて，特定工程の工数も評価できるようになった。

SPI活動とデータ解析を連携するのは，人と人の繋がり。データの計測・登録は面倒だが，「正確なデータを提供すれば，SPI担当者がしっかりと分析してくれる。」と思われる関係の構築が重要。

①PJの初期段階でも客観的な妥当評価ができました。


統合テスト以降の定量的品質管理を支援するため「信頼度成長モデル」をツール化。

テスト計画時

工程完了時の予測潜在欠陥数とテストケース数を入力することで，指数型モデルに応じた検出欠陥数と上下限値(組織の基準) を設定。

テスト進行中・完了時

検出欠陥数が組織の基準の管理限界内に入っているかどうかを視覚的に確認。

テストの進捗が60%の時点で，テスト完了時の検出欠陥数，潜在欠陥数，欠陥除去率を予測。

欠陥除去率90%の達成に必要となる追加テストケース数を予測。

【参考】定量的品質管理のためのツール 54

SRGM for TOiNX　V130

指数モデル: m（t）=D（1-EXP（-b（t-t0））） [テスト実績および欠陥数管理限界]

検出予測

分析対象データ工程A1 欠陥数欠陥数除去率下限基準上限

1 6 5 7 9% 7 10 13

[計画値] 自動 2 10 13 12 15% 12 16 21基準潜在欠陥数 80 3 13 18 15 19% 15 21 26予定テスト労力 100.0 4 19 21 22 27% 21 28 35形状パラメータ 0.023 5 29 29 30 38% 30 39 46位置パラメータ 0.000 6 39 39 37 47% 37 47 55

7 49 42 43 54% 44 54 62[設定と予測] 8 62 50 50 62% 51 61 68

9 65 51 64% 52 62 6910 68 52 65% 53 63 7011 71 53 66% 54 64 7012 74 54 68% 56 65 7113 77 55 69% 57 66 7214 80 56 70% 58 67 7315 83 57 71% 59 68 73

[実績情報] [処理結果] [予測結果] 16 86 58 72% 60 69 74テスト労力 62 19% 17 89 59 73% 61 70 74検出欠陥数 50 85% 18 92 59 74% 62 70 75テスト進捗率 62.0% 72 19 95 60 75% 63 71 75

61 20 100 61 76% 64 72 76[データ分割] 55

68現時点欠陥除去率 69%

テスト労力分割点除去率目標達成テスト労力 121.921.9

0.0190.244位置パラメータ

完了時欠陥除去率

SRGM予測完了

潜在欠陥数

完了時検出欠陥数

　信頼区間下限

　信頼区間上限

追加テスト労力

No.テスト労力

完了時基準達成確率

基準欠陥

形状パラメータ

SRGM予測

基準設定実績反映

データ反映

基準再設定テスト労力追加

分割点探索分割実行

分割消去

記録消去0%

20%

40%

60%

80%

100%

0

10

20

30

40

50

60

70

80

0 20 40 60 80 100

基準欠陥除去率

検出欠陥数

テスト労力

予測欠陥数と欠陥除去率初期段階では，組織の基準値を利用。ただし，予測潜在欠陥数はPJ特性に影響を受けるため，組織の基準との乖離が大きい場合は，指数型モデルによる基準の再設定が可能。


定量的マネジメントを実践する組織では，PJ計画段階から，メトリクスを活用して，PJを成功に導くことが可能。

一方で，プロセスが定着していない状態では，データもバラつく。(データ解析はSPI活動のサブセット)

SPI担当者は，自社のプロセスの定着と維持に加えて，「統計的技法の習得」も必要。

複雑な処理を要するITメトリクスを，手作業で解析することは極めて非効率。

「工数評価ツール」は，従来からある統計的技法で開発。データを蓄積さえすれば，あらゆるITベンダーとユーザー企業で適用可能。

改善機会はPJから。このニーズに応えることが，SPI活動の推進を加速。

6. おわりに 55


56


梶山昌之，合田英二，千野智子，「プロジェクト初期段階のFPによる効果的見積りモデル構築手法の提案」，2007年度PM学会春季研究発表大会予稿集，2007年，P116～121

金子英一,梶山昌之，「アプリケーション・マネジメント・サービス(AMS)における開発生産性評価プロセスの確立」，IBM ProVISION Winter No.48，2006年，P100～107

佐藤浩明，「定量的マネジメントを目指したメトリクス分析の実践～開発プロジェクトの成功確率を高めるために～」，ユニシス研究会，2013年

亀井秀敏，佐藤浩明，「システム開発プロジェクトの健全度可視化と定量的マネジメントへの取り組み」，IBMユーザー研究会，2014年

佐藤浩明，「ソフトウェア開発プロジェクトの生産性評価に関する事例 ─真の価値と工数削減効果を計測する手法」，ユニシス技報 2016年9月発刊 Vol.36 No.2 通巻129号，2016

参考文献 57

SPI活動と連携した定量的マネジメントの実践 - IPA...2017/02/28 · SPI担当者...

Documents

Transcript of SPI活動と連携した定量的マネジメントの実践 - IPA...2017/02/28 · SPI担当者...