サポート問合せ分析による利用時の品質向上及び … › sqip › symposium ›...

Copyrights Nihon Knowledge Corp 1

サポート問合せ分析による利用時の品質向上及びシステム品質向上

上田和樹（日本ナレッジ株式会社）

丹場順次（日本ナレッジ株式会社）加藤大受（ウイングアーク１ｓｔ株式会社）

ソフトウェア品質シンポジウム2017


発表者自己紹介

氏名：上田和樹(うえだかずき)

所属：日本ナレッジ株式会社札幌事業所所長

経歴

2000年よりIT業界へ転職。札幌にて販売管理パッケージソフトの品質保証課に所属。ソフトウェアテストと品質改善に取り組む

2009年よりCMMIのアプレイザルチーム所属及びSQA担当。プロセス改善に取り組む。

2010年より日本ナレッジ株式会社に転職。札幌テストセンターを立ち上げ。

• ASTER JaSST北海道実行委員長

• 日科技連 SQiPソフトウェア品質管理研究会副主査



背景既存の問題点問題解決への施策品質モデルの検討問合せデータ分析方法の検討分析の実施分析結果のフィードバック

問題解決の測定今後の検討

AGENDA



背景

組織

BIソリューションパッケージソフトの開発・販売・保守

所属

テクニカルサポート部門および品質保証部門

役割

テクニカルサポート部門として、顧客問合せ対応

テクニカルサポート部門及び品質保証部門として、プロダクト品質やサービス品質の向上のためのプロセス改善



テクニカルサポート部門

利用者

背景～サポート＆品質保証活動の方針～

顧客ニーズ生の声

クレーム要望

質問障害

問合せ回答

品質保証部門

開発部門

マニュアル制作部門

営業部門

分析データの展開

品質改善による顧客満足度向上継続的な関係の維持





AGENDA



既存の問題点～経緯～

テクニカルサポート部門への問合せも増加

製品説明の為のFAQを追加

製品の販売数増加

問合せの増加傾向は変わらず



既存の問題点～解決したい問題～

• 利用者の問合せコスト増 • テクニカルサポート部門の負荷増 • 製品の信頼性低下

対策が急務！！！！

テクニカルサポート部門への問合せが大幅に増加傾向

想定するビジネスリスク

問題



既存の問題点～原因の仮説～

品質の低下が要因？（仮説）

品質の調査と対策を行う必要がある

「品質」というものをどのようにとらえるか？

どの情報をもとに、どのように分析して、どこにフィードバックするか？

①品質分析

②分析結果のフィードバック





AGENDA



問題解決への施策～テクニカルサポート部門の立場から～

① 品質分析

テクニカルサポート部門

利用者顧客ニーズ生の声

クレーム要望

質問障害

問合せ

品質保証部門開発部門

マニュアル制作部門営業部門

分析データの展開 ② 分析結果のフィードバック

③ 問合せデータの分析から根本要因とフィードバック先を特定する



問題解決への施策～施策のまとめ～

① 品質分析の方法決定（モデルの検討）

「品質」というものを、どのように捉えるか

② 問合せデータ分析方法の検討

問合せデータを、どのように分析するか

③ 分析の実施

問合せデータの分析実施

④ 分析結果のフィードバック

分析した結果をどのように活かすか





AGENDA



品質モデルの検討

～「品質」というものをどのようにとらえるか～



パッケージ製品開発者


ソフトウェア（製品）

あ―ど

開発チーム:

「製品のテストは適切に実施している」

開発者とパッケージ製品の関係を検討



パッケージ製品利用者

ソフトウェア（製品）（利用者用）文書

運用

ハードウェア性能

インフラ移行計画その他

耐負荷

システム

利用状況

あ―ど

利用者とパッケージ製品の関係を検討




パッケージ製品

運用

ハードウェア性能

インフラ移行計画その他

耐負荷

利用状況

あ―ど

この部分に問題がありそう・・・？

利用者とパッケージ製品の関係を検討


利用時の品質システム品質

ソフトウェア製品品質利用者用文書の品質




利用時の品質(JIS X 25010:2013より)

利用者から見たシステムの品質(JIS X 25010:2013より)

製品品質(JIS X 25010:2013より)

ソフトウェア製品品質

• 提供しているソフトウェア自体の品質

システム品質

• ソフトウェアを利用するために必要な仕組み全てを含んだ品質。非提供ソフトウェアやハードウェアやシステムの運用など

利用者用文書の品質（JIS X 25051:2016より）

ソフトウェアを利用するために必要な文書の品質。マニュアルやFAQやリリースノート公開サイトなど

品質モデルで定義した



補足

～JIS X 250XXをモデルに採用した理由～

開発や品質保証部門での品質計画にSQuaREモデルを採用している

品質責任の決定や品質分析を行う際にSQuaREモデルを採用している

SQuaREモデルを採用すれば、テクニカルサポート部門と開発部門及び品質保証部門とが同じモデルで情報を共有できると考えた為



利用者

品質の相互影響モデルを以下で定義した

ソフトウェア品質利用者用文書の品質

利用時の品質

影響を与える

影響を与える双方に影響する

双方に影響する

システム品質

利用状況

人間

システム




利用者

テクニカルサポート部門への問合せ増の原因を仮定

ソフトウェア品質利用者用文書の品質

利用時の品質

影響を与える

利用状況



システム品質

問合せ増

どこかに問題がある

低下？


影響を与える





AGENDA



問合せデータ分析方法の検討

～問合せデータをどのように分析するか～



利用状況製品文書

要望質問不具合要望質問不具合要望質問不具合

品質モデルを利用してテクニカルサポート分析用のカテゴリーを策定

利用者側の観点

製品側提供の観点製品提供側のフィードバック先（責任部署）の観点

利用時の品質に影響を与える要因を前述の品質モデルから導出

責任部署は例えば、「不具合」であれば品質保証部門と開発部門。「質問」はマニュアル制作部門やテクニカルサポート部門。

利用状況＝システム品質

製品＝ソフトウェア品質

文書＝利用者文書の品質





「利用状況」：製品を使うために必要とする状況に関する問合せ

「製品」：製品自体の実装機能や定義の使い方に対する問合せ

「文書」：マニュアル、配布資料等に関する問合せ







製品提供側の観点

「要望」：要求度合が強い問合せ

「質問」：問題に対して情報を提供する問合せ

「不具合」：開発部署にて不具合として判定された問合せ



製品側提供の観点




製品の運用（ライフサイクル）を考慮

製品の運用（ライフサイクル）により、想定される利用者が変わる（つまり、品質要求が変わる）

「要求定義」：製品導入のための調査、評価、要件管理設計「設計開発」：製品導入に伴う設計開発、実装、検証、テスト運用

「運用保守」：製品導入後の稼働保守、システム改良、パッチ適用

「マイグレーション」：製品の別環境への移行やバージョンアップ

要求定義設計開発運用保守マイグレーション

製品の運用を考慮した観点





要望質問不具合要望質問不具合要望質問不具合要求定義

設計開発

運用保守

マイグレーション

製品の運用を考慮した観点利用者側の観点








問合せ番号分類カテゴリ

工程原因（利）原因（提）

100020246X マイグレーション利用状況不具合

分類イメージ






AGENDA



過去の問合せデータの分類を実施

利用状況

57%

製品

37%

文書

6% 利用者側の観点

要望

11%

質問

70%

不具合

19%


要件定義

8%

設計開発

14%

運用保守

[パーセンテージ]


16%


マイグレーションでの問題が予想以上に

多い

利用者は製品自体ではなく利用状況に多く問題を抱えている

期間：2015年02月～2016年11月7日問合せケース全体総数：14330件対象製品：６製品

分析の実施



「マイグレーション」の内訳

分類割合

移行計画 26%

移行後の互換 21%

バージョンアップ時のエラー 16%

バージョンアップ後の処理でエラー 12%

バージョンアップの操作、手順 11%

アクティベーションに関する質問 3%

その他 11%

認識していたよりも、はるかに大きい占有率

要件定義

8%

設計開発

14%

運用保守

[パーセンテージ]


16%




製品ごとの内訳

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

製品Ａ製品Ｂ製品Ｃ製品Ｄ製品Ｅ製品Ｆ

「マイグレーション」の製品ごと内訳

移行計画移行後の互換

バージョンアップ時のエラーバージョンアップ後の処理でエラー

バージョンアップの操作、手順アクティベーションに関する質問

その他

製品ごとの違いは大きくは

見られなかった（製品共通の問題）



マイグレーション移行計画の実態を調査

マニュアルについての問題が浮上

マイグレーション機能自体のマニュアルは存在していた

移行計画などの運用（利用状況）についての記載がマニュアルには無かった

• 移行する際の注意点や、リスクなど

マイグレーション移行の利用状況について、開発側として考慮されていないことが分かった



利用者

品質モデルでの分析

システムに関する文書

ソフトウェアに関する文書

ソフトウェア品質

利用時の品質

システム品質

利用状況運用

ソフトウェア自体に関する文書には問題が無い（利用者指摘も少ない）

利用者用文書の品質



利用者




利用時の品質

システム品質

利用状況運用


ソフトウェアと文書の整合性にも問題が無い（品質保証チームにて網羅的に行われている）




利用者


②システム品質の低下

③利用時の品質の低下

④テクニカルサポート部門への問合せ増

①システムと文書の一貫性に問題（利用者用文書の品質低下）




利用時の品質

システム品質

利用状況運用


ソフトウェア品質に関わる利用者用文書の品質には問題がなかったが、システム品質に関わる利用者用文書の品質に問題があった

①

②

③

④





AGENDA



① パフォーマンス

移行時間の参考計測値を移行手順書やFAQなどで公開する。

② 移行前におさえておきたい注意点、移行環境の注意点

よくありそうな問合せは、事前確認ポイントとしてマニュアルや移行手順書に記載、またはチェックシートを提供する。

トラブル事例をFAQで記載する。

③ 移行後の動作、状態の確認

移行後の動作、環境確認の一連の確認事項のチェックシートを提供する。

④ 移行後の動作確認のための平行運用

マニュアル、移行手順書に再移行の場合の手順を製品ごとに記載する。（平行運用中に更新された環境を再度移行する必要があるため）

マイグレーション移行計画についての問合せ内容をさらに分類した結果、４つの問題点が明確になり、問題解決として以下の施策を検討した。

分析結果のフィードバック



改善された実際のマニュアル内容（抜粋）

Step 1 移行計画を立案移行計画の概要

移行計画で使用するチェックシートについて

移行計画立案の工程

動作環境の変更に伴う影響

移行前に実施する作業の確認

移行後に設定変更が必要な項目の確認

移行できない設定の確認

Step 2 移行の準備略

Step 3 移行作業を実施略

Step 4 関連製品の設定を変更略

Step 5 移行結果を確認略

Step 6 旧バージョンの製品をアンインストール

略

目次案をテクニカルサポート部門で作成。テクニカルサポートメンバーがフォローしながら、マニュアルチームと合同で進めた。





AGENDA



仮説システム品質に関わる利用者用文書の品質に問題があるために、テクニカルサポート問合せが多い（利用者用文書の品質が上がれば、問合せは減る）

検証方法 i. 改善したマニュアルに、過去のすべての問合せ内容を利用者が解

決できる内容が含まれていることを、レビューにて確認する

ii. 改善後のマニュアルに従い、想定利用者（実際に製品移行の計画を立てる人物像）がマイグレーション計画を立てることができるかをシミュレーションする

iii. 過去のマイグレーション移行計画に関する問合せが再び発生しないことをシミュレーションで確認

過去の問合せへの対策がマニュアルに反映されているか

改善したマニュアルを使用して問題なく移行計画を立てられるか

過去に起きた問合せが再度発生しないか

問題解決の測定



シミュレーションとして、マニュアルベーステスト[1]を行った結果、以下が確認された

i. 過去問合せ586件に対しての解決内容が、全てマニュアルに反映されたことがレビューによって確認された

ii. マニュアルベーステストの結果、想定利用者（開発者を想定）と同様のスキルセットを持ったテスト担当者が今回作成した移行マニュアルに従ってシステム移行を試みた結果、移行計画による問題が報告されていないことが確認された

iii. マニュアルベーステストでの20件の指摘の中で、過去の問合せ内容と重複する内容の件数が０件であることがレビューによって確認された

問合せ分析結果を文書に反映させることで、

問合せは減ると考えられる

[1]奥山亜耶子,加藤大受, “既成ソフトウェア製品の開発プロジェクト内での利用時の品質の評価手法とその導入効果”,ソフトウェア品質シンポジウム2016,2016年9月

検証結果



原因についての考察

提供側の（特に開発部門）の考慮の中心が「ソフトウェア品質」に偏っていた

「利用時の品質」や「システム品質」への考慮が不足して品質要求の漏れが生じた

製品の品質要求分析が事前に十分に行われていなかった

システム品質に影響を与える利用状況（運用）についての考慮が不十分だった



結論

品質向上手段として「利用者からの問合せ」の分析を行うことは非常に有効

利用者側からの視点及び製品運用の観点を考慮できる

品質モデルでの「利用時の品質」「システム品質」「ソフトウェア品質」を網羅する品質要求分析が可能になる





AGENDA



今後の検討

今回の分析結果を活用することで、さらなる多面的な視点での分析アプローチが有用と思われる

各品質モデルの関連についてさらに詳細に分析する必要がある（テクニカルサポート部門のサービス品質も含めて）

テクニカルサポート業務フローへの実導入

実業務の中での運用については今後の検討

品質特性（主特性・副特性）分析の活用



JIS X 25010:2013の品質体系

製品の品質




利用時の品質



問合せの分類に品質特性を加える

１．工程

２．原因（利用者視点）

３．原因（提供者視点）

４．品質特性

問合せ番号分類カテゴリ

工程原因（利）原因（提）品質特性

100020246X マイグレーション利用状況不具合互換性

分類イメージ


要件定義設計開発運用保守

要望質問不具合


機能適合性性能効率性互換性使用性信頼性セキュリティ

移植性その他(文書)



分析のサンプル



参考文献

• 日本工業標準調査会,“システム及びソフトウェア製品の品質要求及び評価（SQuaRE）−システム及びソフトウェア品質モデル”,JIS X25010,2013年6月

• 日本工業標準調査会, “システム及びソフトウェア製品の品質要求及び評価（SQuaRE）－既製ソフトウェア製品（RUSP）に対する品質要求事項及び試験に対する指示”,JIS X 25051,2016年3月

• 奥山亜耶子,加藤大受, “既成ソフトウェア製品の開発プロジェクト内での利用時の品質の評価手法とその導入効果”,ソフトウェア品質シンポジウム2016,2016年9月



ありがとうございました。

札幌事業部

〒 060-0001

北海道札幌市中央区北1条西3丁目3番地

敷島プラザビル 7F

日本ナレッジ株式会社

本社

〒111-0042

東京都台東区寿3-19-5 JSビル9階

http://www.know-net.co.jp/


サポート問合せ分析による 利用時の品質向上及び … › sqip › symposium ›...

Documents

サポート問合せ分析による利用時の品質向上及び … › sqip › symposium ›...