gtmf 2016:テスト管理ツールcat の紹介とコンシューマーゲームでの活用提案...

テスト管理ツール「 CAT 」ゲーム QA での活用

GTMF 2016 TOKYO

2016/7/15

2

SHIFT について

3

　 会社概要

SHIFT は、ソフトウェアの「品質保証」を支援する会社

社名 　株式会社 SHIFT業務内容 　ソフトウェアの品質保証支援、ソフトウェアテスト事業

設立 　 2005 年 9 月 7 日

上場市場 　東証マザーズ　（証券コード： 3697 ）※ 2014 年 11 月上場

従業員数 　（単体） 906 名　（連結） 1,078 名　※契約社員含む（ 2016 年 2 月末時点）

代表者 　代表取締役社長　丹下 大　（ Masaru Tange ）

所在地【本社＆東京 TC 】東京都港区麻布台 2-4-5 　メソニック 39MT ビル【札幌 TC 】北海道札幌市中央区北 1 条西 3 丁目 3 　札幌プラザビル

【福岡 TC 】福岡県福岡市中央区天神 1-15-6 　綾杉ビル　

関係会社

SHIFT INDIA PRIVATE LIMITED （インド国 子会社）SHIFT GLOBAL PTE LTD （シンガポール国 子会社）株式会社 SHIFT PLUS （日本 子会社）株式会社リベロ・プロジェクト（日本 子会社）SHIFT ASIA CO., LTD ( ベトナム国 子会社 )株式会社 SHIFT SECURITY （東京都港区 子会社）株式会社アイ・イー・テック（日本 関連会社）

※TC ・・・テストセンター

4

　 従業員数

5

　 強み（サマリー）

6

自己紹介

宮下　創（みやした　はじめ）

10 年間コンシューマーゲーム QA に従事。2016 年株式会社 SHIFT に入社。コンシューマーゲーム QA サービスの立ち上げに参画。

株式会社 SHIFTソフトウェアテスト事業本部テストエンジニアリング部Game Section コンシューマーゲーム担当

7

ゲーム QA 　現場での課題

8

QA 自体の品質が測りにくい

プロジェクトに対して適切な手が打てない

QA フェーズ

… … … …

QA パフォーマンス

デバッグ状況

検出不具合の見通し

ケースも消化してるバグも出てる

でもこれって適切な数字なの ??

進みが悪いから人を増やそうでもちゃんとデバッグ出来てるの

かな？

初動はうまく進んでるけどこのからどの程度バグがでるんだ

ろう？

？？

9

運用で使用するツールがバラバラ！

BTS

Excel チェックシート

Web 進捗管理メンバー

リーダー

チェックシートの進捗に対してバグの検

出は…

入力と分析に大幅なコストがかかっている

チェックシートにも発生バグの

ログを残して、進捗計算して Web に反映

…

10

分析のためのデータ集計が大変！！

残バグ数推移

予定工数に対する進捗率

修正対応バグ数

もともとデータを取っていなかったという事態も…

実施項目とスケジュール消化はこのエクセルで対応しよう。そこにバグトラックと Weｂ

進捗のデータを加えて…

欲しい情報がすぐに出せない

リーダー

QA マネージャー

11

担当レベルによって意識しているところが違う！

最終的な報告を行うまで共有ができていない

・バグ検出・ケース消化・改修確認

…

・チェック進捗・アサイン

・作業割り振り・各種精査

…

・スケジュール・開発状況・予実管理

・予算・全体工数

…

プロジェクト進捗

12

テスト管理ツール「 CAT 」

13

詳細なプロジェクト情報

テストケース数と稼動期間をもとに各種進捗を自動算出

14

視覚化された進捗管理

全ての項目がグラフ表示可能

15

細やかなデータ分析

個人データも自動集計

16

「 CAT 」導入のメリット

17

インプット・アウトプットが簡単明確

手動でまとめなおす必要なし！

ケース実行・障害登録だけ !! 各情報を自動集計 !!

面倒な操作や設定もなし！

18

リアルタイム更新による全体共有

プロジェクトメンバー末端にいたるまで同じレベルで情報共有

全員が同じ画面をもとにコミュニケーションが可能

19

定量化による QA 品質の向上

定量化することで指標が生まれ、正確に次の一手が打てる！

過去プロジェクト

現行プロジェクト

定量化することで比較が可能

今回の問題点は…1 人日あたりのバグ件数が…残バグ数推移と検出数にズレが…

同一フォーマットなので

比較が簡単！

20

SHIFT の取り組み～これだけじゃない CAT 使用法～

21

作成基準チェックへの応用

専門知識がないとさっぱり

・ここは一度に確認できる・この順番が効率がいい・修正コストが高い項目は　早めにチェック　……

これまでの作成基準チェックは専門スタッフによるチェックがほとんど

知識習得に時間がかかる。さらに、解釈の幅が広いことから実施スタッフの経験値も

必要。

なぜ？

熟練者

22

機能別、観点別にチェックの進め方自体をテストケース化

現在、パイロット版を作成中！

スタッフの習熟度・経験に紐付かないチェックへ

習熟者が頭の中でやっていることを

CATへ落とし込む！

ナレッジ

23

他にも様々な観点をテストケース化！

“ あったらいいな”を作る、残す、活用するのが CAT です

No テスト区分 業務機能名 業務機能詳細項目 テスト対象機能項目 手順 パターン テスト観点 確認項目 期待値 設計備考 検証環境区分1 ガチャ 課金ガチャ 1連実行 演出 - P2 課金ガチャ実行 - 演出とガチャ結果が整合していること

SP

2 ガチャ 課金ガチャ 1連実行 倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※ パターン表参照SP

3 ガチャ 課金ガチャ 1連実行 初回保証 ※パターン表参照 P3 課金ガチャ実行 - ※ パターン表参照SP

4 ガチャ 課金ガチャ 1連実行 初回割引 ※パターン表参照 P4 課金ガチャ実行 - ※ パターン表参照SP

5 ガチャ 課金ガチャ 1連実行 消費コスト ※パターン表参照 P5 課金ガチャ実行 - ※ パターン表参照SP

6 ガチャ 課金ガチャ 1連実行 おまけの配布 ※パターン表参照 P6 課金ガチャ実行 - ※ パターン表参照SP

7 ガチャ 課金ガチャ 1連実行 ガチャアイテム残数の更新

１．ガチャを実行する - 課金ガチャ実行 - TOPガチャ の該当アイテムの残り個数が減少していること SP

8 ガチャ 課金ガチャ 1連結果画面からの実行

倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※ パターン表参照SP

9 ガチャ 課金ガチャ 1連結果画面からの実行

消費コスト ※パターン表参照 P7 課金ガチャ実行 - ※ パターン表参照SP

10 ガチャ 課金ガチャ 1連結果画面からの実行

おまけの配布 １．結果画面からガチャを実行する

- 課金ガチャ実行 - ○ガチャを引いた後、おまけが 個獲得できること

BOXプレゼント と持ち物を確認するSP

11 ガチャ 課金ガチャ 1連結果画面からの実行

ガチャアイテム出現確認

１．ガチャを実行する - 課金ガチャ実行 - 獲得可能ないずれかのガチャアイテムを獲得できること

BOXプレゼント と持ち物を確認するSP

12 ガチャ 課金ガチャ 1連結果画面からの実行

ガチャアイテム残数の更新

１．ガチャを実行する - 課金ガチャ実行 - TOPガチャ の該当アイテムの残り個数が減少していること SP

13 ガチャ 課金ガチャ ブラウザバック URLガチャ結果画面 １．ガチャを実行し、結果画面からブラウザバックで確認画面へ

- ブラウザバック - ガチャを実行しアイテムを獲得できないこと ブラウザバック前と同じ結果になればそれで良い SP

14 ガチャ 課金ガチャ ブラウザバック 消費コスト １．ガチャを実行し、結果画面からブラウザバックで確認画面へ

- ブラウザバック - コストが減らないことSP

15 ガチャ 課金ガチャ URL直 URLガチャ結果画面 １．ガチャを実行し、結URL果画面の を控え

ておく

- URL直 - ガチャを実行しアイテムを獲得できないこと URLガチャ結果画面SP

16 ガチャ 課金ガチャ URL直 コスト不足 １．ガチャを実行し、結URL果画面の を控え

ておく

- URL直 - ガチャを実行しアイテムを獲得できないこと 対象のガチャを引くことができないユーザー SP

17 ガチャ 課金ガチャ 1 URL連 改ざん - １．所有しているコインURL以上の値に、 を改

ざんして入力する

- URL改ざん - 所有しているコイン以上にガチャを実行しようとしても、実行できないこと SP

18 ガチャ 課金ガチャ 1 URL連 改ざん - URL１．結果 を改ざんして入力する

- URL改ざん - 他の結果にアクセスし不正に獲得しようとしても、ガチャを実行しアイテムを獲得できないこと

SP

死亡・復帰判定

セーブ・ロード ポーズメ

ニュー

フィールドコリジョン

機能ごとの標準的観点

フリーデバッグ観点No テスト区分 業務機能名 業務機能詳細項目 テスト対象機能項目 手順 パターン テスト観点 確認項目 期待値 設計備考 検証環境区分

1 ガチャ 課金ガチャ 1連実行 演出 - P2 課金ガチャ実行 - 演出とガチャ結果が整合していることSP

2 ガチャ 課金ガチャ 1連実行 倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※パターン表参照SP

3 ガチャ 課金ガチャ 1連実行 初回保証 ※パターン表参照 P3 課金ガチャ実行 - ※パターン表参照SP

4 ガチャ 課金ガチャ 1連実行 初回割引 ※パターン表参照 P4 課金ガチャ実行 - ※パターン表参照SP

5 ガチャ 課金ガチャ 1連実行 消費コスト ※パターン表参照 P5 課金ガチャ実行 - ※パターン表参照SP

6 ガチャ 課金ガチャ 1連実行 おまけの配布 ※パターン表参照 P6 課金ガチャ実行 - ※パターン表参照SP

7 ガチャ 課金ガチャ 1連実行 ガチャアイテム残数の更新

１．ガチャを実行する - 課金ガチャ実行 - TOPガチャ の該当アイテムの残り個数が減少していること SP

8 ガチャ 課金ガチャ 1連結果画面からの実行

倍率保証 ※パターン表参照 P1_1 課金ガチャ実行 - ※パターン表参照SP

9 ガチャ 課金ガチャ 1連結果画面からの実行

消費コスト ※パターン表参照 P7 課金ガチャ実行 - ※パターン表参照SP

10 ガチャ 課金ガチャ 1連結果画面からの実行

おまけの配布 １．結果画面からガチャを実行する

- 課金ガチャ実行 - ○ガチャを引いた後、おまけが 個獲得できること

BOXプレゼント と持ち物を確認するSP

11 ガチャ 課金ガチャ 1連結果画面からの実行

ガチャアイテム出現確認

１．ガチャを実行する - 課金ガチャ実行 - 獲得可能ないずれかのガチャアイテムを獲得できること

BOXプレゼント と持ち物を確認するSP

12 ガチャ 課金ガチャ 1連結果画面からの実行

ガチャアイテム残数の更新

１．ガチャを実行する - 課金ガチャ実行 - TOPガチャ の該当アイテムの残り個数が減少していること SP

13 ガチャ 課金ガチャ ブラウザバック URLガチャ結果画面 １．ガチャを実行し、結果画面からブラウザバックで確認画面へ

- ブラウザバック - ガチャを実行しアイテムを獲得できないこと ブラウザバック前と同じ結果になればそれで良い SP

14 ガチャ 課金ガチャ ブラウザバック 消費コスト １．ガチャを実行し、結果画面からブラウザバックで確認画面へ

- ブラウザバック - コストが減らないことSP

15 ガチャ 課金ガチャ URL直 URLガチャ結果画面 １．ガチャを実行し、結URL果画面の を控え

ておく

- URL直 - ガチャを実行しアイテムを獲得できないこと URLガチャ結果画面SP

16 ガチャ 課金ガチャ URL直 コスト不足 １．ガチャを実行し、結URL果画面の を控え

ておく

- URL直 - ガチャを実行しアイテムを獲得できないこと 対象のガチャを引くことができないユーザー SP

17 ガチャ 課金ガチャ 1 URL連 改ざん - １．所有しているコインURL以上の値に、 を改

ざんして入力する

- URL改ざん - 所有しているコイン以上にガチャを実行しようとしても、実行できないこと SP

18 ガチャ 課金ガチャ 1 URL連 改ざん - URL１．結果 を改ざんして入力する

- URL改ざん - 他の結果にアクセスし不正に獲得しようとしても、ガチャを実行しアイテムを獲得できないこと

SP

同時押し

負荷

タイミング

フラグ周り

24

ご清聴ありがとうございました

www.catcloud.net

システム開発部 石井

株式会社 SHIFTクラウドテスト管理ツール「 CAT 」　テストの効率化ポイントと機能のご紹介

アジェンダ

ソフトウェアテスト専門会社「 SHIFT 」とは 自己紹介 テスト管理ツール「 CAT 」の概要について操作デモによる CAT の実演 まとめ

26

27

ソフトウェアテストの「品質保証」を支援するテスト専門のプロ集団

　　　　　　　　　　　とは

社名 　株式会社 SHIFT業務内容 　ソフトウェアの品質保証支援、ソフトウェアテスト事業

設立 　 2005 年 9 月 7 日上場 　東証マザーズ　 3697従業員数 　 960 名　※契約社員・パートナー含む（ 2016 年 5 月時点）

代表者 　代表取締役社長　丹下 大　 Masaru Tange

所在地 　【本社＆東京 TC 】東京都港区麻布台 2-4-5 メソニック 39MT ビル 　【札幌 TC 】北海道札幌市中央区北 1 条西 3 丁目 3 　札幌プラザビル

　 【福岡 TC 】福岡県福岡市中央区天神 1-15-6 　綾杉ビル　 ※ TC… テストセンター

子会社

　 SHIFT INDIA PRIVATE LIMITED （インド国）　 SHIFT GLOBAL PTE LTD （シンガポール国）　 SHIFT ASIA CO., LTD　 SHIFT PLUS　 SHIFT SECURITY　リベロ・プロジェクト

28

CAT開発チームより CAT をご紹介させていただいてます！

自己紹介

・ 2015 年 8 月 SHIFTへ入社【前職】　最大手倉庫会社ユーザー系企業にて　 SE として基幹システムの　開発・保守に従事【現在】　・ CAT開発チームでサポートや　お客様への御紹介を担当　・ CAT のテストも実施【 Email 】　 suguru.ishii@shiftinc.jp　ご興味があればご連絡ください！

セールスサポート石井優 Suguru

Ishii

29

テスト工程を一貫して管理する SHIFT の主力テスト管理ツール

テスト管理ツール「 CAT 」とは

オンラインでテストを実行し、実行画面上で障害を登録、強力な検索機能等、テストの生産性を大きく向上させます！

テスト実行機能と連携し、自動的にデータが蓄積されます！※Redmine 、 JIRA 、 Backlog とも連携可能

テストの進捗状況や障害状況を、自動的に集計・レポートするので、進捗管理や報告業務で煩わされることはありません！

テストケース管理・実行機能

障害管理機能

進捗管理機能

全工程クラウドで管理、テストの進捗・品質を可視化！

30

手作業でのテスト管理により集計にかかる重い負担・コストが発生

ソフトウェアテストの現場で発生する問題

・毎日手作業の集計が大量に発生し、 1 日中集計している。・進捗はメールが届くまでわからない。・課題対応や PM ・顧客への報告等、対応が遅れる。

・各メンバーから送られてくる　テスト仕様書の Excel を回収

・毎日定時にテスト進捗を集計し、　障害情報とともに各マネージャ　に送付テスト情報

大量の Excel

プロジェクト 3(障害情報 )

プロジェクト 1(障害情報 )

プロジェクト 2(障害情報 )

プロジェクト 1(障害情報 )

プロジェクト 2(障害情報 )

プロジェクト 3(障害情報 )

31

管理者の負担を大きく軽減、コストと品質の向上に寄与

CAT導入での解決方法

31

これまでの運用を大きく変えず、　テスト工程の効率化を実現 ! ！迅速な障害対応や品質分析で納期を確保し、品質を向上。

テスト＋障害情報

・ CAT からチケットの登録、編集、　削除、参照が可能・障害とテストデータを照らし　合わせて、進捗管理や分析が　簡単に可能・開発者も進捗をいつでも確認可能

障害情報を定期的に同期

32

管理者の進捗確認にかかる工数 80% の削減！

コスト削減効果の例

管理者の一日の作業コスト比較 ( 管理者 1 名、テスター 10 名のチーム想定 )

メンバーから実行結果ファイルの収

集30 分

実行結果の集計30 分

収集＋集計＋進捗確認合計 75 分

メンバーから実行結果ファイルの収

集0 分

実行結果の集計0 分

進捗確認のみ合計 15 分

CAT導入後CAT導入前

管理者だけで 80% の工数削減削減した時間は品質課題の解決に注力し品質も向上

回収したExcel

マネージャ

メンバー進捗確認15 分

進捗確認15 分

33

次期の予測に必要となる過去のプロジェクトの情報が全て蓄積

得られる定性効果の例

適切なテストケース数はどのくらい

だろうかこの機能はどの程度障害が出て、

対応に必要な工数はどのくらいだろうか

【次のプロジェクトの見積り時・・・】

どの環境を手厚くテストするべきか

・総ケース数・発生障害数・進捗の速度・機能・環境ごとの品質指標等、多数の指標を表示

全プロジェクトの情報をナレッジとして蓄積

34

CAT のテストケース登録から進捗表示・品質分析までを実演

操作デモ

CAT実際の操作を御紹介致します

35

CAT はテスト工程を効率化し品質を向上します

まとめ

CAT公式ページにて、 10 日間無償トライアル実施中

https://www.catcloud.net/お問い合わせ： cat_support@shiftinc.jp

・テスト工程を一貫して管理・テスト管理の負担とコストを削減・テスト工程の可視化による　プロダクト品質の向上

36

ご清聴ありがとうございました。