test managerによるuiテスト自動化
TRANSCRIPT
Test ManagerによるUIテスト自動化
TFSUG 松川 怜右
(Ryosuke Matsukawa)
@matsukawar
Testing For Continues Delivery with VS2012
https://msdn.microsoft.com/en-us/library/jj159335.aspx#sec1
Testing For Continues Delivery with VS2012
https://msdn.microsoft.com/en-us/library/jj159335.aspx#sec1
Test Manager
•ライセンス– MSDNサブスクリプション(Test Professional または
Visual Studio Enterprise)で利用可能
•Test Manager 2013– Visual Studio インストール不要
– 前バージョンより動作が安定
– Bootstrap, JQuery UI, ASP.NET標準コントロール以外のUI操作できることを確認
コード化されたUIテストとの違い
•Unit Test / Coded UI Test– Visual Studio のテストの機能
– コードベース
– 値の検証も自動化できる
•Test Manager– 操作ベース
• コントロールのIDやクリック位置をTFSに記録
– 値の検証はマニュアル
Test Manager
•基本機能– テストケースの管理と共有
– テスト
• 手動
• 探索的
• 操作の自動化
– バグ起票
操作手順の再現性を上げる テスト効率を上げる
Test Managerの高度な機能
•配置環境の指定(SCVMM)
•Unit Test / Coded UI Test との紐づけ
– Visual Studio (Enterprise)
– Active Directory
– Hyper-V Server
– System Center Virtual Machine Manager(SCVMM)
– Build Controller / Build Agent
– Test Controller / Test Agent
– File Server
今日のアジェンダ
•Test Managerのみで自動化実現できないか?– 画面遷移
– シナリオの検証• 例：データの登録・編集・削除
•誰が作る?
– 非プログラマー
システムテスト、探索的検査の一部で活用
テスト計画テストスイート
共有ステップ
•UI操作の部品
•あらかじめ自動化
テストスイート
Buggy!
テストケース
共有ステップ ステップ
共有ステップの特徴
•どの情報に基づきUI操作が実行されるか?– ブラウザーのタイトル
– コントロールのIDURLが変わっても動作する
•エラー時
操作の記録(注意点)
https://msdn.microsoft.com/library/dd380742.aspx
作業の流れ
1. 整理– 共有ステップの作成と自動化
– テストケースの作成
2. テスト計画/スイートの作成
3. テスト
4. 結果のフィードバック
1.整理 - 共有ステップの作成 DEMO
1.整理 - 共有ステップの作成 DEMO
1.整理 - 共有ステップの作成
共有ステップに必要な操作のみ残しあとは削除。
DEMO
1.整理 - テストケースの作成
•共有ステップと、ステップ(手動化部分)を組合せ、テストケースを作成する
DEMO
1.整理 - テストケースの作成 DEMO
2.テスト計画/テストスイートの作成 DEMO
3.テスト DEMO
3.テスト
↓すべて自動化されていれば後は放置
DEMO
結果のフィードバック DEMO
誰が作る? について・・・
•非プログラマー
•EXCELでテスト設計を行いたい！– EXCELからTest Managerにコピペ可能
– リッチテキストなので、表なども貼り付け可能
共有ステップのパラメータ指定
@パラメータ名
操作記録時に、入力欄とパラメータ値をバインド
DEMO
共有ステップのパラメータ指定
テストケースコピーをした後、該当のパラメータを変更。* 共有ステップだけをコピーしてもUI操作はコピーされません。
DEMO
テストの進捗状況確認 DEMO
EXCELを利用したチケットの分析 DEMO
バグ起票 DEMO
探索的テスト
•検査仕様書に囚われないテスト– 品質向上やフィードバックのため ＋α要素として探索的テストを 熟練者 が行うと効果絶大となります。
DEMO
項目の追加について
•テンプレートを修正することで可能– フィールドに新しい独自項目を追加
– 現場のニーズに合わせてカスタマイズ可能
まとめ
•現場のカイゼン／効率化はできることから！– 分岐戦略
– ビルドサーバー、配置
– VSチェックインポリシーの見直し
– Test Managerの利用、操作自動化、EXCEL脱却
– テストケースの共有管理
– Lab Management