スマートフォンアプリの テスト自動化をはじめよう

システムテスト自動化カンファレンス2013

2013.12.1 #stac2013

自己紹介長谷川 孝二 @nowsprinting (twitter, github, etc...)

• テスト自動化研究会

• Androidテスト部

• iOS/Androidアプリ開発者

• 受託開発（フリーランス）

• 自社開発

自己紹介長谷川 孝二 @nowsprinting (twitter, github, etc...)

• テスト自動化研究会

• Androidテスト部

• iOS/Androidアプリ開発者

• 受託開発（フリーランス）

• 自社開発

アジェンダ• テスト自動化の現状 • システムテスト自動化のROI

• システムテスト自動化フレームワークの紹介 • デモ • Tips

テスト自動化の現状

ユニットテスト/iOS

• Xcode標準のOCUnit(SenTestingKit)

• Xcode5ではXCTest、テスト実行の強化

• Mac OS 10.9でX Server(Bot)によるCI

• GHUnit, OCMockなど

モデルのユニットテストは容易

ユニットテスト/Android

• Android Testing Framework（Android SDK同梱/JUnit3ベース）

• UI操作を補完するオープンソースフレームワーク（Robotiumなど）

• Mockito, EasyMock, Robolectricなど

モデルのユニットテストは容易

システムテスト• iOS/Androidとも自動化ツール/フレームワークは多数存在する（後ほど紹介）

• UI変更頻度が高い、トランジションアニメーション等の重要度が高いが、そのテストは自動化しにくい

システムテスト• iOS/Androidとも自動化ツール/フレームワークは多数存在する（後ほど紹介）

• UI変更頻度が高い、トランジションアニメーション等の重要度が高いが、そのテストは自動化しにくい

自動化は（現実的に）可能なのか？

システムテスト自動化のROI

理想の高い利益

• テスト実行時間の短縮 • “正しい”画面表示のテスト（Judge）

• 複数のOSバージョン/機種で実行できる

• OS/機種依存問題を検出できる

Return

投資

• 自動化ツールの選定/習得

• 自動化スクリプトの作成（高度なJudgeを求められる）

• 自動化スクリプトの保守（同上） • テストデータ、スタブサーバの準備

理想の高い利益を 得るための

Investment

投資

• 自動化ツールの選定/習得

• 自動化スクリプトの作成（高度なJudgeを求められる）

• 自動化スクリプトの保守（同上） • テストデータ、スタブサーバの準備

理想の高い利益を 得るための

Investment

コストの増大、工程遅延、保守の放棄

理想の高い利益

• テスト実行時間の短縮 • “正しい”画面表示のテスト（Judge）

• 複数のOSバージョン/機種で実行できる

• OS/機種依存バグを検出できる

Return

現実的な利益に絞る

• テスト実行時間の短縮 • “正しい”画面表示のテスト（Judge）

• 複数のOSバージョン/機種で実行できる

• OS/機種依存バグを検出できる

Return

“テストの目的”に立ち返る

• 欠陥を摘出する • 対象ソフトウェアの品質レベルが十分であることを確認する

• 意思決定のための情報を示す • 欠陥の作り込みを防ぐ

※JSTQBシラバスより引用

• 欠陥を摘出する • 対象ソフトウェアの品質レベルが十分であることを確認する

• 意思決定のための情報を示す • 欠陥の作り込みを防ぐ

※JSTQBシラバスより引用

スコープを“回帰テスト”に絞っても満たせるもの“テストの目的”に立ち返る

• 欠陥を摘出する • 対象ソフトウェアの品質レベルが十分であることを確認する

• 意思決定のための情報を示す • 欠陥の作り込みを防ぐ

※JSTQBシラバスより引用

対象OS/機種で”とりあえず”動くことが確認できれば“テストの目的”に立ち返る

欲張らないROI

• 利益 • テスト実行時間の短縮 • 複数OSバージョン/機種で実行できる

• 投資 • 自動化ツールの選定/習得 • 自動化スクリプトの作成/保守（高度な頑張らないテストスクリプト）

• テストデータ、スタブサーバの準備

頑張らないテストスクリプト

• 日時、天気、株価、為替、乱数などに

起因するJudgeを無理にはしない

• レイアウト崩れまでJudgeしようとしない

• 機種依存の問題を狙ってテストしようとしない（OS/解像度のフラグメンテーションと、機種依存問題は分けて考える）

頑張らないテストスクリプト

• 日時、天気、株価、為替、乱数などに

起因するJudgeを無理にはしない

• レイアウト崩れまでJudgeしようとしない

• 機種依存の問題を狙ってテストしようとしない（OS/解像度のフラグメンテーションと、機種依存問題は分けて考える）

ユニットテストでモックを使って実施

頑張らないテストスクリプト

• 日時、天気、株価、為替、乱数などに

起因するJudgeを無理にはしない

• レイアウト崩れまでJudgeしようとしない

• 機種依存の問題を狙ってテストしようとしない（OS/解像度のフラグメンテーションと、機種依存問題は分けて考える）

ユニットテストでモックを使って実施

スクリーンショットを目視確認

頑張らないテストスクリプト

• 日時、天気、株価、為替、乱数などに

起因するJudgeを無理にはしない

• レイアウト崩れまでJudgeしようとしない

• 機種依存の問題を狙ってテストしようとしない（OS/解像度のフラグメンテーションと、機種依存問題は分けて考える）

ユニットテストでモックを使って実施

内容次第で手動で確認

スクリーンショットを目視確認

頑張らなくても ここまでできる事例

iOSのUIAlertView

iOS6

iOS7

iOSのUIAlertView

iOS6

iOS7 CLASH!!!

iOSのUIPickerView

iOS6

iOS7

iOSのUIPickerView

iOS6

iOS7 CLASH!!!

その他 iOSの事例 1

CLASH!!!

UIAlertViewを非UIスレッドから表示できてしまっていたが、正しく例外となるようになった例

（ アプリの潜在不良が顕在化 /iOS3前後くらい？）

その他 iOSの事例 2

CLASH!!!

開放/上書きされるはずのインスタンスを参照していたが、iOSバージョンアップでインスタンスが正しく開放されるようになった

（アプリの潜在不良が顕在化）

何か操作

AndroidのdrawRect()

Android 4.1

Canvas#drawRect(100,100,10,10);

(10,10)

(100,100)

Android 4.2

AndroidのdrawRect()

Android 4.1

Canvas#drawRect(100,100,10,10);

(10,10)

(100,100)

描画されない！Android 4.2

※left<=right, top<=bottomでないと描画されない仕様

Android機種依存の例 1一定量のViewヒエラルキーの上でソフトウェアキーボードが出現するときにStackOverflowErrorが発生（某メーカーのAndroid 2.3

搭載端末のみ）

普通の端末

奇妙な端末

Android機種依存の例 2

普通の端末

奇妙な端末

Android機種依存の例 2

押さえておきたいポイント• 全ての画面は網羅する（エラーケースの

AlertView表示等も含むことが望ましい）

• CIなどで繰り返し行なう段階であれば、スクリーンショットの比較はImageMagickなどで自動化する（但し全てCI化は目指さない）

• 実行時間も0ではないので、テストケースの絞り込みは意識する

利益を拡大するReturn

欲張らないROI

• テスト実行時間の短縮 ➡時間と集中力を高度なテストに割り振る ➡リリース頻度の向上（4～6週間ごとが理想）

• 複数OSバージョン/機種で実行できる ➡さらにテスト実行環境を増やす。端末の回転、ロケール、タイムゾーン、12h/24h表記、IME（Android）、文字サイズ（Android 4.0）

利益を拡大する• テスト実行時間の短縮 ➡時間と集中力を高度なテストに割り振る ➡リリース頻度の向上（4～6週間ごとが理想）

• 複数OSバージョン/機種で実行できる ➡さらにテスト実行環境を増やす。端末の回転、ロケール、タイムゾーン、12h/24h表記、IME（Android）、文字サイズ（Android 4.0）

Return

手動ではできないことができる• ロードテスト（ヒートラン） • メモリリークの調査 • 低メモリ状態での動作

• コンカレンシーテスト • 再現率の低い（タイミングがシビアな）問題の確認テスト

システムテスト自動化 フレームワークの紹介

monkeyrunner

• Android SDK同梱の自動テストツール。スクリプトはPythonで記述。キャプチャツール有り

• 座標を指定してタップ、ドラッグ • スクリーンショット、画像比較でのJudge

• http://developer.android.com/tools/help/monkeyrunner_concepts.html

• サンプル https://github.com/nowsprinting/nameko-harvest

Robotium• Android Testing Frameworkのヘルパーで、

Seleniumライクなテスト記述が可能（JUnitの知識が必要）

• 端末回転、スクリーンショットなど必要機能は揃っている

• https://code.google.com/p/robotium/

• サンプル https://github.com/mike-neck/AllowLog

uiautomator• Android 4.1で利用できるSDK同梱の自動テストツール。端末の回転とスクリーンショットは4.2から利用可能。JUnitベース

• SeleniumのようにViewのヒエラルキーを辿って画面要素を指定可能

• Viewのdescriptionでも要素を指定可能

• http://developer.android.com/tools/help/uiautomator/index.html

• サンプル https://gist.github.com/nowsprinting/4131415

Espresso

• 10月に公開された、Google謹製のAndroid

向けテスティングフレームワーク

• Android 2.2以上で利用可能

• テスト記述は JUnitベース

• https://code.google.com/p/android-test-kit/

UIAutomation

• Xcodeに同梱のInstrumentツールで自動実行を行なうフレームワーク

• スクリプトはJavaScriptで記述

• 標準でassert機能が無いのでJSのライブラリを使う（ tuneup_js等）

Appium• iOS/Androidで利用できるオープンソースのテストツール

• 複数のスクリプト言語で記述可能 • テスト対象にAgentを組み込む必要がない

• AndroidはAPI Level 17 (JellyBean)以上が必要

• http://appium.io/

Calabash

• Cucumberのテスト（feature）を、iOS/

Androidデバイスで実行できる

• iOS版はテスト対象にAgentを組み込む必要あり

• https://github.com/calabash/calabash-android

• https://github.com/calabash/calabash-ios

MonkeyTalk

• Gorilla Logic社が開発/公開しているOSSでiOS/Androidで利用可。旧”FoneMonkey”

• 専用の表形式IDEでテストを記述可能

• テスト対象にAgentを組み込む必要あり

• ATI 2012 Awards iOS/Android部門winner

• https://www.gorillalogic.com/monkeytalk

その他 iOS向けフレームワーク• Franc • Cucumber系、 ATI 2012 Awards iOS部門

finalists • http://www.testingwithfrank.com/

• Zucchini • DSL系、ATI 2012 Awards iOS部門finalists

• http://www.zucchiniframework.org/

• KIF • https://github.com/kif-framework/KIF

ツール選定のポイント• スクリプトを書けるチームかどうか （将来も保守していけるのか）

• iOS/Androidでテストを共有したいのか（但しUIが異なるので期待しすぎない）

• 「何が実行できるか」は余り重視しない（ツールの実行機能の差は縮まる）

デモ

Tips

テスト用ビルドを作る

• 複数のTarget/Configurationを持つiOSプロジェクトの構成Tips http://nowsprinting.hatenablog.com/entry/2012/11/

18/031511

• Gradle+Androidプラグインでプロダクトフレーバーを試してみた http://nowsprinting.hatenablog.com/entry/

2013/05/23/153941

Agentの組み込みの他、接続先サーバ別など自動生成できると便利です

UAT/ベータテスト

• iOS/Android

• TestFlight https://testflightapp.com/

• Android

• deploy gate https://deploygate.com/

• Google Play Storeのベータ版配布機能

On The Airでビルドを配布できるサービス

リモートテストサービス• AppKit Box Remote TestKit

• インターネット経由で実機をレンタルし、テストできるサービス

• Android向けサービスだったが、9月にiOSデバイスも利用可能に

• http://appkitbox.com/testkit

まとめ

まとめ

•欲張らない •頑張らない

まとめ

•欲張らないROI

•頑張らないテストスクリプト