スマートフォンアプリの色々自動化をはじめよう - at sonydna meisters salon...
DESCRIPTION
http://meisters.doorkeeper.jp/events/11134TRANSCRIPT
スマートフォンアプリの テスト自動化をはじめよう
Meisters Salon 特別編 2014.05.23
@nowsprinting/Koji Hasegawa
色々
自己紹介• @nowsprinting/Koji Hasegawa
• フリーランス (iOS/Androidアプリ受託開発)
• テスト自動化研究会、Androidテスト部
• 著書『iOSアプリ テスト自動化入門』
『Androidアプリテスト技法』(共著)
著書
アジェンダ• テストレベルと自動化 • システムテスト自動化のROI
• システムテスト自動化フレームワークの紹介 • ビルド・静的解析の自動化 • まとめ
テストレベルと自動化
テストレベル
テストレベル
• テストフェーズ(工程)とは必ずしも一致しない
• プロダクト(アプリ)の結合度 • 担当者の変わり目
ユニットテスト
• MVCのM(モデル、ビジネスロジック)を中心に行なう
• XCTest, GHUnit, Kiwi, OCMock, …
• JUnit, Robolectric, Mockito, EasyMock, …
ユニットテスト
• MVCのM(モデル、ビジネスロジック)を中心に行なう
• XCTest, GHUnit, Kiwi, OCMock, …
• JUnit, Robolectric, Mockito, EasyMock, …
小さな単位でテスト、検証を厳密に行なうことができ、自動化の恩恵が大きい
統合(結合)テスト• 個々のクラス間の統合(結合) • iOS/Android SDKとの統合
• UI(StoryBoard, nib, Layout XML)との統合
• サーバAPIとの統合
統合(結合)テスト• 個々のクラス間の統合(結合) • iOS/Android SDKとの統合
• UI(StoryBoard, nib, Layout XML)との統合
• サーバAPIとの統合
網羅的に、結合箇所に着眼。この観点でUT/STにテスト項目があれば良いはず
システムテスト• QA担当者が実施する、エンド・ツー・エンドのテスト
• アプリを実機にインストールして実施 • サーバAPIはステージング以上
• 機能テスト、非機能テストなど色々
システムテスト• QA担当者が実施する、エンド・ツー・エンドのテスト
• アプリを実機にインストールして実施 • サーバAPIはステージング以上
• 機能テスト、非機能テストなど色々機能テストは自動化できるが、ユーザビリティや厳密な検証を欲張らないこと
システムレベルの 機能テスト
• 近年のテスト自動化ツールは、Selenium
のようにViewのツリー構造を利用してオブジェクト指定が可能
• レイアウトや座標に左右されないテストが可能。(ただし機能テストに限る)
システムテスト自動化のROI(投資利益率)
理想の高い利益• テスト実行時間の短縮 • “正しい”画面表示のテスト(Judge/Assert)
• 複数のOSバージョン/機種で実行できる
• OS/機種依存問題を検出できる(表示崩れなども)
Return
投資• 自動化ツールの選定/習得
• 自動化スクリプトの作成(高度なJudge/
Assertを求められる)
• 自動化スクリプトの保守(同上) • テストデータ、スタブサーバの準備
理想の高い利益を 得るための
Investment
投資理想の高い利益を
得るためのInvestment
コストの増大、工程遅延、保守の放棄
• 自動化ツールの選定/習得
• 自動化スクリプトの作成(高度なJudge/
Assertを求められる)
• 自動化スクリプトの保守(同上) • テストデータ、スタブサーバの準備
理想の高い利益Return
• テスト実行時間の短縮 • “正しい”画面表示のテスト(Judge/Assert)
• 複数のOSバージョン/機種で実行できる
• OS/機種依存問題を検出できる(表示崩れなども)
現実的な利益に絞るReturn
• テスト実行時間の短縮 • “正しい”画面表示のテスト(Judge/Assert)
• 複数のOSバージョン/機種で実行できる
• OS/機種依存問題を検出できる(表示崩れなども)
“テストの目的”に立ち返る
• 欠陥を摘出する • 対象ソフトウェアの品質レベルが十分であることを確認する
• 意思決定のための情報を示す • 欠陥の作り込みを防ぐ
※JSTQBシラバスより引用
• 欠陥を摘出する • 対象ソフトウェアの品質レベルが十分であることを確認する
• 意思決定のための情報を示す • 欠陥の作り込みを防ぐ
※JSTQBシラバスより引用
スコープを“回帰テスト”に絞っても満たせるもの“テストの目的”に立ち返る
• 欠陥を摘出する • 対象ソフトウェアの品質レベルが十分であることを確認する
• 意思決定のための情報を示す • 欠陥の作り込みを防ぐ
※JSTQBシラバスより引用
対象OS/機種で”とりあえず”動くことが確認できれば“テストの目的”に立ち返る
欲張らないROI• 利益 • テスト実行時間の短縮 • 複数OSバージョン/機種で実行できる
• 投資 • 自動化ツールの選定/習得 • 自動化スクリプトの作成/保守(高度な頑張らないテストスクリプト)
• テストデータ、スタブサーバの準備
頑張らないテストスクリプト
• 日時、天気、株価、為替、乱数などに
起因するJudgeを無理にはしない
• レイアウト崩れまでJudgeしようとしない
• 機種依存の問題を狙ってテストしようとしない(OS/解像度のフラグメンテーションと、機種依存問題は分けて考える)
頑張らないテストスクリプト
• 日時、天気、株価、為替、乱数などに
起因するJudgeを無理にはしない
• レイアウト崩れまでJudgeしようとしない
• 機種依存の問題を狙ってテストしようとしない(OS/解像度のフラグメンテーションと、機種依存問題は分けて考える)
ユニットテストでモックを使って実施
頑張らないテストスクリプト
• 日時、天気、株価、為替、乱数などに
起因するJudgeを無理にはしない
• レイアウト崩れまでJudgeしようとしない
• 機種依存の問題を狙ってテストしようとしない(OS/解像度のフラグメンテーションと、機種依存問題は分けて考える)
ユニットテストでモックを使って実施
スクリーンショットを目視確認
頑張らないテストスクリプト
• 日時、天気、株価、為替、乱数などに
起因するJudgeを無理にはしない
• レイアウト崩れまでJudgeしようとしない
• 機種依存の問題を狙ってテストしようとしない(OS/解像度のフラグメンテーションと、機種依存問題は分けて考える)
スクリーンショットを目視確認
ユニットテストでモックを使って実施
内容次第で手動で確認
頑張らなくても ここまでできる事例
iOSのUIAlertView
iOS6
iOS7
iOSのUIAlertView
iOS6
iOS7 CLASH!!!
iOSのUIPickerView
iOS6
iOS7
iOSのUIPickerView
iOS6
iOS7 CLASH!!!
AndroidのdrawRect()
Android 4.1
Canvas#drawRect(100,100,10,10);
(10,10)
(100,100)
Android 4.2
AndroidのdrawRect()
Android 4.1
Canvas#drawRect(100,100,10,10);
(10,10)
(100,100)
描画されない!Android 4.2
※left<=right, top<=bottomでないと描画されない仕様
Android機種依存の例 1一定量のViewヒエラルキーの上でソフトウェアキーボードが出現するときにStackOverflowErrorが発生(某メーカーのAndroid 2.3
搭載端末のみ)
普通の端末
奇妙な端末
Android機種依存の例 2
普通の端末
奇妙な端末
Android機種依存の例 2
利益を拡大するReturn
欲張らないROI
• テスト実行時間の短縮 ➡時間と集中力を高度なテストに割り振る ➡リリース頻度の向上(4~6週間ごとが理想)
• 複数OSバージョン/機種で実行できる ➡さらにテスト実行環境を増やす。端末の回転、ロケール、タイムゾーン、12h/24h表記、IME(Android)、文字サイズ(Android 4.0)
利益を拡大する• テスト実行時間の短縮 ➡時間と集中力を高度なテストに割り振る ➡リリース頻度の向上(4~6週間ごとが理想)
• 複数OSバージョン/機種で実行できる ➡さらにテスト実行環境を増やす。端末の回転、ロケール、タイムゾーン、12h/24h表記、IME(Android)、文字サイズ(Android 4.0)
Return
利益を拡大する• テスト実行時間の短縮 ➡時間と集中力を高度なテストに割り振る ➡リリース頻度の向上(4~6週間ごとが理想)
• 複数OSバージョン/機種で実行できる ➡さらにテスト実行環境を増やす。端末の回転、ロケール、タイムゾーン、12h/24h表記、IME(Android)、文字サイズ(Android 4.0)
Return
ROIにとどまらず、製品の価値を上げられる!
手動ではできないことができる• ロードテスト(ヒートラン) • メモリリークの調査 • 低メモリ状態での動作
• コンカレンシーテスト • 再現率の低い(タイミングがシビアな)問題の確認テスト
システムテスト自動化 フレームワークの紹介
monkeyrunner
• Android SDK同梱の自動テストツール。スクリプトはPythonで記述。キャプチャツール有り
• 座標を指定してタップ、ドラッグ • スクリーンショット、画像比較でのJudge
• http://developer.android.com/tools/help/monkeyrunner_concepts.html
• サンプル https://github.com/nowsprinting/nameko-harvest
Robotium• Android Testing Frameworkのヘルパーで、
Seleniumライクなテスト記述が可能(JUnitの知識が必要)
• 端末回転、スクリーンショットなど必要機能は揃っている
• https://code.google.com/p/robotium/
• サンプル https://github.com/mike-neck/AllowLog
uiautomator• Android 4.1で利用できるSDK同梱の自動テストツール。端末の回転とスクリーンショットは4.2から利用可能。JUnitベース
• SeleniumのようにViewのヒエラルキーを辿って画面要素を指定可能
• Viewのdescriptionでも要素を指定可能
• http://developer.android.com/tools/help/uiautomator/index.html
• サンプル https://gist.github.com/nowsprinting/4131415
Espresso
• 10月に公開された、Google謹製のAndroid
向けテスティングフレームワーク
• Android 2.2以上で利用可能
• テスト記述は JUnitベース
• https://code.google.com/p/android-test-kit/
UIAutomation
• Xcodeに同梱のInstrumentツールで自動実行を行なうフレームワーク
• スクリプトはJavaScriptで記述
• 標準でassert機能が無いのでJSのライブラリを使う( tuneup_js等)
Appium• iOS/Androidで利用できるオープンソースのテストツール
• 複数のスクリプト言語で記述可能 • テスト対象にAgentを組み込む必要がない
• AndroidはAPI Level 17 (JellyBean)以上が必要
• http://appium.io/
Calabash
• Cucumberのテスト(feature)を、iOS/
Androidデバイスで実行できる
• iOS版はテスト対象にAgentを組み込む必要あり
• https://github.com/calabash/calabash-android
• https://github.com/calabash/calabash-ios
MonkeyTalk
• Gorilla Logic社が開発/公開しているOSSでiOS/Androidで利用可。旧”FoneMonkey”
• 専用の表形式IDEでテストを記述可能
• テスト対象にAgentを組み込む必要あり
• ATI 2012 Awards iOS/Android部門winner
• https://www.gorillalogic.com/monkeytalk
その他 iOS向けフレームワーク• Frank • Cucumber系、 ATI 2012 Awards iOS部門
finalists • http://www.testingwithfrank.com/
• Zucchini • DSL系、ATI 2012 Awards iOS部門finalists
• http://www.zucchiniframework.org/
• KIF • https://github.com/kif-framework/KIF
ツール選定のポイント• スクリプトを書けるチームかどうか (将来も保守していけるのか)
• iOS/Androidでテストを共有したいのか(但しUIが異なるので期待しすぎない)
• 「何が実行できるか」は余り重視しない(ツールの実行機能の差は縮まる)
• 仕様化、BDD
ビルド・静的解析の自動化
テスト用ビルドを作る
• 複数のTarget/Configurationを持つiOSプロジェクトの構成Tips http://nowsprinting.hatenablog.com/entry/2012/11/
18/031511
• Gradle+Androidプラグインでプロダクトフレーバーを試してみた http://nowsprinting.hatenablog.com/entry/
2013/05/23/153941
Agentの組み込みの他、接続先サーバ別など自動生成できると便利です
UAT/ベータテスト
• iOS/Android
• TestFlight https://testflightapp.com/
• Android
• deploy gate https://deploygate.com/
• Google Play Storeのベータ版配布機能
On The Airでビルドを配布できるサービス
継続的インテグレーション• OS X Server/Bots
• Xcodeとの統合。自由度は低め
• Jenkins
• 豊富なプラグイン、コードカバレジ、静的解析
• Travis CI
• クラウドサービス、Immutable
OS X Server/Bots
OS X Server/Bots
Jenkins
Jenkins
Jenkins
ビルド・静的解析を 自動化するメリット
• 手作業によるオペミスを減らす • 内部品質の低いプロダクトを改善する 足がかり
• ひとりでも寂しくない!
まとめ
まとめ
•欲張らない •頑張らない
まとめ
•欲張らないROI
•頑張らないテストスクリプト