device farm を使ったスマホアプリの自動テスト

Device Farm を使ったスマホアプリの自動テスト

JAWS DAYS 2016 - Move Up the Next Cloud -2016/03/06 ＠ベルサール新宿グランド

Sansan 株式会社　辰濱健一

>Agenda

• 自己紹介

• Device Farm とは

• Device Farm を有効活用するために

• Device Farm での実行

• 効果

• 雑感

• まとめ

自己紹介

>自己紹介

• 辰濱健一

• Sansan 株式会社所属

• スマホアプリエンジニア

• リモートワーク＠徳島県神山町

• Tokushima.app 主催（スマホアプリ開発勉強会）

• JAWS-UG 四国のイベントに、なんやかんやでちょこちょこ参加

• 趣味は音楽と旅行

>自己紹介

• 業務経歴

• 1 社目＠徳島市

• Java, C++, MFC• UWSC を使った Windows アプリの UI 自動テストの導入

• 性能改善チームにて、自動性能計測ツールを作成

• iOS （ Objective-C ） , Android （ Java ） , Windows （ C# ）のスマホ＆タブレット向けアプリ開発

• 機能担当制、 iOS で作った機能は作った人が他 OS に移植

• 3 社目＠徳島県神山町

• スマホアプリの自動テスト

• リモートワーク

>自己紹介

• 業務経歴

開発＆品質担保と自動テスト

>自己紹介

• 業務経歴

モバイル開発

>自己紹介

• 業務経歴

モバイル開発

モバイル開発での品質担保と自動テスト

>JAWS-UG のイベント参加実績

日時タイトル参加形態案内時の感想

2013/11/25 AWS 勉強会「クラウドについて入門から活用事例まで説明します！」 in 美波町

一般参加 AWS って何？

2014/10/4 四国クラウドお遍路 2014 LT 地元神山開催だし、サテライトオフィスネタでLT でもするかー

2015/10/10 四国クラウドお遍路 2015- クラウドと IT 技術者の働き方と -

登壇リモートワークの話ならできる！

2016/3/12 JAWS DAYS 2016 登壇

2016/3/12 JAWS DAYS 2016 登壇えっ！？

・年１回しか参加してない・ AWS の話をしたことない・しかも DAYS ！？・弊社、企業サポータ…

・アプリエンジニアなのですが…

2016/3/12 JAWS DAYS 2016 登壇えっ！？

でも、四国でのご縁（コミュニティ）からのお声がけなので、頑張ります！！

・年１回しか参加してない・ AWS の話をしたことない・しかも DAYS ！？・弊社、企業サポータ…

・アプリエンジニアなのですが…

>Sansan 神山ラボ

• 築 70 年の木造古民家（ 3 棟）

• 略歴

• 2010 年設置

• 〜 2013/11: 合宿所

• 2013/11 〜 : 常駐メンバーのいる開発拠点に

• 家具家電、畑付き、風呂トイレセパレート

• 家賃：数万円 / 月

• インターネット接続：光回線

• 最寄り駅まで徒歩 15 分

• 改装 OK 物件

>Sansan 神山ラボ

掘りごたつ席最近は

>2014 年の LT 資料より…

>Sansan 株式会社

← 昨日発表！！

Let’s Try!!

この人数で試して大丈夫なの？

安心して下さい！

AWS 使ってますから！

>AWS 導入事例

Device Farm とは

>Device Farm とは

• AWS クラウドで実機のデバイスを使用してアプリをテスト

• Android / iOS / Fire OS に対応

• 実際の環境をシミュレート

• 開発ワークフローとの統合

• UI テストフレームワークをサポート

• 料金

>Device Farm とは

• 料金エミュレータよりも

信頼できるパフォーマンス

>Device Farm とは

• 料金マルチプラット

フォーム！

>Device Farm とは

• 料金位置情報の指定、端末言語、前提アプリのインストールなど

>Device Farm とは

• 料金・ API・ Gradle Plugin・ Jenkins Plugin

>Device Farm とは

• 料金 Appium, Espressoなどで、指定した UI操作が記述可能

>Device Farm とは

• 料金・ 0.17 $ / デバイス分・ 250 $ / 月・ 250 デバイス分無料

Device Farm を有効活用するために

>Device Farm を有効活用するために

• 何らかのテスティングフレームワークを習得しよう！

• スクリーンショットを保存しよう！

>テスティングフレームワーク

• UI 操作を記述するためのフレームワーク

• 特徴

• iOS 専用、 Android 専用、ハイブリッド

• アプリ内部オブジェクトへのアクセスの可否

• リリースバイナリでの実行可否

• アプリ外の端末の操作（遷移後の別アプリの操作など）の可否

• 用途によって選ぼう

• 細かなところまでテストをしたい？

• リリースバイナリでテストをしたい？（ Android だとリリース時に難読化や最適化がかかる）

• 記述可能な言語

>テスティングフレームワーク

• 弊社で使っているテスティングフレームワーク

• Android• Robotium, Espresso• アプリ内オブジェクト利用可→　端末内 DB の状態やキャッシュの値も参照可能

• 別アプリ遷移後の操作はできない…→　 UIAutomater との併用を検討

• iOS• KIF

• iOS & Android• Appium （ Ruby ）でテストコードを共通化

• リリースバイナリ可

>テストコード

• 未入力でボタンタップ↓エラー表示の確認

※テストライブラリを抽象クラスで隠蔽しています

自動テストのデモ

サンプルアプリはhttps://github.com/tatsuhama/DeviceFarmSampleAndroidに置いています。

>スクリーンショット

• どのテスティングフレームワークでも、だいたいサポートされている

• 任意のタイミングでスクリーンショットを保存することで、実機での画面レイアウト確認にもなる

• エラー時にスクショを残すのはオススメ

Device Farm での実行

※このセクションは、 Android 開発を前提に説明します

>Device Farm での実行

• Web から実行

• Gradle Plugin から実行

• Jenkins から実行

>Device Farm での実行 - Web から

「 Robotium で書いた Android アプリのテストを　 AWS Device Farm で実行する」http://qiita.com/tatsuhama/items/27d5e3ef1056e740b085で詳しく書いているので、雰囲気だけ掴んでもらえば OK。

※前提として、アプリ本体、テスト apk はビルド済みとする

面倒…

結果表示

>Gradle Plugin から実行

• Android の build.gradle へ何行か追記

• IAMユーザを作成して、 accessKey / secretKey を取得（ IAM : Identity and Access Management ）

• accessKey / secretKey を build.gradle へ設定

• ./gradlew devicefarmUpload を実行

• 　　

• Android の build.gradle へ何行か追記

• IAMユーザを作成して、 accessKey / secretKey を取得（ IAM : Identity and Access Management ）

• accessKey / secretKey を build.gradle へ設定

• ./gradlew devicefarmUpload を実行

• 事前準備さえすれば、コマンド 1 つなので便利

• 「 AWS Device Farm Gradle Plugin を導入した」 http://qiita.com/tatsuhama/items/ca7b8e4dbe2fb5c687c0参照

• あくまでも devicefarmUpload なので、呼び出しのみ

• 結果はコンソール上に示された URL を見に行く

• URL を見ると、ちゃんと結果が表示されている

• 結果を見に行くのはめんどくさい…

• 2016/02/28 時点で公式ガイドには、classpath ‘com.amazonaws:aws-devicefarm-gradle-plugin:1.0’

を書くようアナウンスされているhttp://docs.aws.amazon.com/devicefarm/latest/developerguide/aws-device-farm-gradle-plugin-setting-up.html

• ただし、 1.0 では期待通り動かない…https://github.com/awslabs/aws-device-farm-gradle-plugin/issues/4

• 1.1 で改修されているので、少なくとも 1.1 を使いましょう！

• （中の人が今日聞いていることを期待してみる）

（中略）

>Jenkins から実行

• Jenkins に AWS Device Farm Plugin を導入

• Jenkins のシステム設定

• accessKey / secretKey を追加

• Jenkins にジョブを作成＆設定する

• 本体 apk 、テスト apk の作成

• ビルド後の処理の処理に「 Run Tests on AWS Device Farm 」を追加して、設定する

• ジョブを実行

• Jenkins 上から結果を確認

• Jenkins に AWS Device Farm Plugin を導入

• Jenkins のシステム設定

• accessKey / secretKey を追加

• 本体 apk 、テスト apk の作成

• ジョブを実行

良い！！

良い！！Slack 連携などすれば、もっと良くなる！

効果

>効果

• 手元に端末がなくても、その端末の実機でテストが行える

• 各拠点に何台も端末を買わなくて良い

• テスト記述できるスキルがあれば、テスター不要？

• リモートワークの味方！

• 端末を購入しなくても、時間借りができる

今後への期待

>今後への期待

• 作ったプロジェクトが削除できない…

• Appium の Ruby サポート• 現在は Java のみ

• フォーラム上では、サポート予定と書かれていた

• ジョブ開始までに時間がかかる（場合がある）

• Android のスクリーンショットの保存 or 収集ができない（ iOS は OK ）• フォーラムで多々報告がある

• テストを書かなくてもエミュレータのように、端末を操作したい…

まとめ

>まとめ

• Device Farm は端末の実機を時間借りできる

• モンキーテストも実行できるが、テストを記述した方が効果的

• 実行は、 Jenkins などで自動化しよう！

• 場所を選ばない働き方の味方

device farm を使ったスマホアプリの自動テスト

Software

apresentação farm

colunistas farm

テストおよびテスト装置 -...

理想的なボディーになれるスマホアプリ...

tehno farm

usda-farm service agency farm loan programs

5 テスト技術 5.1 テストとは

大学発ベンチャーにおける - amazon web...

farm perinatal2008

animal farm 动物农场e7%be%8e%e4%b8%bd%e4%b8...animal...

insect farm

aws device farmでandroidのuiテストをやってみた

スマホアプリ向け cpi ad network「adcrops」

redmineのスマホアプリ redminepm

farm animals

spectroquant シリーズ銅 0.05 - 8.00 mg/l cuセル...

enade farm

data apiで作るスマホアプリ

farm. asma

岡山スマホアプリ開発もくもく会 #oso2016