2014-04-22 ques #4 automation testing of mobage platform

Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.

1

2014/04/22 !Masaki Nakagawa Manager, SWET(Software Engineer in Test) Gr.Quality Management Dept.System Management UnitDeNA Co., Ltd.

Mobageオープンプラットフォームでのテスト自動化


About Me

• Masaki Nakagawa

• @ikasam_a

• github.com/masaki

• CPAN Author (metacpan.org/author/MASAKI)

• Testing Casual

http://github.com/masaki

http://metacpan.org/author/MASAKI

Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.http://gihyo.jp/magazine/wdpress/archive/2013/vol75

http://gihyo.jp/magazine/wdpress/archive/2013/vol75


http://atnd.org/events/40914

http://atnd.org/events/40914


Mobage統合事業本部 Japanリージョン事業本部プラットフォーム本部

システム部 SWETグループ

6


システム本部品質管理部 SWETグループ

(2014/04~)

7


今日話すこと

• Mobageオープンプラットフォーム概要 • “SWET”って何？ • プラットフォームのテスト自動化戦略

8


Mobageオープンプラットフォーム概要

9


Mobage Open Platform とは？

• http://developer.dena.jp/mbga/ • Mobageでゲームを公開できる仕組み • 色々なデバイスに対応 • Feature Phone • Smartphone • PC

10

http://developer.dena.jp/mbga/


Mobage Open Platform の歴史

• 2009/08 Open Platform Project スタート

• 2010/01 JP Platform (Feature Phone)

• 2010/10 JP Platform (Y!Mobage / PC)

• 2011/02 JP Platform (Smartphone Web)

• 2011/06 JP Platform (Smartphone App)

• 2012/12 JP Platform (ShellApp)

11


Mobage Open Platform の歴史

• 2011/07 WW Platform (Smartphone App)

• 2011/07 CN Platform (Smartphone App)

• 2012/02 KR Platform (Smartphone App)

• 2012/11 KR Platform (ShellApp)

• 2012/11 TC Platform (Smartphone App)

• 2013/01 CN Platform (ShellApp)

• 2013/02 KR Platform (Smartphone Web)

12


13

プラットフォームのグローバル展開


SWETグループ立ち上げの背景

• プラットフォームのグローバル展開 • 大規模システムの拡張とリファクタリング • デリバリーのスピードを落とさない • 検証属人性の解消

14


SWETグループ立ち上げの方針

• End-to-End テストを確立する • テストを徹底的に自動化する • テストしやすい環境を提供する

15


～テストしやすい環境～

• 単体テストのREDが消えない問題 • リリース頻度・速度・影響範囲のバランス • テスト時間のコスト問題 • CIの必要性

16


チーム立ち上げ

• 当初はQAチームとして出発 • 2012/01 当時は3人でスタート

• 現在はSWETグループ（正式に組織化） • 2014/04 現在は20名弱で活動中

• なぜ独立したチームにしたか？ • 横串チームによる「戦略的横展開」を狙う

17


“SWET”って何？

18


http://en.wikipedia.org/wiki/SET

http://en.wikipedia.org/wiki/SET


a

Quality Assurance job title


Names

• SET (Software Engineer in Test) by @Google

• SDET (Software Design/Development Engineer in Test) by @Microsoft

• SWET by @DeNA


Definition

• Google Testing Blog • http://googletesting.blogspot.com

• How Google Tests Software • http://googletesting.blogspot.jp/2011/01/how-google-tests-

software.html

http://googletesting.blogspot.com

http://googletesting.blogspot.jp/2011/01/how-google-tests-software.html


http://googletesting.blogspot.jp/2011/02/how-google-tests-software-part-two.html



the SET

• a developer role focused on testability

• review designs

• refactor code to testable

• write testing frameworks


the TE

• a role that puts testing first

• write automation scripts

• interpret test results

• drive test execution


Focus

• SETs primary focus is on the developer

• Individual feature quality

• Enabling developers to easily test


Developer

Productivity


our SWET = SET + TE

• Developer Productivity

• Quality Assurance


SWET Group Mission Statement

• Keep the quality of Services and Products

• Improve the quality and productivity of Services and Products


As an Engineer

• can be developed test target

• NOT a tester but a test engineer


プラットフォームのテスト自動化戦略

33


Our Works

• Server Side Testing

• Client Side Testing

• …


Open Platform Architecture

API

Mobage Developers

Databases / Middlewares

Mobage RESTful API

APIProxyServerAPImbga.jp

Mobile Browser

PC Browser

Mobile App

Mobage SDK

Game Server


Targets

1. Mobage RESTful API (Web API)

2. Mobage Developers (Web Application)

3. mbga.jp & ProxyServer (Mobile Web)

4. Mobage SDKs (Client SDK)


Open Platform Architecture

API

Mobage Developers

Databases / Middlewares

Mobage RESTful API

APIProxyServerAPImbga.jp

Mobile Browser

PC Browser

Mobile App

Mobage SDK

Game Server


プラットフォームのテスト戦略

• 適切なシステム分割をする • システムビッグバンを避ける

• サーバで完結できるところはサーバで • WebAPIの機能テストはクライアント無しで • ブラウザを使う部分は極力実機レスで

38


スマートフォンテスト自動化

• テスト対象によってテスト方法も異なる • システム分類 • WebAPI, Webアプリ • ネイティブアプリ, SDK（ライブラリ）

39


スマートフォンブラウザ

• ブラウザ自動化の技術をそのまま使う • Selenium WebDriver • スマートフォンブラウザを偽装

• テストコードを流用して実機でも動かす • Appium (w/ JSON Wire Protocol)

40


Selenium WebDriver

• “Capability” でドライバを選択

41

FirefoxProfile fp = new FirefoxProfile();DesiredCapabilities dc = DesiredCapabilities.firefox();dc.setCapability(FirefoxDriver.PROFILE, fp);WebDriver driver = new RemoteWebDriver(dc);

ChromeOptions options = new ChromeOptions();DesiredCapabilities dc = DesiredCapabilities.chrome();dc.setCapability(ChromeOptions.CAPABILITY, options);WebDriver driver = new RemoteWebDriver(dc);


ネイティブアプリ

• アプリの操作を自動化する • 外部からプロセスにアタッチして操作 • Appium を使う

• テスト用ライブラリを埋め込んで操作 • Calabash を使う • ただしアプリ改変になる

42


クライアントライブラリ(SDK)

• ライブラリを組み込んだテストアプリを作成 • ライブラリの機能を網羅できるように作る

• テストアプリの操作を自動化 • あとはネイティブアプリと同様

43

Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.44

API Server

module module module

API ServerAPI ServerDB

API ServerAPI ServerCache

Test Client

A) WebAPI


Conditions

• HTTP Request to API Server

• JSON Response from API Server

• no UI


API Server




Test Client

Gray Box Fixture


Gray Box Fixture

• DB / Cache Manipulation

• insert test-case specific data

• delete cache for continuous tests


API ServerAPI ServerAPI Server




Test Client

Specific Targeting


Specific Targeting

• programmable local DNS (MyDNS)

• emulates “inet_aton”


Domain Specific Client

• Mobage::API::Client (Perl)

• mobage-api-client (Ruby)


Message Dumping

• keep previous request in response

• interactive debugging


Web Application

M V C



Test Browser

B) WebApp / Mobile Web


Conditions

• HTTP Request to Web App

• HTML Response from Web App

• with JavaScript


Basic Strategy

• Selenium WebDriver

• Ruby, RSpec, Capybara

• Headless Browser


Browser Emulator

Web Application

M V C



Agent Switching


Agent Switching

• Browser can’t touch HTTP Header

• Emulator can’t parse JavaScript

• Save/Restore pseudo agent state


Domain Specific Client

• called “mobage-browser”

• We don’t use “Page Object Pattern”

• “Domain Agent Pattern”


Mobile Emulation

• FireMobileSimulator

• Mobile WebDrivers (DEPRECATED)

• AndroidDriver, IPhoneDriver

• with Real Devices

• Selendroid, ios-driver, Appium


Test Scripts

C) Client SDKs

Test Application

Mobage SDK


Conditions

• create test apps using specific SDK

• use SDK as a developer

• run test scripts to automate test apps

• check SDK-API behaviors


UI Automation

• Multiple Devices Support

• Android, iOS

• Test Cases Consistency

• Calabash

• Appium


今日話したこと

• Mobageオープンプラットフォーム概要 • “SWET”って何？ • プラットフォームのテスト自動化戦略

63


ご清聴ありがとうございました

64

2014-04-22 ques #4 automation testing of mobage platform

Technology