(20130218)크라우드소싱 테스트 도입 제안
TRANSCRIPT
Crowdsource Testing 제안
‘U-test’ 를활용한 Crowdsource Testing
2012. 02
강다솜융합제품개발실
Contents1 문제점
2 CrowdsourceTesting
3 u-Test
4 Case Study
5 Calculate Price
6 현재개발프로세스도입예
7 기대효과
01. 제품글로벌출시에앞선문제점
한국인기획자
한국인개발자
한국인QA
한국인UX/TW
기획 요구분석 설계 QA 테스트 종료구현
• 해외 고객의 요구사항을 제품에 반영하기 어렵다.
> 제품 개발이 이미 완료된 이후에는 디자인 수정이 어렵기 때문에 통 번역 되어 출시될 가능성이 높다.
> 해외 고객의 문화를 반영한 컨텐츠를 만들기 어렵다.
• 테스트 환경이 제한적이다.
> 국제적 환경에서의 테스트 커버리지 확보가 어렵다.
> 국외 환경에서 발생할 수 있는 기술적 문제를 예측하기 어렵다.
(In-the lab)
Gartner’s Software Hype Cycles for 2012
http://www.hanb.co.kr/network/view.html?bi
_id=1594
02. ‘CrowdsourceTesting’
• CrowdsourceTesting 이란?
- 대중(Crowd) + 외부자원활용(Outsourcing)
- 세계곳곳에퍼져있는다양한도메인, 다양한국가, 다양한테스트환경을가진테스터를활용한테스트방법.
- 최근테스팅업계에서 화두가되기시작함.
<구글 트렌드 ‘crowdsourcing testing’ 검색결과>
2005 2006 2007 2008 2009 2010 2011 2012 2013
2012 년 2Q 급상승
Crowdsource Testing is an emerging trend in software testing which exploits the benefits, effectiveness, and efficiency of
crowdsourcing and the cloud platform. It differs from traditional testing methods in that the testing is carried out by a number
of different testers from different places, and not by hired consultants and professionals.
03. ‘u-Test’
• u-Test소개
- 테스터를 온라인으로 모집하고, 업무를 할당해주는 형태의 Crowdsource Testing 제공
- Tester ( 70,000 + members, 190 + countries )
- 전세계적으로가장많이사용됨.
(다양한도메인의 Customer, case study 보유)
• u-Test 에서제공하는서비스
- 다양한도메인의테스팅서비스
- 커뮤니티 (메일링서비스,테스터들간의커뮤니티)
- 분기별버그배틀
03. ‘u-Test’
Tester u-Test Customer
Tester info
Payment
Tester Community
Tester, Test system
Project
Payment
03. BugTrack& Reviewing Result System 제공
<Bug Track System>
< Reviewing Results Tool >
• Bug 관리와결과리뷰를위한자체툴을제공
•기존에사용중이던Bug Track System 과통합사용가능
- JIRA
- Bugzilla
- Rally
- Pivotal Tracker
- Mantis
- Redmine
- Microsoft TFS
03. Tester와Communication 할수있는Tool 제공
• Project 에참여하는Tester 와자유롭게커뮤니케이션가능
- Discussion Box 를이용하여
특정Tester 에게Comment 전달
- u-Test 에서제공하는Discussion Box 외에도,
Google Docs, 메신저등을활용하는곳도있다고한다.
03. Tester 상세정보조회가능
•테스터등급
•지식및경험
• u-Test 활동이력
•기본정보
•프로젝트에참여하는특정테스터에대한상세정보를조회할수있다.
또한즐겨찾기기능을통해테스터를즐겨찾기해두고, 다음프로젝트에참가권유가능.
03. Managing Testers
‘u-Test’ 자체적으로나름의보상체계와등급체계를갖춤으로써테스터에대한신뢰성을확보
• 보상체계
1) Excellent results 를제공하는 Tester
- bug등록수에따라 pay 제공
- favorite tester 마크제공
- MVT(Most Valuable Tesr) 어워드제공
2) Poor results 를제공하는 Tester
- low quality 의 bug 는거절가능
- 해당 tester 를 test cycle 에서제거가능
• 등급체계
1) Activity Level
-최근활동정보
- Project 수행후결과에따른신뢰성정보
2) Quality of Participation
-보고한버그리포트정보
03. CrowdsourceTesting (‘u-Test’) 의장점과단점
[장점]
[단점]
• 적은비용으로높은커버리지달성가능
• 국가에종속된사용성, 기술적이슈들을발견할수있다.
(중국은백신을여러개동시에설치해서사용, 특정통신사를이용한네트워크모니터링불가등)
• 각종도메인테스팅전문인력확보가능 (Functional, Performance, Usability, Security, etc.. )
• 사용중인개발프로세스에바로적용가능
• 국내서비스가존재하지않음. (해외서비스만이용가능)
• 제품을공개해야하므로, 경우에따라보안상의이슈가생길수있음.
• H/W 에대한테스트는비교적제한적임
• 테스트결과에대한신뢰성
04. Sample Customer
-Sample Customer
04. Sample Customer
-Sample Customer
04. Case Studies –Microsoft Security Essencial, USA TODAY
Microsoft Security Essentials 의 u-Test 이용 정보
테스트날짜 2009년 1월(제품정식런칭전)
참가테스터수 100+ testers
테스트국가수10+ contries
(Brazil, India, Rucia, America, etc)
테스트타입1. Exploratory (경험기반)
2. Test case 기반수행
테스트제품타입 Desktop Application
테스트 OS Windows(multiple versions)
예상비용 약 21,619,815원 ~ 26,420,605 원
USA TODAY 의 u-Test 이용 정보
참가테스터수10 – 60 testers
(iPad project : 60 tester,
Smaller project : 10-12 testers)
테스트국가Global
(Greece, Singapore, India, Canada, Spain,
Israel, UK, US and other locations)
테스트타입 Functional & Accessibilty Testing
앱타입 Native App & Mobile Web
테스트 OS iOS, Android for smartphones and tablets
개발방법론 Agile
예상비용 약 13,995,984 원 ~ 17,104,035 원
< Microsoft Security Essetials > < USA TODAY Mobile app>
• 2009년 1월에 수행 (릴리즈 이전)
• 국가에 종속된 사용성의 이슈를 미리 발견하고 수정
• 제품 내 팝업을 없애고, 판매 의도가 담긴 문구를 모두삭제하는 등 테스트를 통해 발견한 의견을 제품에 반영
• 제품 관계자들의 높은 동의와 자신감을 갖고 제품을 런칭
• 2010 년도 수행
• 앱스토어 별점을 4.5 로 유지하는 것이 가장 큰 목표(기능 테스트를 중점으로 수행함)
• 시간∙공간에 제약 없이 최근 버그 리포트, 유저리뷰 등을확인할 수 있었기 때문에 내부 프로세스에 바로 적용
05. Calculate Price
• App Type
- Native 0r Web Mobile App
- Web apps or Web site
- Desktop apps
• App Industry
- Retail or Commerce
- Games & Gaming
- Finance & Investing
- Etc.
• Focus Group Filters
• Testing Deliverables
- Expert Ux audit
- Customized survey
- Detailed data analysis
- Actionable Ux report
• App Complexity
• Focus Group Size
• Number of Projects
• Regions
가상의프로젝트시나리오를만들어서예상소요비용을추정가능
05. Calculate Price (Scenario)
항목 값
App Type Native Mobile Apps or Mobile Web
App Industry Software & Apps
Focus Group Filters Employment Status, Education Level
Testing Deliverables Expert UX audit
App Complexity Midium
Focus Group Size Small (3 ~ 5 Tester)
Number of Projects 1
Focus Group Testing Regions Europe
Scenario 1. 유럽을대상으로모바일어플리케이션제품의사용성테스트수행
Project Price Estimate (per project) 대한민국 KRW
1 개 단일 진행 시 $3,915 ~ $4,785 4,245,817 원 ~ 5,189,332 원
6 개 동시 진행 시 $2,565 ~ $3,135 2,779,690 원 ~ 3,397,399 원
[표2. 표1 환경대로프로젝트를수행했을때발생하는비용]
[표1. 가상의테스트환경시나리오]
• Expert UX audit
• Customized survey
• Detailed data analysis
• Actionable UX report
05. Calculate Price (Scenario)
Scenario 2. 아시아를대상으로모바일어플리케이션제품의기능테스트를수행
항목 값
App Type Native Mobile Apps or Mobile Web
App Industry Software & Apps
Operating System Mobile (Android)
Testing Deliverables Test Case Execution, Coverage Report
App Complexity Medium
Focus Group Size Small (3 ~ 5 Tester)
Testing Duration 1
Testing Regions Asia
Testing Duration Price Estimate (per project) 대한민국 KRW
6 $3,360 ~ $4,106 3,629,472 원 ~ 4,435,301 원
12 $3,060 ~ $3,740 3,305,412 원 ~ 4,039,948 원
[표2. 표1 환경대로프로젝트를수행했을때발생하는비용]
[표1. 가상의테스트환경시나리오]
• Exploratory Testing
• Test Case Execution
• Test Case Creation
• Coverage Report
By Location, By OS, By Device
06. 현재개발프로세스에도입예
M.S. 1~N 출시RTMBetaAlpha
기획 요구분석 설계 구현/테스트 종료
내부테스트및검토작업수행 CrowdsourceTesting
(Exploratory, Functional Test)
프로토타입제작
내부테스트및검토작업수행
프로토타입CrowdsourceTesting Localization, Usability Testing
CrowdsourceTesting
(Exploratory, Functional Test)
도입안 1.
도입안 2.
CrowdsourceTesting
(Localization, Functional Test)
도입안 3.
내부테스트및검토작업수행
• 도입시기에따라,
설계상의이슈부터
기능상의이슈까지 , 제품에
해외고객의요구사항반영이
가능하다.
07. 도입시기대효과
해외고객의
요구사항반영
내부동의및
동기부여내부자산화• 테스트결과후해외고객의
요구사항및테스트결과를
DB 화시킴으로써,
추후글로벌출시때활용가능
• 해외제품출시시,
발생할기술적∙사용성이슈에
대해프로젝트참가자들의인식
향상및출시할제품에대해
자신감증가
직원능력향상
• 테스터 : 다양한테스트 idea 습득
• 프로젝트참가자
- 제품을바라보는관점이넓어짐
thank you.