solit 2014, Инструменты автоматизации тестирования...

16
Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ.

Upload: solit

Post on 30-Oct-2014

204 views

Category:

Technology


3 download

DESCRIPTION

Зубович Вадим, Минск. Опыт в IT более 5 лет, работает в компании ISSoft, специализация: разработка (.NET C# ASP\MVC, WPF, WinForm, Java) и автоматизация функционального тестирования програмного обеспечения (Web, Desktop, Mobile) и тестирования производительности (Web). «Сравнительный анализ инструментов для автоматизации тестирования мобильных приложений». Development секция. Отделение тестирования. Мобильные платформы уже набрали огромную популярность, и продолжают наращивать обороты. Ни один разработчик уже не обходит стороной мобильные приложения и автоматизация тестирования в этой сфере актуальна как никогда. В настоящем докладе мы рассмотрим наиболее популярные и перспективные инструменты для автоматизации тестирования приложений для мобильных операционных систем iOS, Android и WindowsPhone, проведем анализ их особенностей и возможностей, основываясь на опыте их использования в рамках реальных проектов, а также подведем общий итог с рекоммендациями по выбору того или иного инструмента. «Централизованное управление тестами с помощью TestLink». Development секция. Отделение тестирования. Эффективное управление тестами это не только грамотный тим-менеджмент, это еще и правильный учет, контроль результатов и своевременное и централизованное обновление информации о тестах для всех участников процесса и силами всех участников процесса. Достичь этого невозможно без системы управления тестами, позволяющей эффективно распределить права и обязанности участников и обеспечить постоянное поддержание информации о тестах в актуальном состоянии. TestLink – бесплатный инструмент, предназначенный именно для выполнения этой задачи. В рамках до

TRANSCRIPT

Page 1: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Инструменты автоматизации

тестированиямобильных.приложений

.Сравнительный анализ

Page 2: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Рассматриваемые инструменты

1) M-Eux

2) Ranorex

3) SeeTest

4) Appium

5) Silk Mobile

6) Test Droid

7) Robotium

Page 3: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Приложения, которые были автоматизированы

1) Complicated – гибридное мобильное приложение, написаное с помощью: PhoneGap, Sencha ExtJS, HTML5.

2) Simple- native application для нескольких версий Android.

Page 4: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Список критериев оценки инструментов тестирования

1) Лицензионность

2) Поддерживаемые платформы (iOS, Android, both)

3) Возможность разработки тестов для Native, Hybrid, Web приложений

4) Наличие и возможность проигрывания Record Play тестов

5) Языки разработки тестов

6) Наличие встроенной IDE для разработки тестов

7) Возможность экспорта в другие IDE (Visual Studio, Eclipse, etc)

8) OOP подход в реализации маппинга объектов

9) Возможность работы с эумлятором/реальным устройством

Page 5: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

ЛицензионностьM-Eux

Proprietary Bad

RanorexProprietary Bad

SeeTestProprietary Bad

Testdroid

Proprietary Bad

Robotium

Free Good

Appium

Free Good

Silk Mobile

Proprietary Bad

Page 6: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Поддерживаемые платформы (iOS, Android, both)

Инструмент Поддержка iOS Поддержка Android

Оценка

M-Eux + + Good

Ranorex + + Good

SeeTest + + Good

Testdroid - + Medium

Robotium - + Medium

Appium + + Good

Silk Mobile + + Good

Page 7: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Возможность разработки тестов для Native, Hybrid, Web приложений

Инструмент

Native Hybrid Web Оценка

M-Eux + + + Good

Ranorex + - + (iOS only) Medium

SeeTest + + + Good

Testdroid +(Android only) +- +- Bad

Robotium + (Android only) + (Android only) + (Android only)

Medium

Appium + + + Good

Silk Mobile

+ + + Good

Page 8: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Наличие Record Play инструментария

Инструмент Наличие Record Play Оценка

M-Eux + Good

Ranorex + Good

SeeTest + Good

Testdroid + Good

Robotium - (будет выпущен коммерческий Record Play)

Bad

Appium + Good

Silk Mobile + Good

Page 9: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Языки разработки тестов

Инструмент Язык разработки тестов Оценка

M-Eux C#, Java Medium

Ranorex C#, VB.NET Medium

SeeTest C#, Java, Python, Perl Good

Testdroid Java, JavaScript Medium

Robotium Java Bad

Appium C#, Java, Python, Ruby, PHP, JavaScript

Good

Silk Mobile C#, Java, Python, Perl Good

Page 10: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Наличие встроенной IDE для разработки тестов

Инструмент Встроенная IDE для разработки тестов

Оценка

M-Eux - Bad

Ranorex Ranorex Studio Good

SeeTest SeeTest Automation Good

Testdroid - Bad

Robotium - Bad

Appium - Bad

Silk Mobile Silk Mobile Good

Page 11: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Возможность экспорта тестов в другие IDE (Visual Studio, Eclipse, etc)

Инструмент Экспорт в другие IDE(Visual Studio, Eclipse, etc.)

Оценка

M-Eux Работа ведётся непосредственно из VS, Eclipse, etc

Medium

Ranorex + Good

SeeTest + Good

Testdroid Работа ведётся непосредственно из Eclipse Medium

Robotium Работа ведётся непосредственно из любой JAVA IDE (Eclipse, IDEA, Net Beans etc.)

Medium

Appium Работа ведётся непосредственно из VisualStudio, Eclipse, etc

Medium

Silk Mobile + Good

Page 12: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Инструмент OOP-based mapping

Оценка

M-Eux + Good

Ranorex + Good

SeeTest - Bad

Testdroid - Bad

Robotium - Bad

Appium - Bad

Silk Mobile - Bad

OOP подход в реализации маппинга объектов

Page 13: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Возможность работы с эмулятором/реальным устройством

Инструмент

Emulator Real Device Оценка

M-Eux + + Good

Ranorex + + Good

SeeTest + + Good

Testdroid + + Good

Robotium + + Good

Appium + + Good

Silk Mobile + + Good

Page 14: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Сводный рейтингИнструмент

Главные недостатки Оценка

M-Eux Стоимость лицензии Medium

Ranorex Хорошо работает только с native приложениями Medium

SeeTest Стоимость лицензии,Отсутсвтие OOP подхода при формировании мапы

Medium

Testdroid Отсутсвтие OOP подхода при формировании мапы,Поддержка только Android

Bad

Robotium Поддержка только Android, Поддержка только Java,Отсутсвтие OOP подхода при формировании мапы

Bad

Appium Отсутсвтие OOP подхода при формировании мапы Good

Silk Mobile

Стоимость лицензииОтсутсвтие OOP подхода при формировании мапы

Medium

Page 15: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович

Автор:

Вадим Зубович

Опыт в IT более 5 лет, специализация: разработка (.NET C# ASP\MVC, WPF, WinForm, Java) и автоматизация функционального тестирования програмного обеспечения (Web, Desktop, Mobile) и тестирования производительности (Web).

Page 16: Solit 2014, Инструменты автоматизации тестирования мобильных приложений. Сравнительный анализ, Зубович