solit 2014, Инструменты автоматизации тестирования...
DESCRIPTION
Зубович Вадим, Минск. Опыт в IT более 5 лет, работает в компании ISSoft, специализация: разработка (.NET C# ASP\MVC, WPF, WinForm, Java) и автоматизация функционального тестирования програмного обеспечения (Web, Desktop, Mobile) и тестирования производительности (Web). «Сравнительный анализ инструментов для автоматизации тестирования мобильных приложений». Development секция. Отделение тестирования. Мобильные платформы уже набрали огромную популярность, и продолжают наращивать обороты. Ни один разработчик уже не обходит стороной мобильные приложения и автоматизация тестирования в этой сфере актуальна как никогда. В настоящем докладе мы рассмотрим наиболее популярные и перспективные инструменты для автоматизации тестирования приложений для мобильных операционных систем iOS, Android и WindowsPhone, проведем анализ их особенностей и возможностей, основываясь на опыте их использования в рамках реальных проектов, а также подведем общий итог с рекоммендациями по выбору того или иного инструмента. «Централизованное управление тестами с помощью TestLink». Development секция. Отделение тестирования. Эффективное управление тестами это не только грамотный тим-менеджмент, это еще и правильный учет, контроль результатов и своевременное и централизованное обновление информации о тестах для всех участников процесса и силами всех участников процесса. Достичь этого невозможно без системы управления тестами, позволяющей эффективно распределить права и обязанности участников и обеспечить постоянное поддержание информации о тестах в актуальном состоянии. TestLink – бесплатный инструмент, предназначенный именно для выполнения этой задачи. В рамках доTRANSCRIPT
Инструменты автоматизации
тестированиямобильных.приложений
.Сравнительный анализ
Рассматриваемые инструменты
1) M-Eux
2) Ranorex
3) SeeTest
4) Appium
5) Silk Mobile
6) Test Droid
7) Robotium
Приложения, которые были автоматизированы
1) Complicated – гибридное мобильное приложение, написаное с помощью: PhoneGap, Sencha ExtJS, HTML5.
2) Simple- native application для нескольких версий Android.
Список критериев оценки инструментов тестирования
1) Лицензионность
2) Поддерживаемые платформы (iOS, Android, both)
3) Возможность разработки тестов для Native, Hybrid, Web приложений
4) Наличие и возможность проигрывания Record Play тестов
5) Языки разработки тестов
6) Наличие встроенной IDE для разработки тестов
7) Возможность экспорта в другие IDE (Visual Studio, Eclipse, etc)
8) OOP подход в реализации маппинга объектов
9) Возможность работы с эумлятором/реальным устройством
ЛицензионностьM-Eux
Proprietary Bad
RanorexProprietary Bad
SeeTestProprietary Bad
Testdroid
Proprietary Bad
Robotium
Free Good
Appium
Free Good
Silk Mobile
Proprietary Bad
Поддерживаемые платформы (iOS, Android, both)
Инструмент Поддержка iOS Поддержка Android
Оценка
M-Eux + + Good
Ranorex + + Good
SeeTest + + Good
Testdroid - + Medium
Robotium - + Medium
Appium + + Good
Silk Mobile + + Good
Возможность разработки тестов для Native, Hybrid, Web приложений
Инструмент
Native Hybrid Web Оценка
M-Eux + + + Good
Ranorex + - + (iOS only) Medium
SeeTest + + + Good
Testdroid +(Android only) +- +- Bad
Robotium + (Android only) + (Android only) + (Android only)
Medium
Appium + + + Good
Silk Mobile
+ + + Good
Наличие Record Play инструментария
Инструмент Наличие Record Play Оценка
M-Eux + Good
Ranorex + Good
SeeTest + Good
Testdroid + Good
Robotium - (будет выпущен коммерческий Record Play)
Bad
Appium + Good
Silk Mobile + Good
Языки разработки тестов
Инструмент Язык разработки тестов Оценка
M-Eux C#, Java Medium
Ranorex C#, VB.NET Medium
SeeTest C#, Java, Python, Perl Good
Testdroid Java, JavaScript Medium
Robotium Java Bad
Appium C#, Java, Python, Ruby, PHP, JavaScript
Good
Silk Mobile C#, Java, Python, Perl Good
Наличие встроенной IDE для разработки тестов
Инструмент Встроенная IDE для разработки тестов
Оценка
M-Eux - Bad
Ranorex Ranorex Studio Good
SeeTest SeeTest Automation Good
Testdroid - Bad
Robotium - Bad
Appium - Bad
Silk Mobile Silk Mobile Good
Возможность экспорта тестов в другие IDE (Visual Studio, Eclipse, etc)
Инструмент Экспорт в другие IDE(Visual Studio, Eclipse, etc.)
Оценка
M-Eux Работа ведётся непосредственно из VS, Eclipse, etc
Medium
Ranorex + Good
SeeTest + Good
Testdroid Работа ведётся непосредственно из Eclipse Medium
Robotium Работа ведётся непосредственно из любой JAVA IDE (Eclipse, IDEA, Net Beans etc.)
Medium
Appium Работа ведётся непосредственно из VisualStudio, Eclipse, etc
Medium
Silk Mobile + Good
Инструмент OOP-based mapping
Оценка
M-Eux + Good
Ranorex + Good
SeeTest - Bad
Testdroid - Bad
Robotium - Bad
Appium - Bad
Silk Mobile - Bad
OOP подход в реализации маппинга объектов
Возможность работы с эмулятором/реальным устройством
Инструмент
Emulator Real Device Оценка
M-Eux + + Good
Ranorex + + Good
SeeTest + + Good
Testdroid + + Good
Robotium + + Good
Appium + + Good
Silk Mobile + + Good
Сводный рейтингИнструмент
Главные недостатки Оценка
M-Eux Стоимость лицензии Medium
Ranorex Хорошо работает только с native приложениями Medium
SeeTest Стоимость лицензии,Отсутсвтие OOP подхода при формировании мапы
Medium
Testdroid Отсутсвтие OOP подхода при формировании мапы,Поддержка только Android
Bad
Robotium Поддержка только Android, Поддержка только Java,Отсутсвтие OOP подхода при формировании мапы
Bad
Appium Отсутсвтие OOP подхода при формировании мапы Good
Silk Mobile
Стоимость лицензииОтсутсвтие OOP подхода при формировании мапы
Medium
Автор:
Вадим Зубович
Опыт в IT более 5 лет, специализация: разработка (.NET C# ASP\MVC, WPF, WinForm, Java) и автоматизация функционального тестирования програмного обеспечения (Web, Desktop, Mobile) и тестирования производительности (Web).