Шаги мануальщика к автоматизации на крупном проекте
DESCRIPTION
Презентация доклада Андрея Когута на конференции SQADays-14, Львов 8-9 ноября 2013TRANSCRIPT
Шаги мануальщика к автоматизации на крупном
проекте.Когут Андрей, Softengi
О компании
•Компания Softengi – поставщик услуг в области разработки ПО •Мы работаем преимущественно на рынках Европы и США•16+ лет опыта в области разработки программного обеспечения•Компания входит в Intecracy Group, международный ИТ консорциум
О проекте• Приложение – ERP система по анализу выбросов в окружающую среду• Отдел тестирования – 20 человек• Проект – мамонт (12 лет разработки, 21 модуль + дополнения)
Больше о нас:
www.softengi.com
www.facebook.com/softengi_ua
Что имеем на входе?
Что делать?
Желание
Необходимость
Целесообразность автоматизации тестов
Руками – практически невозможно Большие объемы данных
Точные математические расчеты Рутинные операции
Целесообразность автоматизации тестов
Риск человеческого фактора
Имеется устоявшийся функционал
Тестирование на разных аппаратных
или программных платформах,
или с разными конфигурациями
Когда автоматизация не имеет смысла
Техническая невозможность Высокая трудоемкость
Неустоявшийся функционал системы Короткий проект
Что делать дальше?
Собрать орден автоматизации
Состав рабочей группы
Основной состав:
• Технарь (тестировщик)
• Исполнитель (тестировщик)
• “Пинатель”
• Идейные вдохновители
• Менеджер проекта
Дополнительная помощь:
• Архитектор
• Системный администратор
Предварительный план действий
1. Определиться с проектом/версией для автоматизации
2. Выбрать модуль и определиться с глубиной тестирования
3. Выбрать инструмент автоматизации
4. Составить верхнеуровневый план действий/работ и оценить ориентировочное время
5. Внедрение
Правила подачи менеджеру
• Кто ваш менеджер?...
• Экономический эффект!
• Ожидаемое место применения
• Разбить проект на спринты, по 1-2 недели каждый
Правила хорошего
тона:
- Не удлинять спринт
- Не грузить
техническими деталями
(предоставлять по
необходимости)
Анализ эффективности
• Размер проекта
• Глубина/масштабность изменений
• Оценка затрат времени на ручное и автотестирование
T(manual_total) = T(manual_smoke) * N(modules) * N(smokes) = 2 * 13 * 24 = 624 h
T(automation_total) = T(dev_smoke) * N(modules) + T(logs_analysis) + T(maintenance) =
= 20 * 13 + 65 + 104 = 429 h
Поддержка автотестов
Два основных случая вмешательства в код тестов:
1. Изменение функционала
2. Изменение интерфейса
Внедрение
Доступно с первого кейса!
• Организация хранения кода
• “Continuous integration”
• Анализ логов
• Анализ проблем на конкретном
окружении - устранение
Первый баг!!!
Главное – не останавливаться
• Мониторинг результатов спринта
• Регулярные митинги! Сообщаем результаты
• Формат логов (экономим время)
• Review инструмента – проблемы,
меняем ли инструмент
• Пересматриваем глобальные цели
Выбор инструмента
Telerik Selenium IBM RFT TestComplete
link
http://www.telerik.com/ http://docs.seleniumhq.org/about/ http://www-03.ibm.com/software/products/us/en/functional/
http://smartbear.com/products/qa-tools/automated-testing-tools
Test script language(s), especially C# support
C# supported C# supported Java, Visual basic .NETC#Script (and similar, based on JScript)
Interaction with UI (IE) Good Believed to be good(no huge problems were observed by web search)
Good Good
UI elements recognition properties management
Normal(xpath in source files)
Believed to be normal(no huge problems were observed by web search)
Medium (has own visual editor)
Normal(properties in source files)
UI elements capture Test studio – DOM explorer + capgure from page;Testing framework – Xpath in source code
Xpath in source code Capture from page DOM explorer
License Test studio - License ;Testing framework – free;
Free;Open source
License License
Support, development Regular updates There are updates Supported by IBM, but there is no active development
There are updates
Community, popularity Probably medium big poor big
IDE MSVS MSVS (for C#) Eclipse Own IDE
Special IE launching requirements
Needs to start new IE window;Then can attach to new IE windows derived from parent window; supports pop-ups
Needs to start new IE window;Then can attach to new IE windows derived from parent window; supports pop-ups
Can use existing IE window(s)
Can use existing IE window(s)
Comment Telerik specify on Microsoft technologines;C# is a major language for telerik;
Open source – some important bugs can be postponed; IE is not a major browser for selenium;C# is not a major language for selenium;
Used by Enviance
Итоги
Достижения
Эффективность
Одобрение менеджмента
Полученный опыт
Андрей Когут
Softengi, test engineer
petro_8637
www.fishe4qa.com
О докладчике
Вопросы