Automatización de pruebas funcionalesVenciendo los mitos
Apoyar nuestros clientes en la
planeación y validación de
desempeño de procesos de TI para
aprovechar el éxito de su negocio
1
Carlos Eduardo Vázquez
Marcelo Costa
19 Junio 2018
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
ORIENTACIONES INICIALES
2© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
De preferencia uso de una conexión de banda Ancha.
En el evento no habrá uso de vídeo (webcam), solamente slides y audio.
Si es necesario, ajuste el idioma de la sala en la barra de Herramientas superior.
El evento tendrá ~45 min. de presentación y ~10 min Para realizar preguntas.
Usted puede mandar sus preguntas por chat a lo largo de la presentación.
Para aquellos que tienen certificación PMP, el evento vale 1 PDU.
La presentación será grabada en vídeo y publicado posteriormente en el sitio
web y redes sociales:
AUTOMATIZACIÓN DE PRUEBAS
Cuando las personas escuchan automatización de pruebas, diferente es el entendimiento de cada
persona
• Desarrollo guiado por pruebas (TDD) para fines de pruebas unitarias
• Uso de alguna herramienta para captura/grabación/reproducción (record & replay)
• Desarrollo de scripts de pruebas customizadas
• Especifícamente para pruebas de carga y desempeño
• Pruebas funcionales y de seguridad
Vamos a considerar automatización de pruebas como:
La aplicación e implementación de tecnología de software a lo largo de
todo el ciclo de vida de pruebas con el objetivo de perfeccionar su
eficiencia y eficacia3© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
SOBRE PRUEBAS MANUALES Y SU AUTOMATIZACIÓN
Generalmente, todas las pruebas que son parte de un programa de pruebas manual se
pueden automatizar – pruebas funcionales, de rendimiento, de Stress, y más
Sobre la automatización de pruebas
• Perfecta las pruebas manuales al priorizar la automatización de lo que difícilmente se alcanza
manualmente
• Es desarrollo de software
• No sustituye la necesidad de habilidades analíticas, conocimiento en estrategia de pruebas y
entendimiento en técnicas de prueba; que cumplen el papel de fundación para la
automatización
• No se puede separarla claramente de la prueba manual; por el contrario, se interconectan y
complementan ente sí
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
CUAL ES EL ALCANCE DE LA DISCUSIÓN DE HOYPRUEBAS FUNCIONALES
El alcance de la automatización de pruebas es muy
amplio
En esta sección vamos a discutir la aplicación de la
automatización de pruebas en las pruebas
funcionales
• Funciones son probadas alimentandolas con
entradas y examinando las salidas resultantes
Típicamente aplicado a las Pruebas de Regresión
• Garantiza que el software previamente desarrollado
y probado aún se ejecute de la misma forma
después de ser modificado o integrado con otro
software 5
Nivel de
Pruebas
Pruebas de
Interfaz de
Usuario
unitarias
de componente
de integración
de sistema X
de aceptación X
alpha
beta
X- Más probable de aplicar
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
MITOS DE LA AUTOMATIZACIÓN DE PRUEBASAUTOMATIZACIÓN SUSTITUYE LA PRUEBA MANUAL
Los scripts de automatización de pruebas son tan buenos como los profesionales que los elaboran
Los avances en la IA pueden cambiar este escenario actual en el mediano o largo plazo
Hasta entonces (15 años?) el profesional de pruebas debe tener la capacidad analítica y crítica aplicada a la
definición
• Principalmente considerando el nivel de estabilidad de la IU, el que nos lleva para el próximo ítem...
6
• Del conjunto de funcionalidades para el alcance de la automatización
• Del conjunto de casos de pruebas en una funcionalidad, para automatización
• De nuevas oportunidades de automatización de pruebas
• ¡No se limite a los casos de pruebas manuales preexistentes!
6© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
• Cobertura de automatización de pruebas de la UI superior al 60% no es buen indicativo
• Por el termino cobertura, nos referimos a la cantidad de funcionalidades con pruebas
funcional automatizado y no el % del tempo o costo invertido en pruebas
• Se debe priorizar la inclusión de funcionalidades en la cobertura de pruebas
Con la UI ya estable
• Entre las más complejas o sujetas a errores
Dependencia de otras aplicaciones, que no siempre inicianse automáticamente
• También, se debe priorizar funcionalidades cuyas pruebas presenten
alto volumen de salidas a comprobar, los resultados esperados no cambian o hay una
tolerancia mensurable
Entrada de muchas combinaciones de datos, utilizando los mismos pasos
Dependencia de múltiples configuraciones hw / sw
MITOS DE LA AUTOMATIZACIÓN DE PRUEBASCOMENZAR POR LA INTERFACE CON EL USUARIO
7© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
DÓNDE EL TEMA SE POSICIONA
8© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
MITOS DE LA AUTOMATIZACIÓN DE PRUEBASAUTOMATIZACIÓN ES RECORD & PLAYBACK
• La persona escoge trabajar con pruebas… también por no gustarle de programar
• No es una verdad universal
• Mas es bien común
• Naturalmente, la lógica de Record & Playback es bastante apelativa
• Mas es falsa a pesar de la publicidad de las herramientas
• Record & Playback es un punto de partida, cuando es usado
• Usted debe saber programar parar crear scripts de automatización
• No entre en pánico
• De hecho, las herramientas ayudan mucho a comenzar
9© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
HAY LAGUNA EN LOS MODELOS DE REFERENCIA SOBRE LA AUTOMATIZACIÓN DE PRUEBAS FUNCIONALES
Los modelos de referencia proporcionan directrices para la calidad del producto y las entregas
del proceso de pruebas de software, sin mencionar la automatización de pruebas específicas
• RUP
• TMMi
• IEEE 829
• NBR ISO/IEC 12.119
• SAFe
Una metodologia con el objetivo de integrarse la automatización de pruebas funcionales al
desarrollo y presentar criterios para evaluar costo y beneficio es fundamental
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
METODOLOGÍA DE AUTOMATIZACIÓN DE PRUEBASOBJETO EN LA VISIÓN DE FATTO
Recopilación de requerimientos y análisis de necesidades de pruebas
Desarrollo y Diseño de los Casos de Pruebas
Análisis de objetos de automatización
Desarrollo de los scripts de pruebas
Ejecución de los scripts de automatización y análisis de resultados
Evaluación y revisión del programa de automatización de pruebas
Gestión
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
1 2 3 4 5 6
COLECCIÓN DE REQUERIMIENTO E ANÁLISIS DE NECESIDADES DE PRUEBAS
• Evaluar los resultados del desarrollo en terminos de requerimientos, arquitectura y
documentación generada para las pruebas manuales
• Analizarlos como requerimientos de la automatización de pruebas funcionales
• Validar el ROI o por lo menos evaluar la relación de costo y beneficio de la automatización de
pruebas en terminos generales
• Analizar herramienta actual de automatización y las necesidades para su customización,
conficuración, o mismo, la aquicisión de nuevas herramientas
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
DESARROLLO Y DISEÑO DE LOS CASOS DE PRUEBAS
• Documentar los casos de pruebas manuales que se van a automatizar
• Realizar una verificación de los casos de pruebas manuales
• Implementación de los casos de pruebas manuales
• Analizar informes de ejecución de los errores de las pruebas manuales
• Definir el documento de estrategia de diseño de automatización
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
ANÁLISIS DE LOS OBJETOS DE AUTOMATIZACIÓN
• Definición del framework de pruebas con el obejtivo de potencializar la reutilización de
recursos para pruebas.
• Análisis de los recursos de pruebas implementados en la biblioteca.
• Planear la reutilización de los recursos existentes en biblioteca.
• Diseño de los nuevos recurssos de pruebas para la biblioteca.
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
DESARROLLO DE SCRIPTS DE PRUEBAS
• Definición de los scripts de pruebas de los objetivos para la automatización.
• Pruebas de los scripts de prueba para automatización.
• Actualización de la biblioteca de pruebas de componentes.
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
EJECUCIÓN DE LOS SCRIPTS DE AUTOMATIZACIÓN Y ANÁLISIS DE LOS RESULTADOS
• Ejecución de los framework y los scripts de pruebas definidos.
• Control de defectos encontrados.
• Generación de informes de pruebas.
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
VALIDACIÓN Y REVISIÓN DEL PROGRAMA DE AUTOMATIZACIÓN DE PRUEBAS
• Revisión del programa de prueba.
• Análisis de las métricas de pruebas generadas .
• Generación de acciones correctivas de acuerdo con el análisis de métricas.
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
METODOLOGIA DE AUTOMATIZACIÓN DE PRUEBASINTEGRACIÓN DE AUTOMATIZACIÓN DE PRUEBAS Y/O DESARROLLO
Pruebas de regresión
Onda
A
Automatización de
pruebas
Ejecución de
automatización
de pruebas
Ejecución de
automatización
de pruebas
proyecto
homologación
construcción
Análisis de
Validez
Solución de
automatización
de pruebas
proyecto
homologación
construcciónOnda
B
Solución de
automatización
de pruebas
Validación y
revisión
© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
CONCLUSIÓN
• La automatización de pruebas funcionales, aplicada a las pruebas de regresión, promueve la
utilización de recursos humanos donde son mejores aplicados
• “Less is more”
• Las herramientas (HP UFT, Selenium, etc.) no son mágicas
Mínimo una evalución de costo beneficio o una evaluación del ROI es fundamental para
combatir el mito más importante y que dejamos para el final
Automatización de pruebas es por demasiado caro
19© 2018 FATTO Consultoria y Sistemas | www.fattocs.com
PRÓXIMOS EVENTOS
• WEBINARS:
• La certificación de Análisis de Puntos de Función del IFPUG
• Fecha: 17 de Julio de 2018
• Horarios: 20:00 H México DF, Bogotá, Lima
• Inscripción: Aquí
• PRÓXIMOS CURSOS:
• Nuevo Curso: Estimación y Medición –Fundamentos y técnicas
Modalidad: EAD
• Inscripción: Por favor enviar e-mail para [email protected]
20
21
ENCUESTA
PRESENTADORES
22
Carlos Eduardo Vásquez
E-mail: [email protected]
LinkedIn: https://www.linkedin.com/in/cvazquezbr/
Skype: cvazquezbr
Marcelo Nascimento Costa
E-mail: [email protected]
Skype: marncosta