at ma qualidade molinari v11 final version
DESCRIPTION
Palestra no evento da ALATS/2009 - primeiro semestre - ministrada por Leonardo MolinariTRANSCRIPT
Automação de Testesde Má Qualidade
Como Evitar
Leonardo Molinari
2
Técnicas de Testes Funcionais
“Esvazie sua xícara primeiro, só então você poderá provar meu chá. Afinal de contas a
utilidade da xícara está em poder esvaziar-se. Abra sua mente para receber novas idéias.”
Bruce Lee
3
Agenda
Problemas Tradicionais na Automação Problemas de Estimativas Quando a A.T. Funcionais é Ruim Quando a A.T. de Performance é Ruim Técnica Avançada: HVTA Transformando a A.T. Positivamente
4
Teste de Software
A Empresa
Primeira empresa offshore testing com capital 100% nacional a atuar no
disputado mercado norte-americano.
Uma das primeiras consultorias brasileiras a implementar com sucesso o
conceito de Bureau de testes.
Automação de Testes – Pleno domínio das principais soluções de
Governança de Testes do mercado e opensource.
Atendimento “on demand” para projetos de teste de software
Soluções completas de teste
Our core business is Software Testing!
Produtos e Serviços
Fábrica de Testes• Solução completa de teste
Alocação de Profissionais (Professional Testers!)• Profissionais capacitados
Automação de Testes• Implantação e operacionalização
Consultoria• Desenvolvimento e operacionalização de Processo de Testes e Quality
Assurance – sob medida
Treinamentos• Formação de profissionais e equipe de teste
www.mzpsoft.com.br
Cases
Base de Clientes ``Blue Chip``
UOLGXS - INTERCHANGE
RECALLBORLANDSINDAN
AUDATEX
Alguns ClientesScopus
TelefônicaTask Sistemas
CopelTriad Systems
FinepAquáriosTlantic
SKFScaniaGXS
T-SystemsCaixa
MXM SistemasAvon
Parcerias Estratégicas
Borland – Compuware – Talentfour Tech4b – GPTI – ALATS – EFTI - Didata
Interadapt TV Globo Itaú Synchro SYS Elucid
Montreal Okto
8
Problemas Tradicionais na Automação de Testes
Agenda
9
Inovação
Fonte: IPEA, 2008
10
Inovação
Fonte: Instituto Inovação, 2008
Fato
Introduzir Testes Automatizados é usar conceitos de Inovação em Testes
É introduzir Inovação na Empresa
12
Desafios Atuais de Teste Manual
• 4 QA eng -> somente 20% de cobertura de teste;
• Qualidade Geral Sofre;
• Trabalho de Teste Manual pode não entregar a tempo;
• Número excessivo de erros de execução de testes manual;
• Cronogramas de teste podem ser prejudicados
Teste Automatizado
Uso Sábio de Automação
• Aumento da cobertura de teste de modo a alcançar 80%-90% com recursos existentes.
Problemas Tradicionais na
Automação de Testes
13
Problemas Tradicionais na
Automação de Testes
QUANTO valerá automação?
• Depende de sua ambição....
14
Problemas Tradicionais na
Automação de Testes
QUANDO vale a pena usar automação:• Automação de testes precisa ser aprendida
corretamente • Automação de testes não substitui uma equipe de
testes • Nem tudo pode ser testado mesmo usando
automação • Nem tudo que pode ser testado se precisará
automatizar • Os testes automatizados precisam ser
constantemente atualizados • Inicialmente a automação custa tempo e dinheiro • O planejamento de testes não deve ignorado
15
Problemas Tradicionais na
Automação de Testes
Oba!!!! Vamos sair automatizando:• Cuidado!!!! Perigo! Perigo!
• Testes são pesados: vale a pena automatizar• Teste é pontual: não automatizar;• Automatizar não resolve tudo: não é panacéia;• Tenha sempre um engenheiro de testes junto!!!• Experiência dos testes manuais: use-a!!!
16
Problemas Tradicionais na
Automação de Testes O que você pensa que está certo...
• Qualidade Percebida X Real• O bug que o diretor viu…
• Desenvolvedores não testam• Ups…
• Confiando demais em itens de construídos na aplicação para serem usados nos testes
• Log
• Mudando a Interface e esquecendo dos testes automatizados
17
Problemas Tradicionais na
Automação de Testes O que você pensa que está certo...
• Confiar em somente um engenheiro de testes
• Inibir a Inovação• O cronograma já está pronto• Testes de regressão devem levar em
consideração• Acertos de scripts que não funcionam• Entender o que já funcionava (script)
18
Problemas de Estimativas de Automação
Agenda
19
Problemas de Estimativas de
Automação
Principais Grandes Falhas:• Cuidado!!!! Perigo! Perigo!
• Fazendo as Perguntas Erradas• Arrumando as Atividades Estimadas de forma
Errada• Falhando ao entender o efeito da multiplicidade• Inconsistência nos critérios de medição• Não compensar riscos e dependências
20
Problemas de Estimativas de
AutomaçãoFalhando ao entender o efeito da multiplicidade
21
Problemas de Estimativas de
AutomaçãoInconsistência nos critérios de medição
Dias? Meses ? Anos? Minutos ?
22
Quando a Automação de Testes Funcionais é Ruim
Agenda
23
Quando a Automação de Testes Funcionais
é Ruim O que você pensa que está certo...
• Desenvolver script =/= programação• Não modularizar scripts =/= reutilização• Ups não testei o script• O que o script faz?• A ferramenta é uma porcaria• Não usou data-driving testing• Em vez de pensar primeiro, saiu gravando…
• Objetivos
24
Quando a Automação de Testes Funcionais
é Ruim O que você pensa que está certo...
• Não investigou como a aplicação funciona primeiro
• Acha que está bom e que não pode fazer melhor
• Não estudou corretamente a ferramenta• Não foi além da ferramenta• Gravou tudo num super-script
25
Quando a Automação de Testes de Performance é Ruim
Agenda
26
Quando a Automação de Testes de
Performance é Ruim O que você pensa que está certo...
• Desenvolver script =/= programação• Não modularizar scripts =/= reutilização• Ups não testei o script• O que o script faz?• A ferramenta é uma porcaria• Não usou data-driving testing• Em vez de pensar primeiro, saiu gravando…
• Objetivos
27
Quando a Automação de Testes de
Performance é Ruim O que você pensa que está certo...
• Não entendeu conceitos de Performance• Não investigou como a aplicação funciona • Não estudou corretamente a ferramenta• Depois dos testes, não analisou:
• Logs • Gráficos• Métricas obtidas
• Não questionou os resultados dos testes
28
Técnica Avançada: HVTA
Agenda
29
Técnica Avançada: HVTA
HVTA• High Volume Test Automation
• Qtde de Casos de Testes Criados
• Qtde de Casos de Testes que podem ser gerados
30
Técnica Avançada: HVTA
HVTA• High Volume Test Automation
• Perguntas:– Quantos testes precisa criar para automatizar tudo?– Quantos scripts automatizados você criou?– Você já explorou novas situações de teste mesmo a
aplicação já estando OK?– Você já usou variáveis aleatórias (input) como dados
de entradas?– Os seus scripts dependem sempre dos meus dados
para teste? E se mudarmos?
31
Técnica Avançada: HVTA
HVTA• High Volume Test Automation
• Importante:– Estratégia de Solução que busca ter dados de teste
independente da sua tradicional.» Uma nova execução de teste nunca será igual a
anterior Testes Aleatórios
• Trata do problema:– Independente script X dependente script
32
Transformando a Automação de Testes Positivamente
Agenda
33
Transformando a Automação de Testes
Positivamente Principais Pontos:
• No planejamento• Definir objetivos e concordar com eles
• Na criação de scripts• Crie padrões e guidelines• Revise aleatoriamente alguns scripts / pessoa• Projete os scripts para reuso• Projete scripts manuteníveis
• Geral• Gere relatórios de teste de forma clara• Automatize pequenas tarefas. Ex: criação de BD• Não esqueça da Gerência de Configuração• A.T. ë um projeto dentro de um projeto de testes.
34
Bonus Track
Bonus Track
Inovação em Testes XE Testes de Performance
Prefácio de:
Hélio Amauri Sanchez
Diretor da MZP
37
Para Pensar...
“Questione ou você será questionado. Não faça nada que nada você fará.”
• Leonardo Molinari
38
Dúvidas
Muito Obrigado !!!! Leonardo Molinari Site da MZP: http://www.mzpsoft.com.br E-mail 1: [email protected] Blog: http://diariodaqualidade.blogspot.com