analyzing and reporting test results

PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELETRÔNICA E COMPUTAÇÃO

PG/EEC-I – 2º SEMESTRE 2010 – ITA

CE - 237 Teste de Software - Semana 7

Eng. Thiago Tadeu de Carvalho Ferreira

Passo 5 – Analisar e relatar os resultados dos TestesCap 11 (Perry,2007)

Passo 5: Analisar e Relatar os Resultados do Teste

• A equipe de teste é responsável não apenas pela execução do teste, mas também consolidar os dados num formato que facilite a tomada de decisão da gerência.

• Ao longo do capítulo 11, é explicado que a função da equipe de teste não é somente relatar os erros encontrados no Software; mas também escrever relatórios sobre gastos, recursos, status do cronograma (que seria o papel do Engenheiro da Qualidade de Software em outros livros)

07.2b.2

Preocupações

• Times de desenvolvimento tendem a ter uma visão otimista sobre o status do projeto.

• Enquanto que o time de teste pode apresentar uma visão independente do mesmo.

• Porém, o time deve estar atento a:Disponibilizar os relatórios sempre que necessário;Com informações adequadas;Ter certeza que as pessoas certas irão receber os

relatórios corretos.

07.2b.33

Bancada: Visão Geral

07.2b.4

Bancada: Detalhamento

• Entradas:Plano de Teste e também Plano do Projeto, pois será

contra esses dois planos que os testadores reportarão o status do projeto

Saber os resultados esperados (requisitos claros)Dados coletados durante o teste!!!

07.2b.5

Dados coletados durante o teste

• Não se limita somente aos defeitos encontrados durante os testes

• Mas também os resultados de revisões e inspeções feitos em documentos (exemplo: documento de requisitos)

• E também validar que os objetivos do negócio foram encontrados.

• Armazenar todos os dados num banco de dados especifico

07.2b.66

Tarefas

• 1 Reportar o status do projeto

• 2 Reportar resultados provisórios do teste• 3 Reportar o resultados finais do teste

07.2b.7

Tarefa 1: Reportar o status do projeto

• Essa tarefa oferece uma abordagem para reportar o status do projeto

• Dois relatórios devem ser gerados:– Resumido: Visão geral de todos os projetos.

Usado para mostrar quais projetos necessitam de atenção imediata da gerência

– Relatório do Status do Projeto: Informação detalhada sobre cronograma, recursos, orçamentos

07.2b.8

Tarefa 1: Reportar o status do projeto

• Porém, um processo deve ser estabelecido para que os dados dos relatórios sejam confiáveis. Logo, seis sub-tarefas foram estabelecidas

2. Estabelecer uma equipe de medição3. Criar um inventário para as medições existentes (seguindo um

planejamento4. Criar um conjunto de métricas5. Definir os requisitos para esse processo de medições (relatórios

desejados, ferramentas utilizadas etc.)6. Desenvolver e Implementar o Processo7. Monitorar o Processo

07.2b.99

Exemplo de Relatórios

• Relatório Resumido:

07.2b.10

Exemplo de Relatórios

• Relatório Completo:

07.2b.1111

Tarefa 2: Reportar resultados provisórios

• São apresentados 10 exemplo de relatórios provisórios

• O autor recomenda que todos sejam preparados para serem incorporados depois no Relatório Final

07.2b.1212

Relatório 1: Matriz Função/Teste• Apresenta quais testes devem ser feitos para validar

as funções do software, e em qual sequência isso deverá ser feito

• Para fazer essa matriz, é necessário antes preencher o Work-Paper 11-1

• Esse Work Paper deverá ser preenchido toda vez que um defeito por descoberto

07.2b.13

Work Paper 11-1

07.2b.1414

Relatório 1: Matriz Função/Teste

• Com base nesse work paper, uma matriz função/teste deve ser feita, onde a intersecção do teste e da função pode ser codificada com um número que indique:

1 = Teste necessário, mas não foi feito

2 = Teste sendo feito

3 = Defeito com baixa criticidade

4 = Defeto com alta criticidade

5= Teste completo, e a função não possui error(para os critérios desse teste)

07.2b.15

Relatório 1: Matriz Função/Teste

07.2b.16

O que entendi da Matriz seria

Porém o livro exemplifica com 'X' (???)

16

Relatório 2: Status Funcional dos Testes

CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.17

O propósito desse relatório e mostrar a porcentagem de funções: que foram totalmente testadas, não testada ou ainda que não foram corrigidas.

17

Relatório 3: Cronograma para Funcionamento das Funções (Functions Working Timeline Report)

07.2b.18

• Esse relatório mostra o status do teste e a probabilidade que o SW estará pronto na data estimada.

18

Relatório 4: Esperado vs Atual (defeitos encontrados)

07.2b.19

• O propósito desse relatório é mostrar se o número de defeitos é maior ou menor do que o esperado. Isso mostra que a organização possui uma série histórica para poder planejar a quantidade de defeitos, e que também o processo de desenvolvimento é suficientemente estável para que a média dos defeitos encontrados sejam relativamente consistente.

19

Relatório 4: Esperado vs Atual (defeitos encontrados)

07.2b.2020

Relatório 5: Defeitos vs Correções

07.2b.21

• O propósito desse relatório é listar os defeitos que ainda não foram corrigidos. É necessário armazenar os defeitos assim que encontrados, e depois quando forem corrigidos

• Plotando o gráfico para ambos, será fácil de identificar quantos defeitos ainda estão por corrigir.

Relatório 5: Defeitos vs Correções

07.2b.2222

Relatório 6: Idade Média dos Defeitos

07.2b.23

• Esse relatório mostra, dividido por severidade (menor, maior e crítica), um média da idade (em dias) dos defeitos ainda não corrigidos

23

Relatório 7:Distribuição dos Defeitos

07.2b.24

• O propósito desse relatório é distribuir os defeitos entre os módulos/unidades que compõem o projeto de SW

24

Relatório 8: Distribuição dos Defeitos Normalizada

07.2b.25

• Tem o mesmo objetivo do relatório anterior, porém o número de defeitos é normalizado, por exemplo: defeitos por 100 pontos de função ou por 1000 linhas de código.

25

Relatório 9: Ação do teste

07.2b.2626

• Esse é um resumo que contém informações coletadas nos relatórios anteriores.

• Endereçado ao Gerente do Desenvolvimento ou Gerente da equipe de Teste => para que ambos possam tomar as ações necessárias

• É composto por 4 informações: 1) Testes em atraso, 2) Defeitos críticos não corrigidos, 3) Principais Defeitos de idade igual a 5 dias não corrigidos e 4) e o número total de defeitos ainda não corrigidos.

Relatório 9: Ação do teste

07.2b.2727

Relatório 10: Provisório

CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.28

• Esse relatório deve mostrar os resultados dos testes até então, o que funciona e o que não funciona e recomendações

• Importante ressaltar no relatório o escopo do teste, do contrário o leitor poderá erroneamente assumir que um teste exaustivo foi realizado, o que não é possível! (questões práticas e econômicas)

• Logo, o escopo deve explicar claramente o que o testadores fizeram

28

Relatório 10: Provisório

07.2b.2929

Relembrando as tarefas!!

07.2b.3030

Tarefa 3: Resultados Finais do Teste

07.2b.31

• Um relatório final deve ser feito para documentar os resultados do testes, se estes estão de acordo com o Planejamento dos Testes

• O cliente pode determinar se o sistema está pronto para a produção

• Ele deve resumir o conteúdo dos seguintes testes:Relatório Individual de cada Testador (igual ao

provisório)Teste de IntegraçãoTeste de Sistema (capítulo 8)Teste de Aceitação 31

Monitorar o trabalho: WP 11-2

07.2b.32

• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2

• É um questionário dividido em 3 partes. Controle da Qualidade para:Escrever o relatório de status;Desenvolver o relatório provisório.Escrever o relatório final.

32

Monitorar o processo: WP 11-2 e 11-3

07.2b.33

• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2

• O primeiro é um questionário dividido em 3 partes, enquanto que o segundo que ajudará os testadores escreverem relatórios eficazes.

33

Monitorar o processo: WP 11-2

07.2b.3434

Monitorar o processo: WP 11-3

07.2b.3535

Considerações finais

07.2b.36

• A empresa deve adaptar o processo aqui apresentado: quais relatórios devem ser feitos?

• Uma vez que um conjunto de relatórios foi escolhido, eles devem formar uma linha base (baseline) para que os projetos possam ser comparados entre si, identificando quais projetos estão abaixo da média da empresa

36