analyzing and reporting test results

36
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELETRÔNICA E COMPUTAÇÃO PG/EEC-I 2º SEMESTRE 2010 ITA CE - 237 Teste de Software - Semana 7 Eng. Thiago Tadeu de Carvalho Ferreira Passo 5 – Analisar e relatar os resultados dos Testes Cap 11 (Perry,2007)

Upload: thiagotadeu

Post on 10-Jul-2015

261 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Analyzing and Reporting Test Results

PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELETRÔNICA E COMPUTAÇÃO

PG/EEC-I – 2º SEMESTRE 2010 – ITA

CE - 237 Teste de Software - Semana 7

Eng. Thiago Tadeu de Carvalho Ferreira

Passo 5 – Analisar e relatar os resultados dos TestesCap 11 (Perry,2007)

Page 2: Analyzing and Reporting Test Results

Passo 5: Analisar e Relatar os Resultados do Teste

• A equipe de teste é responsável não apenas pela execução do teste, mas também consolidar os dados num formato que facilite a tomada de decisão da gerência.

• Ao longo do capítulo 11, é explicado que a função da equipe de teste não é somente relatar os erros encontrados no Software; mas também escrever relatórios sobre gastos, recursos, status do cronograma (que seria o papel do Engenheiro da Qualidade de Software em outros livros)

07.2b.2

Page 3: Analyzing and Reporting Test Results

Preocupações

• Times de desenvolvimento tendem a ter uma visão otimista sobre o status do projeto.

• Enquanto que o time de teste pode apresentar uma visão independente do mesmo.

• Porém, o time deve estar atento a:Disponibilizar os relatórios sempre que necessário;Com informações adequadas;Ter certeza que as pessoas certas irão receber os

relatórios corretos.

07.2b.33

Page 4: Analyzing and Reporting Test Results

Bancada: Visão Geral

07.2b.4

Page 5: Analyzing and Reporting Test Results

Bancada: Detalhamento

• Entradas:Plano de Teste e também Plano do Projeto, pois será

contra esses dois planos que os testadores reportarão o status do projeto

Saber os resultados esperados (requisitos claros)Dados coletados durante o teste!!!

07.2b.5

Page 6: Analyzing and Reporting Test Results

Dados coletados durante o teste

• Não se limita somente aos defeitos encontrados durante os testes

• Mas também os resultados de revisões e inspeções feitos em documentos (exemplo: documento de requisitos)

• E também validar que os objetivos do negócio foram encontrados.

• Armazenar todos os dados num banco de dados especifico

07.2b.66

Page 7: Analyzing and Reporting Test Results

Tarefas

• 1 Reportar o status do projeto

• 2 Reportar resultados provisórios do teste• 3 Reportar o resultados finais do teste

07.2b.7

Page 8: Analyzing and Reporting Test Results

Tarefa 1: Reportar o status do projeto

• Essa tarefa oferece uma abordagem para reportar o status do projeto

• Dois relatórios devem ser gerados:– Resumido: Visão geral de todos os projetos.

Usado para mostrar quais projetos necessitam de atenção imediata da gerência

– Relatório do Status do Projeto: Informação detalhada sobre cronograma, recursos, orçamentos

07.2b.8

Page 9: Analyzing and Reporting Test Results

Tarefa 1: Reportar o status do projeto

• Porém, um processo deve ser estabelecido para que os dados dos relatórios sejam confiáveis. Logo, seis sub-tarefas foram estabelecidas

2. Estabelecer uma equipe de medição3. Criar um inventário para as medições existentes (seguindo um

planejamento4. Criar um conjunto de métricas5. Definir os requisitos para esse processo de medições (relatórios

desejados, ferramentas utilizadas etc.)6. Desenvolver e Implementar o Processo7. Monitorar o Processo

07.2b.99

Page 10: Analyzing and Reporting Test Results

Exemplo de Relatórios

• Relatório Resumido:

07.2b.10

Page 11: Analyzing and Reporting Test Results

Exemplo de Relatórios

• Relatório Completo:

07.2b.1111

Page 12: Analyzing and Reporting Test Results

Tarefa 2: Reportar resultados provisórios

• São apresentados 10 exemplo de relatórios provisórios

• O autor recomenda que todos sejam preparados para serem incorporados depois no Relatório Final

07.2b.1212

Page 13: Analyzing and Reporting Test Results

Relatório 1: Matriz Função/Teste• Apresenta quais testes devem ser feitos para validar

as funções do software, e em qual sequência isso deverá ser feito

• Para fazer essa matriz, é necessário antes preencher o Work-Paper 11-1

• Esse Work Paper deverá ser preenchido toda vez que um defeito por descoberto

07.2b.13

Page 14: Analyzing and Reporting Test Results

Work Paper 11-1

07.2b.1414

Page 15: Analyzing and Reporting Test Results

Relatório 1: Matriz Função/Teste

• Com base nesse work paper, uma matriz função/teste deve ser feita, onde a intersecção do teste e da função pode ser codificada com um número que indique:

1 = Teste necessário, mas não foi feito

2 = Teste sendo feito

3 = Defeito com baixa criticidade

4 = Defeto com alta criticidade

5= Teste completo, e a função não possui error(para os critérios desse teste)

07.2b.15

Page 16: Analyzing and Reporting Test Results

Relatório 1: Matriz Função/Teste

07.2b.16

O que entendi da Matriz seria

Porém o livro exemplifica com 'X' (???)

16

Page 17: Analyzing and Reporting Test Results

Relatório 2: Status Funcional dos Testes

CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.17

O propósito desse relatório e mostrar a porcentagem de funções: que foram totalmente testadas, não testada ou ainda que não foram corrigidas.

17

Page 18: Analyzing and Reporting Test Results

Relatório 3: Cronograma para Funcionamento das Funções (Functions Working Timeline Report)

07.2b.18

• Esse relatório mostra o status do teste e a probabilidade que o SW estará pronto na data estimada.

18

Page 19: Analyzing and Reporting Test Results

Relatório 4: Esperado vs Atual (defeitos encontrados)

07.2b.19

• O propósito desse relatório é mostrar se o número de defeitos é maior ou menor do que o esperado. Isso mostra que a organização possui uma série histórica para poder planejar a quantidade de defeitos, e que também o processo de desenvolvimento é suficientemente estável para que a média dos defeitos encontrados sejam relativamente consistente.

19

Page 20: Analyzing and Reporting Test Results

Relatório 4: Esperado vs Atual (defeitos encontrados)

07.2b.2020

Page 21: Analyzing and Reporting Test Results

Relatório 5: Defeitos vs Correções

07.2b.21

• O propósito desse relatório é listar os defeitos que ainda não foram corrigidos. É necessário armazenar os defeitos assim que encontrados, e depois quando forem corrigidos

• Plotando o gráfico para ambos, será fácil de identificar quantos defeitos ainda estão por corrigir.

Page 22: Analyzing and Reporting Test Results

Relatório 5: Defeitos vs Correções

07.2b.2222

Page 23: Analyzing and Reporting Test Results

Relatório 6: Idade Média dos Defeitos

07.2b.23

• Esse relatório mostra, dividido por severidade (menor, maior e crítica), um média da idade (em dias) dos defeitos ainda não corrigidos

23

Page 24: Analyzing and Reporting Test Results

Relatório 7:Distribuição dos Defeitos

07.2b.24

• O propósito desse relatório é distribuir os defeitos entre os módulos/unidades que compõem o projeto de SW

24

Page 25: Analyzing and Reporting Test Results

Relatório 8: Distribuição dos Defeitos Normalizada

07.2b.25

• Tem o mesmo objetivo do relatório anterior, porém o número de defeitos é normalizado, por exemplo: defeitos por 100 pontos de função ou por 1000 linhas de código.

25

Page 26: Analyzing and Reporting Test Results

Relatório 9: Ação do teste

07.2b.2626

• Esse é um resumo que contém informações coletadas nos relatórios anteriores.

• Endereçado ao Gerente do Desenvolvimento ou Gerente da equipe de Teste => para que ambos possam tomar as ações necessárias

• É composto por 4 informações: 1) Testes em atraso, 2) Defeitos críticos não corrigidos, 3) Principais Defeitos de idade igual a 5 dias não corrigidos e 4) e o número total de defeitos ainda não corrigidos.

Page 27: Analyzing and Reporting Test Results

Relatório 9: Ação do teste

07.2b.2727

Page 28: Analyzing and Reporting Test Results

Relatório 10: Provisório

CE-237 Prof. VDias & Prof. Cunha - Semana 6 07.2b.28

• Esse relatório deve mostrar os resultados dos testes até então, o que funciona e o que não funciona e recomendações

• Importante ressaltar no relatório o escopo do teste, do contrário o leitor poderá erroneamente assumir que um teste exaustivo foi realizado, o que não é possível! (questões práticas e econômicas)

• Logo, o escopo deve explicar claramente o que o testadores fizeram

28

Page 29: Analyzing and Reporting Test Results

Relatório 10: Provisório

07.2b.2929

Page 30: Analyzing and Reporting Test Results

Relembrando as tarefas!!

07.2b.3030

Page 31: Analyzing and Reporting Test Results

Tarefa 3: Resultados Finais do Teste

07.2b.31

• Um relatório final deve ser feito para documentar os resultados do testes, se estes estão de acordo com o Planejamento dos Testes

• O cliente pode determinar se o sistema está pronto para a produção

• Ele deve resumir o conteúdo dos seguintes testes:Relatório Individual de cada Testador (igual ao

provisório)Teste de IntegraçãoTeste de Sistema (capítulo 8)Teste de Aceitação 31

Page 32: Analyzing and Reporting Test Results

Monitorar o trabalho: WP 11-2

07.2b.32

• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2

• É um questionário dividido em 3 partes. Controle da Qualidade para:Escrever o relatório de status;Desenvolver o relatório provisório.Escrever o relatório final.

32

Page 33: Analyzing and Reporting Test Results

Monitorar o processo: WP 11-2 e 11-3

07.2b.33

• Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor propõe a utilização do Work-Paper 11-2

• O primeiro é um questionário dividido em 3 partes, enquanto que o segundo que ajudará os testadores escreverem relatórios eficazes.

33

Page 34: Analyzing and Reporting Test Results

Monitorar o processo: WP 11-2

07.2b.3434

Page 35: Analyzing and Reporting Test Results

Monitorar o processo: WP 11-3

07.2b.3535

Page 36: Analyzing and Reporting Test Results

Considerações finais

07.2b.36

• A empresa deve adaptar o processo aqui apresentado: quais relatórios devem ser feitos?

• Uma vez que um conjunto de relatórios foi escolhido, eles devem formar uma linha base (baseline) para que os projetos possam ser comparados entre si, identificando quais projetos estão abaixo da média da empresa

36