teste baseado em falhas
DESCRIPTION
Teste baseado em falhas. Problema. Usuário não sabe se a suíte de teste é adequada ou não para encontrar erro Solução 1: Medir cobertura Mas… cobrir mais implica em encontrar mais erros?. Problema. Usuário não sabe se a suíte de teste é adequada ou não para encontrar erro - PowerPoint PPT PresentationTRANSCRIPT
Teste baseado em falhas
Problema
• Usuário não sabe se a suíte de teste é adequada ou não para encontrar erro
• Solução 1: Medir cobertura – Mas… cobrir mais implica em encontrar mais
erros?
Problema
• Usuário não sabe se a suíte de teste é adequada ou não para encontrar erro
• Solução 1: Medir cobertura– Mas… cobrir mais implica em encontrar mais
erros?
• Solução 2: Introduzir erro intencionalmente (fault seeding/injection)– Permite identificar se a suíte encontrará ou não
os erros injetados.
Teste de Mutação
P
T0T1
T2
…
Tn
• Como saber se TS é adequada para encontrar erros?
TS =
Teste de Mutação
• P’ é uma versão que contém um erro!
• O que se pode concluir sobre TS?
P
T0T1
T2
…
Tn
P’
T0
T1
T2
…Tn
TS =
Teste de Mutação
• P’ é uma versão que contém um erro!
• O que se pode concluir sobre TS?
P
T0T1
T2
…
Tn
P’
T0
T1
T2
…Tn
TS =
Inadequado para encontrar erro introduzido em P’
Teste de Mutação
• O que o programador deve fazer ao perceber isto?
P
T0T1
T2
…
Tn
P’
T0
T1
T2
…Tn
TS =
Teste de Mutação
• O que o programador deve fazer ao perceber isto?
P
T0T1
T2
…
Tn
P’
T0
T1
T2
…Tn
TS =
Adicionar novo teste para capturar erro em P’
Teste de Mutação
• Novo teste deve passar em P e falhar em P’
• Definição: TS distingue programas P e P’
P
T0T1
T2
…
Tn
P’
T0
T1
T2
…
Tn
TS =
Tn+1 Tn+1
Terminologia
• Mutante
• Operador de Mutação
• Mutante morto
• Mutante sobrevivente
• Mutante equivalente
Terminologia
• Mutante: Programa original modificado
• Operador de Mutação: Definição de uma transformação (de original para mutante)
• Mutante morto: Quando a suíte de teste consegue distinguir mutante do original
• Mutante sobrevivente: Não morto (acima)
• Mutante equivalente: Semântica do mutante é equivalente ao original
Modelo de falhas
• Caracterização dos problemas frequentes em um domínio– E.g., reentrância em AOP, null-pointer em OO,
deadlocks em programação concorrente, etc.
Gerador de mutantes (operadores de mutação) usam esta caracterização
para criar mutantes
Mutantes sobreviventes
• Duas razões para Pm sobreviver ao teste de distinção de P em relação a TS– Suíte TS não consegue distinguir Pm e P– P e Pm são equivalentes => problema
indecidível!
Métodologia (Parte 1)
Input: P: Pgm, OPS: set of OpOutput: set of Pgm Pseudo-code: gerarMutantes /******************************************************* * gera vários novos programas derivados de P. * Para cada um, identifica um operador de * mutação em OPS e uma posicão para aplicá-lo * em P. Em geral, cada mutante inclui apenas * uma modificação. *******************************************************/
Métodologia (Parte 2)
Input: P: Pgm, TS: set of Pgm, {P1, P2, …, Pn}: set of PgmOutput: /*survivors*/ set of Pgm x /*killed*/ set of PgmPseudo-code: encontreSobreviventesfor each Pm in {P1,P2, …,Pn} do // distinguir mutante if (exists some T in TS s.t. RUN(T,Pm) == FAIL) killed = killed U {Pm} else survivors = survivors U {Pm}donereturn (survivors, killed)
Metodologia (Parte 3)
P
TS
Set of Mutants
OPsgerarMutantes encontreSobreviventes
sobreviventesnovos testes
Score de Mutação
• Métrica usada no teste de mutaçao
• Está para o teste de falhas assim com cobertura está para o teste estrutural
• Definição: #mortos / (#mutantes - #equivalentes)
Exemplo
• Qual o score para o cenário 10 mutantes, 5 mortos, 2 equivalentes?
Exemplo
• Qual o score para o cenário 10 mutantes, 5 mortos, 2 equivalentes?– Score = 5/(10-2) = 5/8 = .625 = 62.5%
Nota: Definição de score
• Definição: #mortos / (#mutantes - #equivalentes)
É comum desconsiderar #equivalentes, pois não é possível identificar de forma automatizada e ainda precisa!
Nota: Definição de score
• Definição: #mortos / #mutantes
Aproximação pessimista do score ideal!
Principais limitações
• Não se sabe se erro introduzido por um operador de mutação é relevante
• Classificar um mutante como equivalente é manual (caro e passível de erro)
• Custo alto: Número de mutantes elevado requer várias execuções do teste
Resumo
• Modelo de falhas
• Mutante morto
• Mutante sobrevivente– Mutante equivalente
• Score de mutação