1 iso/iec 14598 – 6 avaliação do produto – módulos de avaliação paulo jorge nº 20949 pedro...
TRANSCRIPT
1
ISO/IEC 14598 – 6Avaliação do Produto – Módulos de Avaliação
Paulo Jorge nº 20949
Pedro Pereira nº 19953
2
Resumo
Introdução NORMA ISO/IEC 14598 Conceitos de Módulos de Avaliação Formato de um Documento Desenvolver um Módulo de Avaliação Exemplo de um Módulo de Avaliação
3
Introdução
A avaliação do Software depende em larga escala das técnicas e métricas utilizadas.
Mas também a forma como a documentação das métricas e dos métodos é feita, assume um papel importante.
– Deve ser standard.– De fácil acesso.
O conceito de Módulo de Avaliação permite uma solução para estas necessidades
– Define uma forma de avaliação e a formatação que reporta os resultados das medidas resultantes da aplicação das métricas e técnicas (What).
4
Introdução
Entende-se por módulo de avaliação um pacote contendo a tecnologia para avaliação das características e subcaracterísticas de um determinado software: Os modelos de qualidade; dados e informações a respeito do plano de aplicação desses modelos.
Objectivo – Padronizar os módulos de avaliação para que seja possível a sua reutilização (Why)
5
Introdução
Os módulos de avaliação podem ser utilizados no contexto das ISO/IEC 9126 e dos standards da ISO/IEC 14598. – ISO/IEC 9126 – Características da qualidade
do produto de Software.
– ISO/IEC 14598 – Plano para a avaliação de produtos de Software.
6
ISO/IEC 14598
7
ISO 14598
8
Módulo de Avaliação - Conceito
Diferentes aspectos da avaliação necessitam de diferentes técnicas de aplicação.
Assim, uma avaliação deve ser estruturada em unidades.
Cada uma das unidades deve focar a avaliação da qualidade de um aspecto específico, recorrendo a uma técnica específica.
Esta informação deve estar bem armazenada para que privilegie uso futuro – Módulo de Avaliação.
9
Módulo de Avaliação
Clarifica qual o aspecto da qualidade do software que está a ser medido;
A forma como ao medida é efectuada está bem definida, bem como as pré-condições e exactidão da medida.
Estabelecem as ligações entre as técnicas de avaliação, as métricas e as medidas.
10
Documentação
Formato Será aplicado dentro do contexto da avaliação do
produto de software; Deve suportar o desenvolvimento de novas métricas
estado da arte; Disponibiliza uma definição precisa das métricas
utilizadas e sua aplicação; Contém toda a informação necessária para aqueles
que futuramente necessitem do MA para uma nova avaliação.
11
Documentar Módulos de Avaliação
Documentar um módulo de avaliação tem como vantagens:
Disponibilizar uma referência comum para descrição das bases teóricas do módulo;
Identificar um conjunto de requisitos para documentar e desenvolver um módulo;
Permite a recolha e catálogo de um largo número de módulos de avaliação antecipadamente.
12
Desenvolver um MA
1 – Identificar os requisitos do MA– Identificar o modelo de qualidade;– Identificar características e sub-características da
qualidade;– Decidir qual o objectivo da avaliação.
2 – Especificar o MA– Com base nos requisitos, especificar as técnicas de inputs
da avaliação, bem como as métricas.
13
Desenvolver um MA
3 – Desenvolver Procedimentos de avaliação– Estimar quais os recursos necessários;– Detalhar as procedures de avaliação a desenvolver;– Uma versão trial da procedure avaliação pode tornar-se uma
mais valia.
4 – Descrição do Procedimento de Avaliação– Descrever o ponto anterior de acordo com o formato do MA –
ser conforme com esta norma.
5 – Verificação e Validação do MA– A validação deve assegurar que o MA representa o estado da
arte da tecnologia, e ser testado por diferentes tipos de pessoas e em diferentes ambientes.
14
Formato Documentação (EM0 – EM5)
EM0 - Introdução– Informação formal sobre o módulo de avaliação;
– Breve introdução sobre as técnicas descritas no módulo;
– Preparação, aprovação, contribuições e alterações e relações com outros documentos.
15
Formato Documentação (EM0 – EM5)
EM1 – Âmbito– Define o âmbito da aplicação do módulo de avaliação;– Identifica as características, sub-características ou
atributos onde o módulo de avaliação tem aplicação;– Descreve o nível de avaliação definido pelo módulo.
O nível deve ser descrito tendo em conta a utilização do software e o seu ambiente de utilização.
– Deve descrever as técnicas de avaliação aplicadas;– Identificar o âmbito de aplicação do módulo.
16
EM2 - Referências– Nesta clausula são apontadas as referências a
normativos ou a documentos técnicos. Se o módulo de avaliação depende do resultado de outros, é nesta clausula que devem ser mencionados.
Formato Documentação (EM0 – EM5)
17
EM3 – Termos e Definições– Aqui são definidos os termos técnicos utilizados
no módulo.– Podem ainda ser encontrados nesta clausula,
referências a fontes onde as definições podem ser encontradas.
Formato Documentação (EM0 – EM5)
18
Formato Documentação (EM0 – EM5)
EM4 – Inputs e Métricas– Identifica os inputs necessários para a avaliação:
Componentes do produto; Informação do produto; Informação de suporte; Informação sobre o produto em utilização.
– Especificar os dados a extrair dos inputs;– Descrever como as medidas são calculadas através dos
dados, utilizando as métricas. Se as métricas forem combinadas, devem ser descritas aqui as
dependências. Todas as suposições e pré-condições têm de ser satisfeitas antes
de se proceder è medição.
19
Formato Documentação (EM0 – EM5)
EM5 – Interpretação dos Resultados– Especificar a interpretação dos resultados obtidos com as
medições;– Se obtiverem medidas distintas para uma mesma
característica ou atributo, aqui são descritas as formas como podem ser combinadas e avaliadas;
– Descreve o índice do relatório que fornecerá o resultado final da aplicação do módulo. Em alguns casos, a visualização de valores obtidos são importantes e devem ser encorajados.
20
Formato Documentação (EM0 – EM5)
EMA – Procedimento da Aplicação– A inclusão deste anexo é opcional– Deve descrever os procedimentos da aplicação
de forma detalhada.– Deve incluir pontos como:
Definição de termos técnicos usados; Recursos necessários para a implementação; Instruções da avaliação; Documentação.
21
Exemplo de MA – Fault Density
EM0 - Introdução– Objectivo – Determinar a densidade de falhas (defeitos no
software) num programa, calculada recorrendo a estimativa. EM1 - Âmbito
– Características: Fiabilidade; Maturidade; Densidade de falhas.
– Nível de avaliação – B (ISO 14598-5)– Técnicas – Modelo de Crescimento de Fiabilidade– Aplicabilidade – a todos os tipos de linguagens de programação.
22
Exemplo de MA – Fault Density
EM2 - Referências–
EM3 - Termos e Definições– Fault – Defeito no Software;– Falha – Ocorrência de um evento, dado um conjunto de
eventos definidos;– LOC – Linhas de Código;– ELOC – Nº de linha de código onde foi detectada e
modificada uma falha;– EELOC – Nº estimado de ELOC;– NCLOC- Nº de linhas sem comentários;– FDV (Fault Density Value) – nº de Falhas por unidade de
volume do produto.
23
Exemplo de MA – Fault Density
EM4 - Inputs e Métricas– Inputs
Código Origem – Componente do produto Programa de testes – Informação do Produto
– Dados Nº de falhas detectadas (ELOC) Determinação do tempo de cada falha (calendário do CPU) Nº de linhas de código (NCLOC)
– Métricas e Medidas FDV = (EELOC – ELOC)/NCLOC)
24
Exemplo de MA – Fault Density
EM5 - Interpretação dos Resultados– Mapping das medidas:
FDV <= 10^-4 EXCELENTE 10^-4 < FDV <= 10^-3 BOM 10^-3 < FDV <=10^-2 SUFICIENTE FDV > 10^-2 MAU Valores de acordo com os objectivos dos thresholds e do
domínio do software avaliado.– Reporting
Resultados obtidos com o MA– Identificação do código fonte– FDV– Rating correspondente {Excelente; Bom; Suficiente; Mau}
25
Exemplo de MA – Fault Density
EM6 – Procedimento da Aplicação– RGM – Modelo utilizado para estimar o nº de
linhas de código com erro.– Recursos necessários:
Ferramenta de contagem de LOC; Ferramenta de contagem de linhas alteradas; Ferramenta de recolha de dados RELIABILITY; Ferramenta de análise (Opcional); Hardware comum
26
Exemplo de MA – Fault Density
EM6– Qualificações
Conhecimentos da aplicação do Modelo RGM.– Mão de Obra
Na recolha das falhas e no cálculo dos valores FDV.– Instruções de Avaliação
Seleccionar amostras de código; Geração de linhas de dados; Algoritmo
– Documentação Identificar a versão do código fonte da amostra; Qual o conjunto de falhas utilizados para estimar EELOC; Data da aplicação e a pessoa responsável.
27
Exemplo de MA – Qualidade em Uso
EM0 – Introdução– Princípios de avaliação da qualidade em uso de um produto
de software.
EM1 – Âmbito– Características
Este MA especifica como se avaliam 3 qualidades de uso definidas na ISO/IEC 9126-1 e os principios da ISO 9241-11.
– Efectividade;– Produtividade;– Satisfação.
28
Exemplo de MA – Qualidade em Uso
– Nível de Avaliação – O nível de acuidade ao uso depende de quão próximo está o contexto de avaliação face ao contexto da utilização do software, tendo em conta ainda o número de utilizadores.
– Técnica – Simulação de ambiente real, sem outra ajuda que não a existente em ambiente real.
– Aplicabilidade – Apropriado a qualquer produto que faça parte de um sistema com interacção de utilizadores.
EM2 – Referências– …
29
Exemplo de MA – Qualidade em Uso
EM3 – Termos e Definições– Contexto do Uso – todo o ambiente real;– User – A pessoa que interage com o produto;– Objectivo – O que se pretende com a avaliação;– Tarefa – Actividades para atingir o objectivo.
EM4 - Inputs e Métricas– Input
Código executável e documentação; Contexto do uso; Contexto da avaliação
30
EM4 – Inputs e Métricas– Dados
Tempos de tarefa; Tempos de Output; Satisfação dos Resultados; Dificuldades encontradas.
– Métricas Efectividade Produtividade Satisfação
Exemplo de MA – Qualidade em Uso
31
EM5 – Interpretação dos Resultados– Efectividade;– Produtividade;– Satisfação;– Interpretação das medidas:
Acuidade ao uso; Interpretação. Relatório.
Exemplo de MA – Qualidade em Uso
32
EM6 – Procedimentos na Aplicação– Recursos Necessários:
Um avaliador com valências e experiência na avaliação de factores humanos;
Esforço de, pelo menos, 3 pessoas para planear, 2 pessoas para avaliar e 2 pessoas para a análise e relatório.
– Instruções: O relatório deve definir claramente que utilizadores
efectuaram que tarefas, em que ambientes e toda a estrutura em que de desenrolou a simulação.
Exemplo de MA – Qualidade em Uso