uma metodologia para definição de requisitos em sistemas data warehouse universidade federal de...

Uma Metodologia para

Definição de Requisitos

em Sistemas Data

Warehouse

Uma Metodologia para

Definição de Requisitos

em Sistemas Data

Warehouse

Universidade Federal de Pernambuco - Centro de Informática

Fábio Rilston Silva PaimDissertação de Mestrado de

Jaelson Brelaz de CastroOrientador

AgendaAgenda

Motivação e Escopo Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

IntroduçãoIntrodução

Sistemas Data Warehouse são cada vez mais necessários às organizações para garantir: Tomada de Decisão eficiente Competitividade no mercado

CONTUDO A grande maioria dos projetos data warehouse

fracassa em sua implantação.

Razões para o fracasso …Razões para o fracasso …

Especificação direcionada para aspectos operacionais. Projetos que não consideram necessidades do cliente. Ausência de uma metodologia padrão. Distância entre usuários e desenvolvedores. Esquema definido pouco escalável.

Um processo organizado é essencial para uma definição eficiente de requisitos em Projetos Data Warehouse.

Especificação pobre dos requisitos do Data Warehouse

Escopo da DissertaçãoEscopo da Dissertação

Definição de uma Metodologia para definição de requisitos em sistemas data warehouse. Processo de Engenharia de Requisitos tradicional ajustado às

necessidades do domínio.

Modelo em fases (processos, técnicas e artefatos) e de fácil utilização. Análise das influências entre requisitos e projeto arquitetônico. Não se propõe a especificar soluções arquitetônicas.

AgendaAgenda


RequisitosRequisitos

Requisitos são: uma capacidade do software necessitada pelo usuário para

resolver um problema e atingir um objetivo; uma capacidade que um sistema (ou um seu componente) deve

atingir ou possuir para satisfazer um contrato, padrão, especificação, ou outra documentação formalmente imposta.

(DORFMAN e THAYER, 1990)

Um bom entendimento dos requisitos é um passo fundamental no sentido de atender as necessidades do cliente.

Engenharia de Requisitos (ER)Engenharia de Requisitos (ER)

Processo sistemático de desenvolvimento dos requisitos por meio de: processo iterativo e cooperativo de análise do

problema. documentação das observações resultantes numa

variedade de formatos. checagem da acurácia do entendimento obtido.

(LOUCOPOULOS e KARAKOSTAS, 1995)

Processo Tradicional de ERProcesso Tradicional de ER

(KOTONYA e SOMMERVILLE, 1997)

Ger

ência

dos

Req

uisit

os

AgendaAgenda


Data WarehouseData Warehouse

Segundo INMON (1996), é “uma coleção de dados Orientada a Assunto: organizado conforme diferentes

visões de negócio. Integrada: a partir de fontes de dado heterogêneas. Não Volátil: sempre inserido, nunca excluído. Variante no Tempo: posições históricas das atividades

no tempo. ”

Processo de Data WarehousingProcesso de Data Warehousing FONTES PROVEDORAS ÁREA DE TRABALHO DATA WAREHOUSE SUPORTE À DECISÃO

EXTRAÇÃOADEQUAÇÃO

LIMPEZADERIVAÇÃO

AGREGAÇÃO

Bases de SistemasBases de Sistemas

Dados de Sistemas ERP

Dados de Sistemas ERP

Dados LocaisDados Locais

Dados ExternosDados Externos

Dados WEBDados WEB

[Adaptado de SunExpert Magazine, Outubro 1998.]

DATA WAREHOUSE

DATA MARTS

______________________________________________________

______________________________________________________

INCOME ANNUAL REPORT

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

INCOME ANNUAL REPORT

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

___ ___ ____ _____ ___ __

Relatórios

SIG

OLAP

Análise Financeira & Estatística

Esquema EstrelaEsquema Estrela

Uma tabela-fato rodeada de tabelas-dimensão.

No. VendaIDClienteIDProdutoEmissãoQuantidade

Vendas

IDProdutoDescriçãoMarcaCategoria

Produto

DiaMêsAno

Tempo

IDClienteNomeCategoria

Cliente

Tabela Fato

Tabela Dimensão

Métrica

Atributo

Hierarquia

OLAP (OLAP (OnLine Analytical ProcessingOnLine Analytical Processing))

Dado visto de diferentes ângulos e sobre diferentes níveis de agregação.

MétricaCélulaCélula

Dim

en

são 1

Dim

en

são 1

Dimensão 2Dimensão 2HierarquiaHierarquia

Operações OLAP agem sobre Cubos de Dado.

Roll-up

Drill-down

Pivot …

Processo de ConstruçãoProcesso de Construção

Estratégia “Dividir para Conquistar”. Data Marts blocos de construção.

Data Mart 1

Data WarehouseData Warehouse

Data Mart 2

Data Mart-n

AgendaAgenda

Motivação Engenharia de Requisitos Sistemas Data Warehouse Metodologia Estudo de Caso Contribuições Trabalhos Futuros

Requisitos em Data WarehouseRequisitos em Data Warehouse

Representar fatos e suas propriedades. Distinguir dimensões adequadamente e conectá-las

aos fatos. Garantir Agregabilidade. Correta integração com fontes provedoras. Acompanhamento pontual de mudanças. Documentação de alto nível. Conformidade entre aspectos comuns.

Metodologia Metodologia ((Modelo em Alto NívelModelo em Alto Nível))

Especificação de Requisitos

Necessidades do Data Mart

Requisitos do Data Warehouse

Requisitos do Data Warehouse Atualizados

Validação de Requisitos

Baseline de Requisitos

Mudanças Acordada

s

Release Final de Requisitos do Data Mart

Planejamento da Gerência de

Requisitos

Diretrizes Gerais

Requisitos Iniciais do Data Warehouse

Domínio de Negócios da

Aplicação

Necessidades do Cliente

Stakeholder

Usuário Final

Fonte Provedora

Engenheiro de Requisitos

Engenheiro de Software

Líder de Projeto

Notação: Rational Unified Process 2001-A

Controle da Gerência de Requisitos

Desenvolvimento orientado a DWDesenvolvimento orientado a DW

Release final do Data Mart


Requisitos


RequisitosElicitaçãoElicitação

AnáliseAnálise

ConformidadeConformidade

DocumentaçãoDocumentação

ValidaçãoValidação

Atualizar Modelo

DW

Atualizar Modelo

DW

Refinar BaselineRefinar

Baseline

Definir Escopo

DW

Definir Escopo

DW

Analisar RNFs DWAnalisar

RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart

Definir Solução Multidim.

Global


Global

Definir Regras Negócio


Priorizar e Definir

Correlações

Priorizar e Definir

Correlações

Necessidades Usuário

Domínio do Negócio

Especif. Requisitos Data Mart.


Núcleo da Metodologia Ciclo de Requisitos em DW


Gerência dos Requisitos

Planejamento da GerênciaPlanejamento da Gerência







Mudanças Acordada

s


Stakeholder

Usuário Final

Fonte Provedora



Líder de Projeto


Requisitos

Diretrizes Gerais



Aplicação



Requisitos

Diretrizes Gerais



Aplicação



F1.F1. Planejamento da Gerência Planejamento da Gerência

Propósito Determinar o foco da análise dimensional. Estabelecer premissas de integração com fontes. Regras para identificação de requisitos. Consenso quanto a objetivos do projeto. Estabelecer as políticas e processos de gerência dos

requisitos. (outros aspectos gerenciais…)

F1.F1. Planejamento da Gerência Planejamento da Gerência

Produtos Plano de Gerência de Requisitos. Visões Preliminares

Documento Visão do Data Warehouse. Especificação dos Requisitos Multidimensionais. Glossário do Projeto.

Especificação de RequisitosEspecificação de Requisitos







Mudanças Acordada

s


Stakeholder

Usuário Final

Fonte Provedora



Líder de Projeto


Requisitos

Diretrizes Gerais



Aplicação








F2.F2. Especificação de Requisitos Especificação de Requisitos

Propósito Fornecer uma especificação bem definida dos requisitos,

que é acordada e entendida por todos os envolvidos. Subprocessos

Elicitação Análise & Negociação Documentação Conformidade de Requisitos

F2.F2. Especificação de Requisitos Especificação de Requisitos F2.1F2.1 Elicitação de RequisitosElicitação de Requisitos

Propósito Descoberta de requisitos do Data Warehouse/Data Mart. Entendimento do domínio pela interação com stakeholders. Investigação de Aspectos Multidimensionais (Fatos, Dimensões,

Restrições, Correlações, …).

Técnicas Entrevistas/Workshops Prototipação Cenários (Template de Casos de Uso em UML) DW-ENF Framework (PAIM e CASTRO, 2002a) ( extensão do Framework NFR (CHUNG et al., 2000) )

F2.F2. Especificação de Requisitos Especificação de Requisitos F2.2F2.2 Análise & NegociaçãoAnálise & Negociação

Propósito Identificação de omissões, overlaps, e inconsistências. Adequação a padrões organizacionais. Resolução de conflitos e aderência dos requisitos ao

escopo multidimensional. Técnicas

Checklist de Requisitos para Data Warehouse.

F2.F2. Especificação de Requisitos Especificação de Requisitos F2.3F2.3 DocumentaçãoDocumentação Propósito

Produzir uma documentação detalhada e completa dos requisitos elicitados.

Meio para garantir acordo comum entre stakeholders. Identificar explicitamente as necessidades de suporte à decisão

da aplicação (multidimensionalidade, granularidade, aditividade,…)

Técnicas Templates de Artefatos para DW Recursos de Ferramentas de Gerenciamento de Requisitos

F2.F2. Especificação de Requisitos Especificação de Requisitos F2.3F2.3 DocumentaçãoDocumentação Artefatos Atualizados

Plano de Gerenciamento de Requisitos. Glossário do Projeto. Visão do Data Warehouse. Especificação de Requisitos Multidimensionais.

Artefatos Gerados Documento de Visão do Data Mart. Especificações de Caso de Uso. Especificação de Regras de Negócio. Especificação de Requisitos Não-Funcionais.

F2.F2. Especificação de Requisitos Especificação de Requisitos F2.4F2.4 Conformidade de RequisitosConformidade de Requisitos

Propósito Garantir que os requisitos do Data Mart estão em

conformidade com o modelo de requisitos do Data Warehouse Corporativo.

Eliminar overlapping, similaridades, redundâncias, ambiguidade.

Promover o reuso de requisitos.


Benefícios Assegurar a integração da informação ao longo da

arquitetura do Data Warehouse. Possibilitar a navegação entre Data Marts. Melhoria da qualidade pelo reuso de requisitos de

eficiência consagrada. Melhoria da consistência da interface e do conteúdo dos

dados da aplicação. Facilitar a evolução do Data Warehouse.


Técnicas Análise dos Documentos de Requisitos Recursos das Ferramentas de Gerenciamento

Validação de RequisitosValidação de Requisitos






Mudanças Acordada

s



Stakeholder

Usuário Final

Fonte Provedora



Líder de Projeto


Requisitos


Aplicação




Diretrizes Gerais


F3.F3. Validação de Requisitos Validação de Requisitos Propósito

Analisar documentos para identificar inconsistências (se ainda restantes).

Certificar que os requisitos se ajustam com as necessidades dos stakeholders.

Técnicas Revisões Prototipação

Produtos Relatório de Revisão (Lista de Ações).

Gerência de RequisitosGerência de Requisitos






Mudanças Acordada

s


Stakeholder

Usuário Final

Fonte Provedora



Líder de Projeto


Requisitos


Aplicação




Diretrizes Gerais



F4.F4. Gerência de Requisitos Gerência de Requisitos

Propósito Acompanhamento pontual de mudanças em requisitos. Rastreabilidade das mudanças. Análise de Impacto (Requisitos + Projeto).

Técnicas Matrizes de Rastreabilidade Ferramentas de Gerenciamento de Requisitos CASEs para Controle de Projeto

Extremamente Extremamente RecomendadoRecomendado

Desenvolvimento orientado a DWDesenvolvimento orientado a DW

Release final do Data Mart


Requisitos


RequisitosElicitaçãoElicitação

AnáliseAnálise




Atualizar Modelo

DW

Atualizar Modelo

DW


Baseline

Definir Escopo

DW

Definir Escopo

DW


RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart


Global


Global



Priorizar e Definir

Correlações

Priorizar e Definir

Correlações

Necessidades Usuário

Domínio do Negócio



Núcleo da Metodologia Ciclo de Requisitos em DW


Gerência dos Requisitos

AgendaAgenda


Estudo de CasoEstudo de Caso

Projeto S.A.F.E. Sistema de Análises Fiscais Estratégicas. Experimento de 2 anos. 2 Data Marts implementados, 2 outros em desenvolvimento. 21 equipes distintas. 4.306 requisitos alocados. Missão da Metodologia:

Especificar Integração com Fontes Provedoras Mapeamento Multidimensional Controle das Mudanças em Requisitos do Usuário

Data Mart “Visão Ação Fiscal PJ”Data Mart “Visão Ação Fiscal PJ”

Visão integrada das ações fiscais sobre o contribuinte pessoa jurídica.

Acesso às bases de Declaração, Cadastros, CPMF, dentre outras.

Equipe: 6 Engenheiros de Software 1 Especialista em Data Warehouse 1 DBA Projetista 2 Engenheiros de Requisitos

2 iterações, 1 baseline intermediária.

Ciclo de Requisitos em SAFECiclo de Requisitos em SAFEP1.P1. Planejando a Gerência de RequisitosPlanejando a Gerência de Requisitos

ElicitaçãoElicitação

AnáliseAnálise




Atualizar Modelo

DW

Atualizar Modelo

DW


Baseline

Definir Escopo

DW

Definir Escopo

DW


RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart


Global


Global



Priorizar e Definir

Correlações

Priorizar e Definir

Correlações




Requisitos


Requisitos

Planejando a Gerência do DWPlanejando a Gerência do DW

Workshop com envolvimento entre clientes e time de projeto. Estabelecidas regras para definição e gerência dos requisitos

(com respectivos papéis). Benefícios imediatos:

Nivelou o entendimento de todos na tecnologia. Evitou concepções errôneas sobre o DW. Identificou limites e restrições do projeto. Ajudou a aumentar a confiança dos clientes. Plano de Gerenciamento como guia para o desenvolvimento.

Desenvolvimento do SAFEDesenvolvimento do SAFEP2.P2. Definindo o Escopo do DWDefinindo o Escopo do DW


Requisitos


Requisitos


Atualizar Modelo

DW

Atualizar Modelo

DW


Baseline


RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart


Global


Global



Priorizar e Definir

Correlações

Priorizar e Definir

Correlações




AnáliseAnálise



Definir Escopo

DW

Definir Escopo

DW

Definindo o Escopo do DWDefinindo o Escopo do DW

Workshop e Entrevistas estabeleceram: Papéis e Responsabilidades Cenário e Oportunidade de Negócio Abrangência e Público Alvo Características da Interface Visão Multidimensional Geral (entre outros...)

Produtos Gerados Documento de Visão do Data Warehouse. Glossário do Projeto.


Requisitos


Requisitos


Atualizar Modelo

DW

Atualizar Modelo

DW


Baseline

Definir Escopo

DW

Definir Escopo

DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart


Global


Global



Priorizar e Definir

Correlações

Priorizar e Definir

Correlações




AnáliseAnálise


DocumentaçãoDocumentaçãoAnalisar

RNFs DWAnalisar

RNFs DW


Análise dos RNFs em SAFEAnálise dos RNFs em SAFE

Entrevistas permitiram discutir: Freqüência de atualizações Volume máximo de dados Quantidade de acessos simultâneos Flexibilidade da interface Restrições legais (entre outros...)

Framework DW-ENF como checklist. Produto

Especificação de Requisitos Não-Funcionais.


Requisitos


Requisitos


Atualizar Modelo

DW

Atualizar Modelo

DW


Baseline

Definir Escopo

DW

Definir Escopo

DW


RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart



Priorizar e Definir

Correlações

Priorizar e Definir

Correlações




AnáliseAnálise




Global


Global


Investigando a Solução MultidimensionalInvestigando a Solução Multidimensional

Uso de Análise & Negociação. Framework DW-ENF permitiu investigar os seguintes

aspectos: Qual o melhor esquema de Indexação a adotar? O paralelismo de dados é vantajoso para SAFE? Normalizar ou Desnormalizar as tabelas? Como atender à necessidade de consulta entre tabelas-fato? Custo X Benefício entre “Atualidade dos dados” e “Frequência de

carga”?


Requisitos


Requisitos


Atualizar Modelo

DW

Atualizar Modelo

DW


Baseline

Definir Escopo

DW

Definir Escopo

DW


RNFs DW


Global


Global



Priorizar e Definir

Correlações

Priorizar e Definir

Correlações




AnáliseAnálise



Definir Escopo

Data Mart

Definir Escopo

Data Mart


Definição do Escopo “Visão PJ”Definição do Escopo “Visão PJ”

Workshop discutiu o propósito do Data Mart e identificou: Público Alvo Papéis envolvidos Necessidades Funcionalidades Prioridades e Relevância

Produtos Gerados Documento de Visão do Data Mart. Repositório de Requisitos.


Requisitos


Requisitos


Atualizar Modelo

DW

Atualizar Modelo

DW


Baseline

Definir Escopo

DW

Definir Escopo

DW


RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart


Global


Global

Priorizar e Definir

Correlações

Priorizar e Definir

Correlações


AnáliseAnálise









Definindo Requisitos MultidimensionaisDefinindo Requisitos Multidimensionais

Necessidades Data Mart

Funcionalidades

Fatos Dimensões

Métricas

Aditividade

Atributos

Cardinalidade

Conformidade

Artefato: Especificação de Requisitos Multidimensionais.

Definindo Requisitos FuncionaisDefinindo Requisitos Funcionais

Necessidades Data Mart

Funcionalidades

Casos de Uso Regras de Negócio

Passos Principais

Fluxos Alternativos

Artefatos: Especificações de Caso de Uso. Especificações de Regras de Negócio.

referenciamProtótipo de

Interface

Requisitos Multidim.

aloca

Genéricas Por Assunto

Conformidade

Integração com Fontes Provedoras

Definindo Requisitos Não-FuncionaisDefinindo Requisitos Não-Funcionais

Nenhum requisito não-funcional novo identificado. Mantidos os RNFs gerais do Data Warehouse.

Analisando Modelo de RequisitosAnalisando Modelo de Requisitos

Checklist para DW foi utilizado para checar a consistência da especificação de requisitos.

Conclusão: Necessidade de detalhamento maior do domínio de

atributos.


Requisitos


Requisitos



Baseline

Definir Escopo

DW

Definir Escopo

DW


RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart


Global


Global






AnáliseAnálise



Atualizar Modelo

DW

Atualizar Modelo

DW

Priorizar e Definir

Correlações

Priorizar e Definir

CorrelaçõesControle da Gerência de Requisitos


Priorizando e Gerenciando RequisitosPriorizando e Gerenciando Requisitos

Requisitos foram classificados e priorizados na ferramenta RequisitePro.

O modelo de requisitos do DW foi revisado e atualizado. Correlações entre requisitos foram estabelecidas para

subsidiar análise de impactos. Matrizes de Rastreabilidade utilizaram as correlações

para relatar os impactos de mudanças. Filtros foram usados para restringir as consultas aos

requisitos afetados.


Requisitos


Requisitos

Atualizar Modelo

DW

Atualizar Modelo

DW

Definir Escopo

DW

Definir Escopo

DW


RNFs DW

Definir Escopo

Data Mart

Definir Escopo

Data Mart


Global


Global



Priorizar e Definir

Correlações

Priorizar e Definir

Correlações





Baseline


AnáliseAnálise




Validando e Refinando a Validando e Refinando a BaselineBaseline

Após cada ciclo, uma etapa de Validação. Sessões de Revisão e Prototipação validaram o

modelo de requisitos quanto a sua aderência às necessidades do cliente, em ambas as visões Conceitual e de Projeto.

Observadores externos permitiram identificar requisitos ainda ausentes/incorretos.

Ações corretivas foram estabelecidas para refinar a Baseline.

Benefícios para Projeto e ClienteBenefícios para Projeto e Cliente

Atendimento das metas críticas para requisitos. Especificar Integração com Fontes Provedoras Mapeamento Multidimensional Controle das Mudanças em Requisitos do Usuário

Redução da distância entre cliente e desenvolvedores. Redução significativa no número de apurações especiais

para geração de relatórios estratégicos. Agilidade na programação de ações fiscais. Visão integrada da fiscalização para todo o nível gerencial

do cliente.

AgendaAgenda


Contribuições do TrabalhoContribuições do Trabalho

Modelo de fases genérico para aplicação de técnicas de engenharia de requisitos ao desenvolvimento de sistemas data warehouse.

Templates de artefatos especificamente adaptados para data warehouse. Template em UML para modelagem de casos de uso em

data warehouse.

Tratamento da conformidade de requisitos em data warehouse.

Contribuições do TrabalhoContribuições do Trabalho

Lista de Verificação (checklist) específica para data warehouse.

Aplicação do framework NFR de CHUNG et al. (2000) para data warehouse (DW-ENF).

AgendaAgenda


Trabalhos FuturosTrabalhos Futuros

Adequação da Metodologia para projetos de manutenção. Incorporação de artefatos e procedimentos para definição

de requisitos de metadados. Investigação de abordagens de rastreabilidade mais

sofisticadas como descrito em (TORANZO, 2002). etc

PublicaçõesPublicações

PAIM, F. R., CARVALHO, A. E. e CASTRO, J. B., 2002. “Towards a Methodology for Requirements Analysis of

Data Warehouse Systems". XVI Simpósio Brasileiro de Engenharia de Software (SBES'2002), Gramado, Rio Grande do Sul. Best paper entre 104 submissões.

PAIM, F. R. e CASTRO, J. B., 2002a. “Enhancing Data

Warehouse Design with the NFR Framework”. 5th Workshop on Requirements Engineering (WER2002), Valência, Espanha (Nov).

uma metodologia para definição de requisitos em sistemas data warehouse universidade federal de...

Documents