modelagem multidimensional conceitos básicos

Post on 13-Apr-2017

140 Views

Category:

Data & Analytics

1 Downloads

Preview:

Click to see full reader

TRANSCRIPT

Modelagem Multidimensional

Conceitos Básicos

Tomada de Decisão Gerencial• É a escolha racional, dentre alternativas disponíveis, de um

curso de ação, que se faz presente em todos os níveis da organização (estratégico, gerencial e operacional).

• Identificar e selecionar um curso de ação para lidar com um problema específico ou extrair vantagens em uma oportunidade.

Sistemas de apoio à Decisão Gerencial

Transformar dados em informações de suporte à decisão;

Auxiliar na tomada de decisões estratégicas e táticas;

DATA WAREHOUSE – Armazém de Dados

Bill Inmon : “É um banco de dados, orientado por assunto, integrado, não volátil e histórico, criado para suportar o processo de tomada de decisão.”

Ralph Kimball : “Um armazém é uma cópia dos dados da transação especificamente estruturado para consulta e análise.”

DATA MART – Repositório de Dados

Bill Inmon : “Data Mart é cada uma das partes físicas ou lógicas de um Data Warehouse corporativo. Um Data Mart corresponde às necessidades de informação de uma determinada comunidade de usuários.”

DATA MART – Repositório de Dados

Arquitetura Top-Down Bill Inmon

Arquitetura Botton-UpRalph Kimball

Granularidade

Granularidade

ETL – Extract Transform Load Extração Transformação e Limpeza

Transform

Staging Area

Load

Data Mart

Usuário Final

Extração

1. Fonte: Considerar dados oriundos dos sistemas transacionais

2. Meio de acesso ao sistema fonte: através de views3. Horário da extração: fora do horário comercial. Deve constar

no FLD – Formulário de Levantamento de Dados4. Montar esquema de tabelas de staging5. Periodicidade da extração: horária, diária, semanal, mensal.

Deve constar no documento de requisitos

Transformação1. Conversões de formatos: EBCDIC, ASCII, códigos

geográficos (estados, países), conversões de medidas, caixa alta, etc.

2. Criação de dados derivados (Ex.: UEN Prestadora: obtida pelo tipo da unidade e a UF)

3. Separação e concatenação de dados, como quebra de datas, endereços, etc.

4. Limpezas de erros de entrada de dados (typing), inconsistência entre atributos com valores associados; campos ausentes; duplicação de informações com inconsistência entre fontes; aplicação de regras de negócio

Carga

1. Identificar os dados a serem carregados, mapeando o esquema de staging com o esquema dos modelos dimensionais

2. Tratar o mapeamento de chaves naturais para chaves surrogates

3. Carregar as dimensões4. Carregar tabelas fato5. Considerar aspectos de performance, como uso de

paralelismo, presença ou ausência de índices e constraints6. Considerar armazenar dados rejeitados, erros em tabelas de

violação

Modelagem Multidimensional

TTécnica de modelagem onde as informações se relacionam de maneira que podem ser representadas metaforicamente como um cubo.

Questões de Negócio

Como nasce o modelo multidimensional ?

Questão de negócio:

• Qual a quantidade de objetos do serviço Remessa Expressa extraviados/roubados e devolvidos ao remente, por DR de destino, por período (data de apuração), e por agrupamento de eventos finalizadores?

Objetos Extraviados/Roubados e Devolvidos ao Remetente

Fato de Negócio: Remessa Expressa

Questão de Negócio

• Qual a quantidade exportada por Tipo de Malote, por DR Origem, por DR de Destino e por período?

Quantidade Malotes Exportados

Fato de Negócio: Malotes Exportados

O que é Modelagem Multidimensional ?

“Cruzamento de dimensões de análise para achar uma métrica.”Carlos Caldo

Elementos de um Modelo Multidimensional

FATO DIMENSÃO MÉTRICA

ECT_TD_TEMPO

TEM_NU_ID_TEMPO

TEM_DT_TEMPOTEM_DT_JULIANATEM_IC_FERIADO_NACIONALTEM_SG_DIA_SMNATEM_NO_DIA_SMNATEM_MMTEM_DD_MESTEM_NO_DIATEM_NU_DIA_SMNATEM_DD_ANOTEM_NU_SMNA_MESTEM_NU_SMNA_ANOTEM_NO_COMPLETO_MESTEM_NO_ABREVIADO_MESTEM_NU_MES_ANO

REMESSA_EXPRESSA_FAT

TEM_NU_ID_TEMPO (FK)ORG_NU_ID_ORGAO (FK)cli_nu_identificador (FK)

rem_qt_objeto

ECT_DIM_ORGAO

ORG_NU_ID_ORGAO

ORG_NU_ORGAOORG_NU_ORGAO_NIVEL_1_TECORG_NO_ORGAO_NIVEL_1_TECORG_NU_ORGAO_NIVEL_2_TECORG_NO_ORGAO_NIVEL_2_TECORG_NU_ORGAO_NIVEL_3_TECORG_NO_ORGAO_NIVEL_3_TECORG_NU_ORGAO_NIVEL_4_TECORG_NO_ORGAO_NIVEL_4_TECORG_NU_ORGAO_NIVEL_5_TECORG_NO_ORGAO_NIVEL_5_TECORG_NU_ORGAO_NIVEL_6_TECORG_NO_ORGAO_NIVEL_6_TECORG_NU_ORGAO_NIVEL_7_TECORG_NO_ORGAO_NIVEL_7_TECORG_NU_ORGAO_NIVEL_8_TECORG_NO_ORGAO_NIVEL_8_TECORG_NU_ORGAO_NIVEL_9_TECORG_NO_ORGAO_NIVEL_9_TECORG_NU_ORGAO_NIVEL_10_TECORG_NO_ORGAO_NIVEL_10_TECORG_NU_ORGAO_NIVEL_1_ADMCLIENTE_DIM

cli_nu_identificador

cli_co_origemcli_nocli_dt_cargacli_in_registro_corrente

Tipos de métricas

Tipos de Modelos Multidimensionais Modelo Star Schema

Modelo Star Schema

Tipos de Modelos Multidimensionais Modelo Snow Flake

Roteiro para uma Modelagem Eficaz

FIM

top related