olap lailson

1

OLAP

2

OLAP

Sumário

OLAP Data Warehouse Modelagem Multidimensional. Data Mining BI - Business Inteligence. ERP - Enterprise Resource Planning, CRM - Customer Relationship Management EIS - Enterprise Information System ECM - Enterprise Content Management

3

OLAP

Introdução Aplicações do negócio: constituem as aplicações que

dão suporte ao dia a dia do negócio da empresa, que garantem a operação da empresa, também chamadas de sistemas de produção;

Aplicações sobre o negócio: são as aplicações que analisam o negócio, ajudando a interpretar o que ocorreu e a decidir sobre estratégias futuras para a empresa - compreendem os Sistemas de Apoio à Decisão.

Consultas típicas de um SAD são: Listar a evolução das vendas nos últimos 10 anos; Listar o fornecedor que não teve mais do que 20% de

atrasos nas últimas 100 entregas.

4

OLAP

Evolução do Ambiente de Data WarehouseAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

5

OLAPAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

REL 1

REL 2

REL 3

REL 4

REL 5

REL 6

6

OLAPAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

REL 1

REL 2

REL 3

REL 4

REL 5

REL 6

7

OLAPAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

SAD 1

SAD 2

SAD 3

SAD 4

SAD 5

SAD 6

8

OLAPAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

SAD 1

SAD 2

SAD 3

SAD 4

SAD 5

SAD 6

9

OLAPAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

SAD 1

SAD 2

SAD 3

SAD 4

SAD 5

SAD 6

10

OLAPAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

SAD 1

SAD 2

SAD 3

SAD 4

SAD 5

SAD 6

Tecnologia de Tecnologia de Data Data

WarehousingWarehousing

11

OLAPAplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

DWDW

Conjunto de Dados Não Volátil,

Organizado por Assuntos,

Integrado,

Varia com Passar do Tempo,

Suporte para Processo de Tomada

de Decisão da Empresa

DWConjunto de Dados Não Volátil,Organizado por Assuntos, Integrado, Varia com Passar do Tempo,Suporte para Processo de Tomada


12

OLAP

DW Organizados por Assuntos:

Refere-se ao fato do DW armazenar informações sobre temas específicos importantes para o negócio da empresa. Exemplos típicos de temas são: produtos, atividades, contas, clientes, etc. Em contrapartida, o ambiente operacional é organizado por aplicações funcionais.

Integração: Esta característica irá definir a representação única para os dados

provenientes dos diversos sistemas que formarão a base de dados do DW. A maior parte do trabalho na construção de um DW está na análise dos sistemas operacionais e dos dados que eles contêm. Como não existem padrões de codificação, cada analista pode definir a mesma estrutura de dados de várias formas, fazendo com que dados que representam a mesma informação sejam representados de diversas maneiras dentro dos sistemas utilizados pela empresa ao longo dos anos.

Variação no Tempo: Segundo W.H.Inmon todos os dados no DW são precisos em algum instante

no tempo, como eles podem estar corretos somente em um determinado momento, é dito que esses dados "variam com o tempo".

Não Volátil: Em um DW não existem alterações de dados, somente a carga inicial e as

consultas posteriores. Ele é definido assim pois as operações a nível de registro em modo on-line como são os sistemas transacionais, exigem um controle e um processamento muito grande, fugindo do objetivo principal do DW.

13

OLAP

DM

DM

DM

DW

Aplicação A

Aplicação B

Aplicação C

Aplicação D

Aplicação E

Aplicação F

DM

Coleção de Assuntos de uma Área,

Organizado para Apoio à Decisão,

Necessidades de Departamento/ Setor

DMColeção de Assuntos de uma Área,Organizado para Apoio à Decisão,Necessidades de Departamento/ Setor

14

OLAP

Conceito de Data Warehouse

Data Warehouse, pode ser definido como um banco de dados especializado, o qual integra e gerencia o fluxo de informações a partir dos bancos de dados corporativos e fontes de dados externas à Organização. Um DW oferece os fundamentos e os recursos necessários para um Sistema de Apoio a Decisão (SAD) eficiente, fornecendo dados integrados e históricos que servem desde à alta direção, que necessita de informações mais resumidas, até as gerências de baixo nível, onde os dados detalhados ajudam a observar aspectos mais táticos da Organização.

15

OLAP

16

OLAP

OLTP x OLAP A característica simples mais distintiva dos aplicativos OLTP (On-line

Transaction Processing) é que o banco de dados está sendo constantemente atualizado. Como os dados estão mudando constantemente, o sistema não pode ajudar no apoio a decisões.

De um ponto de vista prático, OLAP (On-line Analytic Processing) sempre envolve consultas interativas aos dados, seguindo um caminho de análise através de múltiplos passos, como, por exemplo, aprofundar-se sucessivamente por níveis mais baixos de detalhe de um quesito de informação específico. OLAP envolve capacidades analíticas, incluindo a derivação de taxas, variâncias, etc., e envolvendo medidas ou dados numéricos através de muitas dimensões, devendo suportar modelos para previsões, análises estatísticas e de tendências.

17

OLAP

Modelagem Relacional

Modelagem Dimensional

18

OLAP

Modelagem Dimensional (DW)

Modelo Estrela.

Cod_produto integerCod_tempo integerCod_geografia integerCod_canal integer

Quantidade decimal(16,0)Faturamento decimal(16,2)

VENDAS

Cod_geografia integer

Nome varchar(10)População integerEstado char(2)Região char(2)

GEOGRAFIA

Cod_produto integer

Nome varchar(10)Categoria char(4)Familia char(4)

PRODUTO

Cod_canal integer

Tipo varchar(10)

CANALCod_tempo integer

Dia integerMês integerAno integerDia_semana char(3)

TEMPO

19

OLAP

Modelagem Dimensional (DW) Modelo Flocos de Neve (Snowflake):

Incorpora tabelas dimensionais principais, que têm uma conexão lógica direta em fact tables através de suas chaves primárias, e tabelas menores como 'extensões', que são usadas para armazenar descrições e decodificação para chaves e códigos nas tabelas maiores.

As tabelas dimensionais principais parecem tabelas dimensionais em estrela, exceto pelo fato das colunas atributo conterem chaves para as tabelas extensões em lugar de descrições de texto. As tabelas 'extensões' são conectadas com a tabela dimensional principal (ou com outras tabelas 'extensões') através de suas chaves primárias, e contêm texto decodificado e descrições de valores chave ou codificados, armazenados na tabela dimensional principal.

20

OLAP

Embora aceitável, a normalização de dimensões não é recomendável por razões de desempenho e facilidade de uso: A quantidade de tabelas torna a apresentação do modelo mais

complexa. Otimizadores do SGBD têm mais dificuldade com esquema complexo. A economia de espaço em disco é insignificante em relação ao DW

completo. Diminui a habilidade de usuários de navegar na dimensão.

21

OLAP

Área de Organização

de Dados

Sistema 1

Sistema 2

Sistema n

Procedimentos Procedimentos ETLETL



Fontes Externas

Dados Não Estruturados



DW

Conjunto de Dados Não Volátil,

Organizado por Assuntos,

Integrado,

Varia com Passar do Tempo,

Suporte para Processo de Tomada


Procedimentos ETLExtraçãoTransformação Carga

22

OLAP

DWDW


de Dados


Sistema 1

Sistema 2

Sistema n



Fontes Externas

Extração, Extração, Transformação Transformação

e e CargaCarga


Ferramentas de

Consulta OLAP




23

OLAP

DWDW


de Dados


Sistema 1

Sistema 2

Sistema n



Fontes Externas

Extração, Extração, Transformação Transformação

e e CargaCarga


Ferramentas de

Data Mining




AnáliseAnálise

Data MiningData Mining

24

OLAP

ERP Os sistemas ERP (Enterprise Resource Planning),

também chamados no Brasil de Sistemas Integrados de Gestão Empresarial, têm um objetivo fundamental: controlar, integrar e fornecer suporte aos processos de uma organização – operacionais, produtivos, administrativos e comerciais.

O ERP integra várias funções: controles financeiros, contabilidade, folha de pagamento, faturamento, compras, produção, estoque e logística. Possibilita um fluxo de informações único, contínuo e consistente por toda a organização, o que permite administrar os negócios em uma única base de dados.

25

OLAP

ERP

SistemasOperacionais

DataMarts

BSCDW

Estratégico

Tático

Operacional ERP

Processos Pessoas

SofwareHardware

26

OLAP

ERP Dificuldades:

É difícil para as organizações entenderem se a forma delas trabalharem se adapta ao padrão ERP antes da implementação ter começado.

A razão mais comum pela qual as organizações fogem dos projetos multimilionários do ERP é porque elas descobrem que o software não suporta algum dos importantes processos dos seus negócios. Nesse caso, só há duas coisas a serem feitas: mudar o processo para se adaptar ao software, o qual significará

mudanças profundas nas formas de se fazer negócio, o que apesar de ser positivo para a produtividade da organização, mexe em papéis de pessoas importantes e com responsabilidades e que apenas poucas organizações conseguem fazer.

ou, mudar o software para que este se adapte ao processo, o que diminuirá a velocidade do projeto e provavelmente deturpará o sistema.

27

OLAP

ERP Um projeto de ERP é um projeto do Negócio e

não apenas de TI. A implantação de um ERP requer uma

reorganização na forma como as coisas funcionam internamente na organização.

O mais importante em um projeto de ERP é entender porque a Organizaçõa precisa dele e como a mesma pode utilizá-lo para otimizar seus negócios.

Os benefícios podem ser obtidos se a organizaçõa tiver maturidade para aceitar as mudanças e se adequar a elas.

28

OLAP

Projeto de um DW Kimball aponta um conjunto pontos fundamentais no

projeto da estrutura de DW (tipo estrela). São os seguintes os chamados pontos de decisão, que constituem definições a serem feitas e correspondem, de fato, a etapas do projeto: Os processos, e por conseqüência, a identidade das tabelas de

fatos; A granularidade de cada tabela de fatos; As dimensões de cada tabela de fatos; Aos fatos, incluindo fatos pré-calculados; Os atributos das dimensões; Como acompanhar mudanças graduais em dimensões; As agregações, minidimensões e outras decisões de projeto físico; Duração histórica do banco de dados; Urgência com que se dá a extração e carga para o DW.

Esta metodologia segue a linha top-down, pois começa identificando os grandes processos da empresa.

29

OLAP

Estratégias de Implementação

Estratégia Evolucionária

Inmon: Histórico de sucesso das aplicações; Usuário final não terá condições de expressar suas

necessidades com clareza antes da primeira interação;

A gerência não se comprometerá antes da primeira interação;

Há necessidade de, rapidamente, obter resultados visíveis.

30

OLAP

Estratégias de Implementação

INMON KIMBALL

Avalia o que o Ambiente Operativo

tem a Oferecer

Orientada às Necessidades do

Usuário FinalFácil Mapeamento Mapeamento Lento

(Identificar Fontes)

Limitação de Visão Visão mais Ampla

31

OLAP

Povoando um DW

Filtragen,Transformação e Integração dos Dados Extraídos Conflitos Semânticos e Estruturais:

Diferenças de unidades; Diferenças de precisão; Diferenças em código ou expressões; Diferenças de granularidade; Diferenças de abstração.

32

OLAP

Exemplos de Uso Governo Federal: Após conclusão do DW,

considerado estratégico pelo governo federal, o governo planeja implantar um sistema de data minig, para auxiliar na identificação de fraudes .

Lobrás: Desenvolveu um DW que está ajudando a empresa a saber com exatidão o movimento das vendas de seus mais de 21.500 produtos.

Itaú: O banco Itaú foi um dos pioneiros no uso de DW no Brasil. Seu objetivo na época da implantação do DW era filtrar suas correspondências que eram enviadas pra mais de 1 milhão de correntistas mas somente 2% se interessavam pelas promoções e novidades. Com a utilização do DW o índice de retorno foi para 30% .

33

OLAP

Modelagem Multidimensional Tabela de Fatos

Tabela central do projeto dimensional. Armazena medições numéricas do negócio.

Possui chaves de múltiplas partes. Cada chave é uma chave externa para uma tabela de dimensão. Cada uma das medições é obtida na interseção de todas as

dimensões. Em consultas a tabela de fatos são usados centenas, milhares ou

até milhões de registros para a construção da resposta.

Medidas Aditivas: São as mais freqüentes e são obtidas por meio da soma

de valores gerados pela seleção de membros das dimensões. Exemplo: lucro líquido;

Semi-aditivas: São medidas obtidas a partir da soma de apenas partes de suas dimensões. Exemplo: quantidade em estoque (não faz sentido somá-la através da dimensão tempo);

Não-aditivas: São medidas que não podem ser somadas através de nenhuma de suas dimensões. O exemplo mais comum desse tipo de medidas são valores percentuais.

34

OLAP

Modelagem Multidimensional

Dimensão: Representação dos contextos relevantes para

a análise de um fato. Exemplo:

Fato: Vendas. Dimensões: Clientes, Produtos, Tempo, Locais, ...

Uma dimensão pode conter membros; ser organizada em hierarquias.

35

OLAP

Modelagem Multidimensional Membros:

Exemplos: dimensão Tempo:

– dia, semana, horário. dimensão Locais:

– bairro, cidade, estado.

ANO

TRIMESTRE

MES

DIA

REGIAO

ESTADO

I) TEMPO II) GEOGRAFIA

Hierarquias:

36

OLAP

Agregados

Normalmente, a modelagem dimensional utilizando o esquema estrela apenas representa os fatos no nível de granularidade mais baixa (a partir do qual é possível gerar as combinações ou diferentes perspectivas de análise).

No entanto, torna-se evidente a vantagem (por razões de desempenho) de pré-calcular e armazenar fatos sumário, contendo agregações segundo diferentes combinações de dimensões.

37

OLAP

Agregados

Geografia

Estado

TempoProdutoConsultas

Produto

Marca

Categoria

Mês

Trimestre

Ano

Região

PaísVendas por

Marca, Trimestree Região

Vendas porProduto,

Ano e Região

38

OLAP

Agregados

Sul

XPTO

XPTA

XPTN

Mar

çoAbril

Maio

Sudeste

Norte

Vendas Categoria

Trimestre

Região

Marca

Ano

Região

39

OLAP

Agregados

Tempo de Resposta

BD1

BD

1

BD2

BD

2

BD3

BD

3

BD4

BD

4

40

OLAP

Agregados

Fatores: Custo de Criação; Custo de Manutenção; Frequência de Manutenção; Frequência de Utilização; Tempo de Geração.

Nem sempre é viável armazenar todos os agregados.

41

OLAP

Modelo Dimensional Visualização:

Uma visão multidimensional é usualmente representada por um cubo. Adequado à visualização de até 3 dimensões.

Análise tridimensional é bastante utilizada. Hipercubo: cubo com mais de 3 dimensões.

42

OLAP

Modelo Dimensional

43

OLAP

Modelo Dimensional Funcionalidades:

Roll-up(agregação): os dados são resumidos com generalização crescente (dia, mês, ano).

Drill-down(desmembramento): níveis crescentes de detalhes são revelados (ano, mês, dia).

Drill Across: ocorre quando o usuário pula um nível intermediário dentro de uma mesma dimensão. Por exemplo: a dimensão tempo é composta por ano, semestre, trimestre, mês e dia. O usuário estará executando um Drill Across quando ele passar de ano direto para trimestre ou mês.

Drill Throught: ocorre quando o usuário passa de uma informação contida em uma dimensão para uma outra. Por exemplo: Estou na dimensão de tempo e no próximo passo começo a analisar a informação por região.

Pivot(pivoteamento): rotação do cubo (hipercubo). Slice-and-Dice(fatiar e cortar em cubos): realizar a operação

de projeção nas dimensões.

44

OLAP

Roll-up

45

OLAP

Drill-down

46

OLAP

Pivot

47

OLAP

Slice-and-Dice

48

OLAP

Banco de Dados Multidimensional Originalmente, o conceito de banco de dados

multidimensional surgiu no MIT ligado a pesquisas em econometria. Um banco de dados multidimensional ao invés de armazenar os dados como registros em tabelas, armazena os dados em arrays multidimensionais.

49

OLAP

Banco de Dados Multidimensional

MOLAP

ROLAP

50

OLAP

Data Mining As ferramentas de Mineração de Dados, são especializadas em

procurar padrões nos dados. Essa busca pode ser efetuada automaticamente pelo sistema ou interativamente com um analista, responsável pela geração de hipóteses.

Diversas ferramentas distintas, como redes neurais, indução de árvores de decisão, sistemas baseados em regras e programas estatísticos, tanto isoladamente quanto em combinação, podem ser então aplicadas ao problema.

Em geral, o processo de busca é interativo, de forma que os analistas revêem o resultado, formulam um novo conjunto de questões para refinar a busca em um dado aspecto das descobertas, e realimentam o sistema com novos parâmetros.

Ao final do processo, o sistema de Mineração de Dados gera um relatório das descobertas, que passa então a ser interpretado pelos analistas de mineração.

Somente após a interpretação das informações obtidas encontramos conclusões ou regras, este processo é conhecido por Knowledge Discovery in Database (KDD) ou descoberta de conhecimento em banco de dados.

51

OLAP

Data Mining

Objetivos: Explanatório: explicar algum evento ou medida

observada, tal como porque a venda de sorvetes caiu no Rio de Janeiro;

Confirmatório: confirmar uma hipótese. Uma companhia de seguros , por exemplo, pode querer examinar os registros de seus clientes para determinar se famílias de duas rendas tem mais probalidade de adquirir um plano de saúde do que famílias de uma renda;

Exploratório: analisar os dados buscando relacionamento novos e não previstos. Uma companhia de cartão de crédito pode analisar seus registros históricos para determinar que fatores estão associados a pessoas que representam risco para créditos.

52

OLAP

Business Intelligence (BI) O termo BI surgiu na década de 80, cunhado pelo

Gartner Group, e tem como principais características: Extrair e integrar dados de múltiplas fontes ; Fazer uso da experiência ; Analisar dados contextualizados ; Trabalhar com hipóteses; Procurar relações de causa e efeito; Transformar os registros obtidos em informação útil para o

conhecimento empresarial.

53

OLAP

Business Intelligence (BI) Business Intelligence é o processo de analisar informações

brutas acumuladas da empresa e a partir delas obter insights valiosos.

Business Intelligence permite que os responsáveis pelas decisões tenham as informações certas, na hora certa e no lugar certo, capacitando-os a tomar melhores decisões corporativas.

As aplicações de BI incluem: Sistemas de suporte à decisão;

Consultas e relatórios (padronizadas e ad-hoc);

Análises OLAP (On-Line Analytical Processing);

Análises estatísticas;

Previsões;

Data Mining.

54

OLAP

Business Intelligence (BI)

55

OLAP

Costumer Relationship Management (CRM) CRM não é apenas um conceito tecnológico, é uma

filosofia de trabalho, que deve se apoiar fortemente em sistemas de informação.

A definição do Gartner Group sobre CRM é bastante abrangente:

"CRM é uma estratégia de negócio voltada ao entendimento e antecipação das necessidades dos clientes atuais e potenciais de uma empresa. Do ponto de vista tecnológico, CRM envolve capturar os dados do cliente ao longo de toda a empresa, consolidar todos os dados capturados interna e externamente em um banco de dados central, analisar os dados consolidados, distribuir os resultados dessa análise aos vários pontos de contato com o cliente e usar essa informação ao interagir com o cliente, por meio de qualquer ponto de contato com a empresa".

56

OLAP

Conclusão

Inmon: “É um engano pensar que os enfoques de projeto que funcionaram no passado serão úteis na construção do DW. Os requisitos para a criação de um DW não podem ser conhecidos até que ele seja parcialmente povoado e sendo usado pelo analista de SAD. Portanto, ele não pode ser projetado do mesmo modo pelo qual são construídos os sistemas clássicos baseados em requisitos. Por outro lado, também constitui um engano pensar que não prever requisitos seja uma boa idéia. A realidade se encontra em algum ponto intermediário.”(estratégia evolucionária)

OLAP

FIM

olap lailson

Documents