visão geral de business intelligence & analytics,...
TRANSCRIPT
Asterio K. Tanaka
Tópicos Avançados de Banco de Dados(Business Intelligence)
Asterio K. Tanakahttp://www.uniriotec.br/~tanaka/SAIN
Visão Geral de Business Intelligence & Analytics, etc.
Licença Creative Commons – AtribuiçãoUso Não Comercial – Compartilhamento pela mesma Licença
Asterio K. Tanaka
Evolução dos Sistemas de Informação
• A.C. (Antes do Computador): pastas e arquivos em papel e outros meios físicos
• 1950’s: programas e dados armazenados em memória RAM• 1960’s: sistemas de arquivos em memória secundária (discos
magnéticos)• 1970-80’s: sistemas de bancos de dados centralizados e
distribuídos em redes• 1990’s: WWW, integração de dados, Data Warehouse, Business
Intelligence, Sistemas de Informação para a Web• 2000's: Web Semântica, integração de informações e de
aplicações, governança de dados, Business Intelligence em tempo real
• 2010's: Business Analytics, Big Data, Data Science, Internet of Things, ...
Asterio K. Tanaka
Sistemas de Informaçãona Pirâmide Organizacional
(Sprague & Watson, 1991)
Asterio K. Tanaka
EAIEnteprise Application
IntegrationCRM PRM
B2C B2B
ERP OutrosOLTP
Business Intelligence& Analyitics
Clientes ParceirosFornecedores Reguladores
Alta GerênciaStakeholders
BSC
CI
KMS
Adaptado de (BI-Business Intelligence, C. Barbieri, 2001) → (BI2 Modelagem e Qualidade, C. Barbieri, 2011)
Visão Geral da Arquitetura ERM – Enterprise Relationship Management
BAM
KDD
GovernançaCorporativa de
Processose Dados
Carlos Barbierihttp://blogdobarbi.blogspot.com.br/
OLAP
Dados Não Estruturadose Externos
Asterio K. Tanaka
Arquitetura ERM
BSC
BI, CI, KMS, BAM, ...
CRM, PRM, ...
B2B, B2C, ERP,outros sistemas
OLTP, ...
Asterio K. Tanaka
Enterprise Relationship Management (ERM)
• ERM - Enterprise Relationship Management is basically a business strategy for value creation that is not based on cost containment, but rather on the leveraging of network-enabled processes and activities to transform the relationships between the organization and all its internal and external constituencies in order to maximize current and future opportunities.
— Galbreath, 2002
http://en.wikipedia.org/wiki/Enterprise_relationship_management
Asterio K. Tanaka
Balanced scorecard (BSC)
• Balanced Scorecard é uma metodologia de medição e gestão de desempenho desenvolvida pelos professores da Harvard Business School Robert Kaplan e David Norton, em 1992. Os métodos usados na gestão do negócio, dos serviços e da infraestrutura baseiam-se normalmente em metodologias consagradas que podem utilizar a TI (tecnologia da informação) e os softwares de ERP como soluções de apoio, relacionando-a à gerência de serviços e garantia de resultados do negócio. Os passos dessas metodologias incluem: definição da estratégia empresarial, gerência do negócio, gerência de serviços e gestão da qualidade; passos estes implementados através de indicadores de desempenho.
http://pt.wikipedia.org/wiki/Balanced_scorecard
Asterio K. Tanaka
Perspectivas do Balanced Scorecard
http://www.balancedscorecard.org/
Asterio K. Tanaka
Business Activity Monitoring (BAM)
• Business activity monitoring (BAM) is software that aids in monitoring of business activities, as those activities are implemented in computer systems.
• The term was originally coined by analysts at Gartner, Inc. and refers to the aggregation, analysis, and presentation of real-time information about activities inside organizations and involving customers and partners. A business activity can either be a business process that is orchestrated by business process management (BPM) software, or a business process that is a series of activities spanning multiple systems and applications. BAM is an enterprise solution primarily intended to provide a real-time summary of business activities to operations managers and upper management.
http://en.wikipedia.org/wiki/Business_activity_monitoring
Asterio K. Tanaka
Knowledge Management System (KMS)
• Os Sistemas de Gerenciamento de Conhecimento (Knowledge Management Systems) são soluções de tecnologia da informação que amparam as iniciativas empresariais típicas de Gestão do Conhecimento, como identificação, criação, apresentação e distribuição do conhecimento dentro do contexto corporativo.
– A Gestão do Conhecimento, do inglês KM - Knowledge Management, é uma disciplina que tem suscitado cada vez mais atenção nas últimas décadas, tendo originado inúmeros trabalhos de investigação e investimentos cada vez mais significativos por parte das organizações que reconhecem a sua crescente importância.
– Utilizando a gestão do conhecimento a empresa diminui os gastos em produtos e começa a investir em capital intelectual, o que tem um melhor custo-benefício, pois o maior capital que a empresa possui é o conhecimento de seus colaboradores. Os colaboradores quando são ouvidos e podem dividir suas opiniões, se sentem valorizados e trabalham com paixão. Dessa forma o trabalho flui com maior eficiência, qualidade e dedicação.
http://pt.wikipedia.org/wiki/Gestão_do_conhecimento http://pt.wikipedia.org/wiki/Sistema_de_gerenciamento_do_conhecimento
Asterio K. Tanaka
Competitive intelligence (CI)
• Competitive intelligence is the action of defining, gathering, analyzing, and distributing intelligence about products, customers, competitors, and any aspect of the environment needed to support executives and managers making strategic decisions for an organization.
• Competitive intelligence essentially means understanding and learning what's happening in the world outside your business so you can be as competitive as possible. It means learning as much as possible—as soon as possible—about your industry in general, your competitors, or even your county's particular zoning rules. In short, it empowers you to anticipate and face challenges head on.
http://en.wikipedia.org/wiki/Competitive_intelligence
Asterio K. Tanaka
Extração de conhecimento (KDD)• Extração de conhecimento (também conhecido como processo
KDD, do inglês knowledge discovery in databases) é um processo de extração de informações de base de dados, que cria relações de interesse que não são observadas pelo especialista no assunto, bem como auxilia a validação de conhecimento extraído.
• Prospecção de dados (português europeu) ou mineração de dados (português brasileiro) (também conhecida pelo termo inglês data mining) é o processo de explorar grandes quantidades de dados à procura de padrões consistentes, como regras de associação ou sequências temporais, para detectar relacionamentos sistemáticos entre variáveis, detectando assim novos subconjuntos de dados.
http://pt.wikipedia.org/wiki/Extração_de_conhecimentohttp://pt.wikipedia.org/wiki/Mineração_de_dados
Asterio K. Tanaka
EAI – Enterprise Aplication Integration• EAI (do inglês Enterprise Application Integration) é uma referência aos meios
computacionais e aos princípios de arquitetura de sistemas utilizados no processo de Integração de Aplicações Corporativas. Os procedimentos e ferramentas de EAI viabilizam a interação entre sistemas corporativos heterogêneos por meio da utilização de serviços.
• Os pontos básicos de uma arquitetura de EAI são:
– Integração de aplicações, sistemas de informação e processos de negócio de uma empresa.
– Integração com aplicações internas e externas da empresa que servem de suporte ao processo de negócio da mesma, como por exemplo processo financeiro, recursos humanos, dentre outros.
– Conjunto de ferramentas de análise e monitoração de processos em tempo real.
http://pt.wikipedia.org/wiki/EAI
http://en.wikipedia.org/wiki/Enterprise_application_integration
http://en.wikipedia.org/wiki/Comparison_of_business_integration_software
Asterio K. Tanaka
CRM – Customer Relationship Management
• Customer Relationship Management (CRM) é uma expressão em inglês que pode ser traduzida para a língua portuguesa como Gestão de Relacionamento com o Cliente.
• Foi criada para definir toda uma classe de ferramentas que automatizam as funções de contato com o cliente.
• Essas ferramentas compreendem sistemas informatizados e fundamentalmente uma mudança de atitude corporativa, que objetiva ajudar as companhias a criar e manter um bom relacionamento com seus clientes armazenando e inter-relacionando de forma inteligente, informações sobre suas atividades e interações com a empresa.
http://pt.wikipedia.org/wiki/Customer_relationship_management
Asterio K. Tanaka
PRM – Partner Relationship Management
• PRM (Partner Relationship Management) ou Gerenciamento de Relacionamentos com parceiros é um sistema de gerenciamento de canais que visa construir relacionamentos de confiança e melhorias estratégicas entre a indústria e o canal de vendas indireto para que sejam construídos relacionamentos de longo prazo.
• Uma comunicação limpa e rápida proporcionada através de um conjunto de ferramentas potencializados pela Internet.
http://pt.wikipedia.org/wiki/Partner_Relationship_Management
Asterio K. Tanaka
Business Intelligence• Hans Peter Luhn (1958): "A Business Intelligence System".
IBM Journal– Habilidade de apreender os inter-relacionamentos de fatos apresentado de forma
a guiar ações na direção de um objetivo desejado.
• Howard Dresner (1989) → Gartner Group – Um termo guarda-chuva para descrever conceitos e métodos para melhorar
tomadas de decisão de negócios usando sistemas de apoio baseados em fatos.
• Sun Tsu (Século V A.C). “A Arte da Guerra”.– Para obter sucesso na guerra, deve-se ter total conhecimento de suas próprias
virtudes e fraquezas, assim como total conhecimento das principais virtudes e fraquezas de seus inimigos. A falta de um destes resulta na derrota.
– Uma certa corrente de pensadores estabelece um paralelo entre os desafios de negócios e de guerra, especificamente:
» Coletando dados;
» Enxergando padrões e significado nos dados (gerando informação);
» Respondendo a informação resultante.
Asterio K. Tanaka
Business Intelligence
• Inteligência Aplicada ao Negócio– Business intelligence (BI) é um conjunto de teorias, metodologias,
processos, arquiteturas e tecnologias que transformam dados primários em informações significativas e úteis para o propósito do negócio. http://en.wikipedia.org/wiki/Business_intelligence
– As tecnologias de BI permitem o cruzamento de informações e suportam a análise dos indicadores de desempenho de um negócio, para tomada de decisão.
• BI vs BAMonitoring and tracking metrics/KPIs in the form of reports/dashboards is ‘Business Intelligence’, but making meaningful sense of these metrics, co-relating them with other factors that influence them, understanding the trends and using statistical algorithms to predict outcomes is where the bang for the buck is…and that is ‘Business Analytics’
http://smartdatacollective.com/
Asterio K. Tanaka
BI vs BA
BI Traditional: lida com dados armazenados sobre o passado e presente, para • Relatórios e dashboards padronizados • Relatórios Ad hoc sobre o desempenho atual da organização• Consultas OLAP (Drill Down e Roll Up)• Análise de Cubos OLAP – Slice and dice• Alertas
Vs.
Business Analytics: lida com os dados armazenados do presente para predizer o futuro, usando
• Análise estatística• Forecasting• Modelagem preditiva• Otimização
Asterio K. Tanaka
DSS – Decision Support Systems• Apoio à Decisão
– Produção e distribuição de INFORMAÇÃO ÚTIL para analistas do conhecimento, gerentes e diretores.
– Informação útil pressupõe» Agilidade» Flexibilidade» Precisão
– DSS podem variar desde sistemas desktop de um único usuário a sistemas empresariais multi-usuários ligados a grandes DW corporativos.
What is a DSS? (D.J. Power, 1998)http://www.dssresources.com/papers/whatisadss/index.html
A brief History of DSS (D.J. Power, 2007)http://www.dssresources.com/history/dsshistory.html
Asterio K. Tanaka
Ambiente de Sistemas de Aplicação
Operacionais• Dão suporte às funções
associadas à execução do negócio da empresa:
– ERP, SCM
– B2C, B2B
– Sistemas transacionais legados
– etc.
Informacionais• Dão suporte às funções
associadas à concepção do negócio da empresa
– DSS, EIS
– DW, CRM, PRM
– Ferramentas OLAP
– Ferramentas de Data Mining
– etc.
Asterio K. Tanaka
Otimizado para análises complexas, com tempos de respostas viáveis.
Otimizado para tempo de resposta (máximo 2 a 3 segundos); inviável para análises complexas.
Desempenho
Desestruturado, consultas sob diferentes perspectivas, permite descoberta de conhecimento.
Estruturado, repetitivo, solução para requisitos conhecidos
Uso
Dimensional, própria para processamento analítico (segundo Kimball)
Relacional, própria para processamento transacional
Estrutura de dados
Estática, atualização apenas com “refresh”
Dinâmica, sujeita a atualizações freqüentes
Natureza dos dados
Por assunto, negócio; abrangência ampla.
Por aplicação, sistema de informação, disponível para poucos usuários; abrangência restrita
Organização dos dados
Valores históricos, sumarizadosValores correntes, detalhadosConteúdo
Dados informacionais(analíticos)
Dados operacionais(transacionais)
CaracterísticasOLTP x OLAP
Asterio K. Tanaka
Suporte à Decisão “Tradicional”
Ambiente OperacionalAmbiente OperacionalAnalista do negócioAnalista do negócio
• Dados não estão adequados para suporte à decisão
• Sistemas de suporte à decisão desenvolvidos ad-hoc
• Analista do Negócio vira “Programador”
• Longo tempo de espera
Asterio K. Tanaka
Por que Data Warehousing?
Integrar dados de múltiplas fontes
Facilitar o processo de análise sem impacto para o ambiente de dados operacionais
Obter informação de qualidade
Atender diferentes tipos de usuários finais
Flexibilidade e agilidade para atender novas análises
BDs Operacionais
DW
Aplicação SD
Ferramenta OLAP
Aplicação EIS
Asterio K. Tanaka
Data Warehousing - Definições
• Processos, ferramentas e recursos para gerenciar e disponibilizar informações de negócios precisas e inteligíveis para que indivíduos possam tomar decisões efetivas.
• Um ambiente para adequadamente organizar, gerenciar e disponibilizar informações oriundas de fontes diversas, fornecendo uma visão única de parte ou de todo o negócio com o objetivo de dar suporte a operações analíticas.
• Processamento de informações consolidadas e históricas para análise e suporte à decisão.
Asterio K. Tanaka
Definição de Data Warehouse
“A Data Warehouse is a subject-oriented,
integrated,time-variant,
non-volatile collection of data in supportof management’s decision-making process.”
(W. Imnon)
Asterio K. Tanaka
Data Warehouse – Collection of Data
• Um Data Warehouse nada mais é do que um banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados, tendo sido otimizados para processamento de consulta e não para processamento de transações. Em geral, um Data Warehouse requer a consolidação de outros recursos de dados, além dos armazenados em banco de dados relacionais, como informações provenientes de planilhas eletrônicas, documentos textuais, etc.” [INMON, 1999].
Asterio K. Tanaka
Data Warehouse – Subject-Oriented
• Organizado em torno de assuntos como Clientes, Produtos,
Vendas.
• Focado na modelagem e análise de dados para tomadores de
decisão, não em operações diárias ou processamento de
transações
• Provê uma visão simples e concisa em torno de questões sobre
um assunto particular, excluindo dados que não são úteis no
processo de tomada de decisão.
Asterio K. Tanaka
Data Warehouse – Integrated
• Construído integrando fontes de dados múltiplas e heterogêneas.
– bancos de dados relacionais, arquivos comuns, registros de transações on line.
• Limpeza de dados e técnicas de integração de dados são aplicadas.
– Assegura consistência em convenções de nomes, estruturas de codificação, medidas de atributos, etc., entre diferentes fontes de dados.
» Por exemplo, Preço de Hotel: moeda, taxas, inclui café da manhã, etc.
– Quando os dados são carregados no Data Warehouse, são convertidos para o padrão adotado.
Asterio K. Tanaka
Data Warehouse – Time Variant
• O horizonte de tempo para o Data Warehouse é
significativamente mais longo do que para as aplicações
operacionais.– Bases de dados operacionais: dados de valor corrente.
– Dados de data warehouse: provêem informação para uma
perspectiva histórica (por exemplo, 5-10 anos)
• Toda estrutura chave no Data Warehouse– contém um elemento de tempo, explicita ou implicitamente
– mas a chave para dados operacionais pode não conter
elemento temporal.
Asterio K. Tanaka
Data Warehouse – Non-Volatile
• Um armazenamento de dados transformados fisicamente
separado do ambiente operacional
• Atualização operacional de dados não ocorre no ambiente
de Data Warehouse.– Não requer processamento de transações, restauração e
mecanismos de controle de concorrência.– Requer somente duas operações de acesso aos dados:
» carga e acesso para consulta.
Asterio K. Tanaka
Data WarehouseDefinições alternativas
• Um banco de dados destinado a sistemas de suporte à decisão, cujos dados são armazenados em estruturas lógicas dimensionais, possibilitando o seu processamento analítico por ferramentas OLAP e de mineração de dados. (segundo Kimball)
• Um banco de dados para suporte a decisão mantido separadamente do banco de dados operacional da organização.
Asterio K. Tanaka
Arquitetura Genérica de DW(visão acadêmica)
BDs Operacionais
Fontes Externas
FONTES DE DADOS
Meta Dados
Data Warehouse
Data Marts
FERRAMENTASDE CONSULTA
Análise
Data Mining
Relatórios
OLAP
OLAP
ExtraçãoTransformaçãoCargaAtualização
Chaudhri&Dayal, SIGMOD RECORD 1997
Asterio K. Tanaka
Arquitetura de DW
segundo Inmon
Corporate Information Factory de
InmonVersão 2013
http://www.inmoncif.com/library/cif/
Asterio K. Tanaka
Arquitetura de DWsegundo Kimball (2002)
Ralph Kimball, Margy Ross: The Data Warehouse Toolkit, 2a Edição, Wiley, 2002
Asterio K. Tanaka
Data WareHouse (Kimball 2013)
http://www.kimballgroup.com/data-warehouse-and-business-intelligence-resources/kimball-core-concepts/
http://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/technical-dw-bi-system-architecture/
Asterio K. Tanaka
Arquitetura de BI com Pentaho
http://www.pentaho.com/ http://community.pentaho.com/
it4biz é uma partner brasileira do Pentaho, liderada pelo Caio Moreno (Professor Coruja)
Asterio K. Tanaka
Arquitetura de BI com Pentaho
http://www.pentaho.com/ http://community.pentaho.com/
Asterio K. Tanaka
Arquitetura de BI com Pentaho
http://www.capgemini.com/blog/capping-it-off/2012/07/bi-30-the-journey-to-business-intelligence-what-does-it-mean
Asterio K. Tanaka
Arquitetura de BI/DWInmon X Kimball
• Coming up soon– Comparações, discordâncias, concordâncias– Convergência de abordagens– Novos rounds
• “Novas” Arquiteturas– BI/DW 2.0? BI 3.0?– ...– ...