histÓrico e desafioscge/acervo/palestrarscarpeljul18.pdf8. hp's "perfect storm" of...
TRANSCRIPT
ANALYTICS:
HISTÓRICO E DESAFIOS
Professor: Rodrigo A. Scarpel
www.mec.ita.br/~rodrigo
DADOS
INFORMAÇÃO
CONHECIMENTO
INTELIGÊNCIA
Rodrigo A. Scarpel
• Graduação: Engenharia de Produção - UFSCar (1997)
• Mestrado: ITA – Produção (1999-2000)
• Doutorado: ITA – Produção (2003-2006)
• Professor Visitante: University of Nottingham (2012-2013)
• ESPM (2001-2005)
• Banco Itaú S.A. (2002-2003)
• SAS Institute Brasil (2003 - 2005)
• ITA (2005 – Atual)
2
Apresentação:
Agenda:
3
Modelagem e Simulação
Revolução dos Serviços (final anos 80) → Dilúvio de dados
Processo de KDD (1996)
BI e BA
Alguns eventos
Analytics → Data Science
Perspectivas e desafios
Questões para reflexão
Modelagem e Simulação:
Modelos de decisão
(Operations research / Management Science):
• Ferramentas quantitativas para:
• Previsão (séries temporais)
• Otimização
• Simulação (eventos discretos, Monte Carlo)
• Análise de decisão
• Reconhecimento de padrões
• Métodos estatísticos multivariados
• Métodos econométricos
• ...
4
Modelagem e Simulação: ilustração
A lei psicológica fundamental é que os homens
estão dispostos, como regra e em média, a
aumentar o seu consumo quando sua renda
aumenta, mas não em proporção igual ao
aumento dessa renda (Keynes, 1936*)
*Keynes, J.M. The General Theory of Employment, Interest and Money, 1936.
Função consumo (das famílias) keynesiana:
Y = 0+ 1X, 0< 1<1
em que
Y: Despesas com consumo,
X: Renda disponível
0: Consumo autônomo (mínimo)
1: PMC (propensão marginal em consumir)
5
Modelagem e Simulação: ilustração
RESUMO DOS RESULTADOS
Estatística de regressão
R múltiplo 0,999202873
R-Quadrado 0,998406381
R-quadrado ajustado 0,998283795
Erro padrão 20,28525346
Observações 15
ANOVA
gl SQ MQ F F de significação
Regressão 1 3351406,528 3351406,528 8144,53388 1,42044E-19
Resíduo 13 5349,389603 411,4915079
Total 14 3356755,917
Coeficientes Erro padrão Stat t valor-P 95% inferiores 95% superiores
Interseção -184,0779952 46,26198481 -3,97903367 0,001572999 -284,0209179 -84,13507253
PIB (Bilhões US$1992) 0,706408053 0,00782749 90,24707131 1,42044E-19 0,689497793 0,723318314
Modelo:
Y = 0+ 1X, 0< 1<1
Resultado:
Y = -184,08+ 0,706 X,
0,689 < 1< 0,723 (95%)
M = 1/(1-PMC) = 3,333
^
Multiplicador de renda (M):
M = 1/(1-PMC)
6
A Terceira Revolução Industrial:
A Revolução dos Serviços (1980 a ?):
• Microinformática
• Tecnologia da informação
• Softwares
• Telecomunicações
• Setor financeiro
• Grandes varejistas
• Educação e ensino
• Internet (década de 90)
7
Um dilúvio de dados:
Sistemas
de
Informação
Transações
Reclamações
Mensagens
(e-mails,…)
Call
Centers
CRM
Artigos
eletrônicos
Outros…
8
Fonte: FAYYAD, U., PIATETSKY-
SHAPIRO, G., SMYTH, P. From
data mining to knowledge
discovery: An overview. In:
Advances in Knowledge Discovery
and Data Mining, AAAI Press / The
MIT Press, MIT, Cambridge,
Massachusetts, 1996, p.1-34.
O processo de KDD:
9
Mineração de dados:
10
11
Objetivo: Transformar dados em conhecimento
Business Inteligence:
Dados Informação Conhecimento
BI
BA
Dados Informação Conhecimento Inteligência
Métodos Descritivos
Métodos
Preditivos
Métodos Prescritivos
13
Processo analítico: insolvência de empresas
Dados Informação Conhecimento Inteligência
-Análise de liquidez: capacidade de satisfazer suas obrigações de curto prazo. O índice selecionado foi o de liquidez corrente (LC)
-Análise de atividade/de eficiência: mede a eficiência da empresa na utilização dos seus ativos. Selecionou-se o giro do ativo total (GA).
-Análise de endividamento: indica o montante de recursos de terceiros que está sendo usado, na tentativa de gerar lucros. O índice selecionado foi o de endividamento geral (EG)
-Análise de lucratividade: para que o índice da análise de lucratividade fosse independente do da análise de endividamento, optou-se pela utilização do ROA AJIR.
Dados de balanço:
• Faturamento
• Ativo circulante
• Passivo circulante
• Ativo total
• Passivo de longo prazo
• LAJIR
Fonte: SCARPEL, R. A.; MILIONI, Armando Zeferino . Utilização conjunta de modelagem econométrica e otimização em decisões de concessão de crédito. Pesquisa
Operacional (Impresso), v. 22, n.1, p. 61-72, 2002.
Processo analítico: insolvência de empresas
Dados Informação Conhecimento Inteligência
0,596 0,425
0,430 0,576
14
Fonte: SCARPEL, R. A.; MILIONI, Armando Zeferino . Utilização conjunta de modelagem econométrica e otimização em decisões de concessão de crédito. Pesquisa
Operacional (Impresso), v. 22, n.1, p. 61-72, 2002.
Processo analítico: insolvência de empresas
Dados Informação Conhecimento Inteligência
ROA GA EG
15
1
jijX.j
e1
1
Zie1
1X.FZiFPi
j
ijj
Fonte: SCARPEL, R. A.; MILIONI, Armando Zeferino . Utilização conjunta de modelagem econométrica e otimização em decisões de concessão de crédito. Pesquisa
Operacional (Impresso), v. 22, n.1, p. 61-72, 2002.
Processo analítico: insolvência de empresas
Dados Informação Conhecimento Inteligência
10,99.ROAi3,69.EGi-3,31.GAi0,19-EXP1
1 Pi
Estatística do modelo
0,534
L(*) -19,314
Observações 60
Coeficientes Erro padrão Z valor-P
Interseção 0,190 1,163 0,16 0,87
GA 3,312 1,208 2,74 0,006
EG -3,687 1,688 -2,18 0,029
ROA AJIR 10,997 3,671 3,00 0,003
Método Preditivo: Regressão Logística
16
Fonte: SCARPEL, R. A.; MILIONI, Armando Zeferino . Utilização conjunta de modelagem econométrica e otimização em decisões de concessão de crédito. Pesquisa
Operacional (Impresso), v. 22, n.1, p. 61-72, 2002.
Processo analítico: insolvência de empresas
Dados Informação Conhecimento Inteligência
10,99.ROAi3,69.EGi-3,31.GAi0,19-EXP1
1 Pi
• EMPRESA: TECTOY S.A.
0,00
0,25
0,50
0,75
1,00
95 96 97 98
EXERCÍCIO
Pi
• SETORES: SERVIÇOS DE COMUNICAÇÃO
-Segmento muito favorecido dos anos de 1995, 1996 e 1997: esforço despendido pelo
governo federal valorização do seu patrimônio antes da sua privatização
-Final de 1995: reestruturação tarifária ( 62% na receita)
-1996: crescimento de 50% nos investimentos (expansão dos serviços:11,9%/100%)
-Nível de endividamento: permaneceu constante (participação dos recursos próprios
financiando a formação de capital das empresas do setor)
-1997: continuação do processo de reestruturação do setor
ÍNDICE
1995
1996
1997
GA
0,225
0,309
0,342
EG
0,238
0,246
0,238
ROA
0,021
0,082
0,107
Pi
0,573
0,769
0,835
17
di pi
Ii.CpdIi.Cdp Min
pi,VcIi.MPi
di,VcIi.MPi
10,99.ROAi3,69.EGi-3,31.GAi0,19-EXP1
1 Pi
Fonte: SCARPEL, R. A.; MILIONI, Armando Zeferino . Utilização conjunta de modelagem econométrica e otimização em decisões de concessão de crédito. Pesquisa
Operacional (Impresso), v. 22, n.1, p. 61-72, 2002.
Processo analítico: insolvência de empresas
Dados Informação Conhecimento Inteligência
em que:
Cdp é o custo de inadimplência (erro de classificação dp)
Cpd é o custo de oportunidade (erro classificação pd)
Pi é a probabilidade de insolvência prevista
Vc é o valor de corte para classificação
p é o conjunto de empresas solventes
d é o conjunto de empresas insolventes
I é uma variável binária (=0 se a classificação está correta e 1, caso contrário)
i = 12% ao mês
i = 12% ao ano
Método Prescritivo: Otimização da concessão de crédito
18
Custódia
Instituições Financeiras
Rede de Atendimento (ATM) Instituições
Financeiras
Custódia
Rede de
Atendimento
Processo analítico: reposição de numerário
Efetuar a previsão de demanda de numerário nos terminais de auto
atendimento (ATM): localização, dia-da-semana, eventos, …
Determinar níveis mínimos e máximos de estoque de numerário nos TA
Modelos Preditivos
(Conhecimento)
Efetuar o agendamento de viagens entre as custódias e os TA
Definir datas e quantias a serem entregues pelas Instituições Financeiras às
custódias
Modelos
Prescritivos
(Inteligência) 19
DW failure rates range between 50% and 70% and
range as high as 90% for the insurance industry
(Conning and Co. em 2002)
Alguns eventos (início dos anos 2000):
20
Fonte: https://www.gartner.com/newsroom/id/492112
1. Vodafone: The long arm of the law (CRM)
2. Washington community college system: When third parties flop
3. Woolworth's Australia: The death of institutional memory
4. Target Canada: Garbage in, garbage out
5. PG&E: When "sample" data isn't
6. Definitely not a sweet experience for Hershey´s
7. Just do it: Fix our supply chain system!
8. HP's "perfect storm" of ERP problems
9. A new type of freshman hazing
10. Waste Management trashes its "fake" ERP software
11. The curious case of Oracle Fusion Applications
12. Oracle, SAP and a little company named TomorrowNow
13. Shareholder pressure halts SAP ERP rollout
14. ERP + SaaS = Software success or bad idea?
15. A legendary "moon" on the high seas
Fonte: https://www.cio.com/article/2429865/enterprise-resource-planning/enterprise-resource-planning-10-famous-erp-disasters-dustups-and-disappointments.html
Alguns eventos (fracassos ERP):
Sistema de mensuração
do resultado econômico e
financeiro (SIREF)
No Brasil:
Alguns eventos (fracassos BI e BA):
(integração dos dados)
(qualidade dos dados)
(“propriedade” dos dados)
(cultural - carreira)
(grandes consultorias)
(mais do mesmo)
(incertezas nos resultados) 22
Analytics Data Science:
23
Fonte: https://obamawhitehouse.archives.gov/blog/2012/03/29/big-data-big-deal
Alguns eventos (Big Data Initiative):
24
Fonte: http://ritholtz.com/2016/09/162347/ 25
Perspectivas e desafios:
Dilúvio de dados Universo de dados
Fonte: http://www.infomoney.com.br/negocios/grandes-empresas/noticia/7468287/dona-das-casas-bahia-ponto-frio-reduz-numeros-executivos-reestrutura
Perspectivas e desafios:
26
30
Perspectivas e desafios:
1. Qualidade dos dados (dirty data) / data silos (integração)
2. Dados demais, estratégia de menos / Lack of a plan (roadmap) /
Focusing on Big Data rathar than the Right Data (mais do mesmo)
3. Acesso limitado aos dados / Fear and fiefdom
4. The Old School Mindset (“talent management”: acquisition, engagement,
development, performance management ) / The Big Bang Approach
(grandes concultorias) / Expecting Certainty
Fracassos dos projeto de BI e BA (anos 2000) – Questões já resolvidas?