Download - Agile Data Insights - TDC PoA 2016
![Page 1: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/1.jpg)
AGILE DATA INSIGHTSDecisões de Negócios Guiadas por Dados
A n d r e s s a S i v o l e l l a
![Page 2: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/2.jpg)
AGILE DATA INSIGHTSDecisões de Negócios Guiadas por Dados
A n d r e s s a S i v o l e l l a
![Page 3: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/3.jpg)
3
![Page 4: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/4.jpg)
4
+
$ 59 $ 125 $ 125
![Page 5: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/5.jpg)
5
+
$ 59 $ 125 $ 12516% 84%0%
![Page 6: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/6.jpg)
6
+
$ 59 $ 125 $ 12516% 84%0%
$ 59
+
$ 125
???
![Page 7: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/7.jpg)
7
+
$ 59 $ 125 $ 12516% 84%0%
$ 59
+
$ 12564% 32%
![Page 8: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/8.jpg)
8
+
$ 59 $ 125 $ 125
A -B B
Escolha Relativa (Decoy)
![Page 9: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/9.jpg)
PSICOLOGIA COGNITIVA
9
Psicologia Cognitiva Comportamento Tomada de Decisão
![Page 10: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/10.jpg)
10
Mas, Andressa, o que isso tem a ver com
Data Insights?
![Page 11: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/11.jpg)
11
Amazon Patents “Anticipatory” Shipping
![Page 12: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/12.jpg)
12
Entendi! Só que, pessoas mudam de opinião
constantemente, né? Como faz?
![Page 13: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/13.jpg)
13Read D & Van Leeuwen - Harvard University
Frutasou
Chocolate?
Escolher Hoje
Comer Semana que vem
![Page 14: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/14.jpg)
14Read D & Van Leeuwen - Harvard University
Frutasou
Chocolate?
Escolher Hoje
Comer Semana que vem
14
74% 26%
![Page 15: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/15.jpg)
15
Frutasou
Chocolate?
Escolher e comer agora
70%30%
![Page 16: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/16.jpg)
16https://www.washingtonpost.com/news/storyline/wp/2014/12/04/people-around-you-control-your-mind-the-latest-evidence/
People around you control your mind
![Page 17: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/17.jpg)
17
![Page 18: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/18.jpg)
18
![Page 19: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/19.jpg)
19
![Page 20: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/20.jpg)
20
1,996 vôos
257,000 passageiros
65,000 transações
![Page 21: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/21.jpg)
21
Dados
Experimentos Pequenos
30%Data Insights
![Page 22: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/22.jpg)
22
![Page 23: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/23.jpg)
23
Data Insights
![Page 24: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/24.jpg)
PROCESSO
24
Lots of ideasWORKSHOPBusiness priority +
ideation
LIGHTWEIGHTTESTING
Few best ideasBESTIDEASMADEBETTER
DESIGN TEST
BUILD
REFINE
DAYS DAYS WEEKS
Ideação com base nas prioridades do negócio
Muitas Ideias Melhores IdeiasValidação de Hipóteses
Melhores Ideias Aprimoradas
DIAS DIAS SEMANAS
CRIAR
REFINAR
TESTARPROJETAR
![Page 25: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/25.jpg)
ABORDAGENS
25
Testar
$ investimentoinicial
Aprender
Investir
Operacionalizar
InsightAcionável
Testar
$$$ investimentoinicial
Aprender
Investir
Operacionalizar
InsightAcionável
ThoughtWorks Métodos TradicionaisVS
![Page 26: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/26.jpg)
NÍVEIS DE MATURIDADE EM DATA
26
Valo
r
Complexidade
Paridade
Diferenciação
O que aconteceu?
Análise Descritiva
Por que aconteceu?
Análise Diagnóstica
O que vai acontecer?
Análise Preditiva
O que fazer quando acontecer?
Análise Prescritiva
![Page 27: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/27.jpg)
NÍVEIS DE MATURIDADE EM DATA
27
Valo
r
Complexidade
Paridade
Diferenciação
O que aconteceu?
Análise Descritiva
Por que aconteceu?
Análise Diagnóstica
O que vai acontecer?
Análise Preditiva
O que fazer quando acontecer?
Análise Prescritiva
27
BI Tradicional
Analytics Avançado
![Page 28: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/28.jpg)
CENÁRIO ATUAL
28
✴ Volume, Velocidade e Variedade Analytics Avançado
![Page 29: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/29.jpg)
CENÁRIO ATUAL
29
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
![Page 30: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/30.jpg)
CENÁRIO ATUAL
30
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise
![Page 31: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/31.jpg)
CENÁRIO ATUAL
31
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise
✴ BI Tradicional não lida com desafios
![Page 32: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/32.jpg)
CENÁRIO ATUAL
32
✴ Volume, Velocidade e Variedade Analytics Avançado
✴ Oportunidade de Inovação
✴ Desafios:
• Processamento
• Armazenamento
• Análise
✴ BI Tradicional não lida com desafios
✴ Ferramentas proprietárias
• Dificuldade para integração contínua
![Page 33: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/33.jpg)
É, NÃO É, FAZ, NÃO FAZ
33
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
![Page 34: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/34.jpg)
É, NÃO É, FAZ, NÃO FAZ
34
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem, massivamente paralela, bancos de
dados não relacionaisBancos de dados relacionais
![Page 35: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/35.jpg)
É, NÃO É, FAZ, NÃO FAZ
35
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem, massivamente paralela, bancos de
dados não relacionaisBancos de dados relacionais
Data Lake Data Warehouse
![Page 36: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/36.jpg)
É, NÃO É, FAZ, NÃO FAZ
36
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem, massivamente paralela, bancos de
dados não relacionaisBancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e experimentação
Foco em relatórios e Dashboards
![Page 37: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/37.jpg)
É, NÃO É, FAZ, NÃO FAZ
37
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem, massivamente paralela, bancos de
dados não relacionaisBancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
![Page 38: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/38.jpg)
É, NÃO É, FAZ, NÃO FAZ
38
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem, massivamente paralela, bancos de
dados não relacionaisBancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas proprietárias)
Ferramentas proprietárias (poucas Open Source)
![Page 39: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/39.jpg)
É, NÃO É, FAZ, NÃO FAZ
39
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem, massivamente paralela, bancos de
dados não relacionaisBancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas proprietárias)
Ferramentas proprietárias (poucas Open Source)
Suporta à ausência de dados Requer dados completos
![Page 40: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/40.jpg)
É, NÃO É, FAZ, NÃO FAZ
40
Analytics Avançado BI Tradicional
Baseada em Ciência EstatísticaBaseada em sistemas de suporte a
decisão (CRM, ERP, …)
Computação em Nuvem, massivamente paralela, bancos de
dados não relacionaisBancos de dados relacionais
Data Lake Data Warehouse
Foco em estatística e experimentação
Foco em relatórios e Dashboards
Aprendizado de Máquina OLAP
Ferramentas Open Source (poucas proprietárias)
Ferramentas proprietárias (poucas Open Source)
Suporta à ausência de dados Requer dados completos
Dados (des)estruturados Dados estruturados
![Page 41: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/41.jpg)
41
E onde está o Agile no termo
“Agile Data Insights"?
![Page 42: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/42.jpg)
ESTA É A MARÍLIA…
42Gerente de Projetos
![Page 43: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/43.jpg)
OUTUBRO DE 2015…
43
![Page 44: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/44.jpg)
JANEIRO DE 2016
44
![Page 45: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/45.jpg)
JULHO DE 2016
45
![Page 46: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/46.jpg)
MARÍLIA E A ARQUITETURA ATUAL
46
Você está demitido!
![Page 47: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/47.jpg)
NOVA ABORDAGEM
47
VS
![Page 48: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/48.jpg)
NA PRÁTICA…
48
Por onde eu começo?
![Page 49: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/49.jpg)
ALINHAMENTO VIA INCEPTION
49
![Page 50: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/50.jpg)
ALINHAMENTO VIA INCEPTION
50
Riscos Valor de Negócio
![Page 51: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/51.jpg)
FAZ PARTE DE DATA INSIGHTS…
51
ARQUITETURA E ENGENHARIA DE DADOS
Definição de estruturas e modelos de dados, escolha e
implementação das tecnologias adequadas
VISUALIZAÇÃO DE DADOS
Design colaborativo, prototipação, testes e avaliação de feedbacks para visualização
efetiva dos dados
CIÊNCIA DE DADOS
Criação de modelos que permitam dar o passo de uma
abordagem descritiva para uma preditiva.
![Page 52: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/52.jpg)
ARQUITETURA EMERGENTE
52
Sistemas operacionais se comunicam uns com os outros através de serviços, ignorando o lago de dados
Sistemas operacionais alimentam o lado com dados utilizando seus próprios esquemas
Cientistas de dados investigam o lago em busca de insights em potencial
Os "lakeshore marts” são responsáveis pela curadoria e organização dos dados para fins de análise
![Page 53: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/53.jpg)
ESTRUTURA
53
Data Insights (Ciência de Dados)
Estrutura (Eng. de Dados)
Aplicação (Visualização)
![Page 54: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/54.jpg)
NA PRÁTICA…
54
Árvore de Decisão
![Page 55: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/55.jpg)
NA PRÁTICA…
55
Árvore de Decisão
Regressão Linear
![Page 56: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/56.jpg)
NA PRÁTICA…
56
Árvore de Decisão
Regressão Linear
Rede Neural
![Page 57: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/57.jpg)
NA PRÁTICA…
57
Árvore de Decisão
Regressão Linear
Rede Neural
Modelo Ensemble
![Page 58: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/58.jpg)
AGILE DATA INSIGHTS
58
EngenhariaDe Dados Aprendizado
Lean
Ferramentas e técnicas para
melhor manipularos dados de acordo
com os seusobjetivos
específicos, prazo e arquitetura.
Meça o valor e utilize os
resultados para melhorar o
processo oumudar o curso emuma direção mais
vantajosa.
CONHECIMENTO ACIONÁVEL E
INSIGHT
Técnicas analíticasavançadas para
solucionarproblemascomplexos.
EntregaÁgil
CiênciaDe Dados
Entregar valor de negócio antecipada e
frequentemente. Construa sua
plataforma ao longodo tempo e não tudo
de uma vez só. Suas perguntas
=
Resultados rápidos
InsightsAcionáveis
![Page 59: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/59.jpg)
59
TECNOLOGIAS
![Page 60: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/60.jpg)
60
METODOLOGIAS
![Page 61: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/61.jpg)
CANVAS
61
![Page 62: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/62.jpg)
ESTÓRIAS DE USUÁRIOS
62
Como um <papel>
Eu quero <objetivo>
Para então <valor>
![Page 63: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/63.jpg)
PAREAMENTO
63
![Page 64: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/64.jpg)
TIMES AUTO-GERENCIÁVEIS
64
![Page 65: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/65.jpg)
OUTRAS PRÁTICAS
65
✴ Stand-ups
✴ Showcases
✴ Atividades de Team Building
✴ Retrospectivas Semanais
![Page 66: Agile Data Insights - TDC PoA 2016](https://reader034.vdocuments.pub/reader034/viewer/2022042707/58ed671b1a28ab11238b46e9/html5/thumbnails/66.jpg)
RADAR TÉCNICO
66