big data & iot: tecnologias e aplicações
TRANSCRIPT
![Page 1: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/1.jpg)
BigData e IOTAlessandro de Oliveira Binhara
Data Scientist – Horton Works System Integrator
![Page 2: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/2.jpg)
Alessandro Binhara
Data Scientist & Mobile ExpertMestre em Tecnologia (UTFPR)
Bacharel em TIC, Técnico Eletrônica (CEFET-PR)
Mono Hacker desde 2003
Fundador Projeto MonoBrasil
Linguagens Fluente: C#, Java, PIG, PHP, Ruby., ...
BigData: Hadoop, MapReduce Mahout, Hbase, Cassandra,
Hive, Sqoop,
Consultor Autorizado Xamarin
Consultor BigData pela Hortonhorks
![Page 3: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/3.jpg)
O que é ?
Coisas” que se comunicam, armazenam e
processam dados com o mínimo de interferência
humana, integradas a rede mundial de
computadores.
![Page 4: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/4.jpg)
IOT e Bigdata ???
Dispositivos vestíveis pelas pessoas. Máquinas que
coletam dados e atuam sobre às pessoas
![Page 5: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/5.jpg)
IOT e Bidata
![Page 6: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/6.jpg)
![Page 7: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/7.jpg)
![Page 8: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/8.jpg)
Cadeia de Valor do BigData
Coleção - Dados estruturados, não estruturados e semi-estruturados de múltiplas fontes
Ingestão - carregamento de grandes quantidades de dados em um único armazenamento de dados
Discovery & Cleansing - compreensão do formato e conteúdo; Limpeza e formatação
Integração - vinculação, extração de entidade, resolução de entidade, indexação e fusão de dados
Análise - Inteligência, estatística, análise preditiva e de texto, aprendizado de máquina
Entrega - consulta, visualização, entrega em tempo real com disponibilidade de classe empresarial
Collection Ingestion
Discovery
&
Cleansing
Integratio
nAnalysis Delivery
![Page 9: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/9.jpg)
Porque e Quando ?
![Page 10: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/10.jpg)
Considerações para a grande
padronização de dados
Variedade de Casos de Uso
Mobilidade
Segurança e privacidade
Gerenciamento do ciclo de vida e
qualidade dos dados
Gerenciamento do sistema e outros
problemas
Características dos dados
Distribuído / Centralizado
Os 4 V's: Volume, Velocidade,
Variedade, Veracidade
Coleção de dados
Visualização de dados
Qualidade dos dados
Análise de dados e ação
![Page 11: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/11.jpg)
DataSource
Source Sensores
Aplicações
Agentes de software
Indivíduos
Organizações
Recursos de hardware
Fontes de dados publicas
Sites internet
Redes Sociais
Any*
A qualquer momento
Qualquer coisa
Qualquer Dispositivo
Qualquer Contexto
Qualquer lugar
Qualquer lugar
Alguém
![Page 12: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/12.jpg)
IOT Aplicado a SmartCitys ???
Como pode funcionar ?
Como Coletar os dados ?
Como Armazenar ???
Como processar ???
Como Tornar uma cidade inteligente ??
![Page 13: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/13.jpg)
Cluster no Hadoop no Yahoo
Atualmente o Yahoo tem 3 cluster com mais de 42mil máquinas para testes
![Page 14: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/14.jpg)
![Page 15: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/15.jpg)
Facebook Data Center
![Page 16: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/16.jpg)
Uso Comum do Hadoop – Case ...
1. SocialEntenda como seus clientes se sentem sobre a sua marca
e produtos – agora
2. ClickstreamCapturar e analisar as pistas de dados visitantes do site e
otimizar seu site
3. Sensor/MachineDescobrir padrões nos dados que fluem automaticamente
a partir de sensores e máquinas remotas
4. GeolocationAnalisar dados baseados em localização para gerenciar as
operações onde ocorrem
5. Server LogsLog de pesquisa para diagnosticar falhas no processo e
prevenir violações de segurança
6. Unstructured (text, video, pictures, etc..)Compreender padrões de texto através de milhões de
produtos de trabalho não estruturados: páginas web, e-
mails, vídeos, fotos e documentos
Valor
![Page 17: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/17.jpg)
O que é Hadoop ?
O Apache Hadoop é um projeto desenvolvimento como open-source software para escalável , confiável e com processamento distribuído.
Um sistema escalável e confiável para armazenamento compartilhado e análises.
Ele automaticamente trata da replicação de dados e das falhas em cada nó.
Ele faz o trabalho duro, o desenvolvedor pode se concentrar em processamento da lógica de dados
Permite que os aplicativos usem petabytes de dados em paralelo.
![Page 18: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/18.jpg)
O que é BigData ?
![Page 19: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/19.jpg)
Curiosidades sobre ZetaBytes
![Page 20: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/20.jpg)
Camadas
![Page 21: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/21.jpg)
Compartivo
SQL
Banco Relacional
Escalabilidade vertical
Terabytes
RAID, HDs rápidos
Mais dados, troque o servidor
BigTable
Escalabilidade horizontal
Petabytes
CPU Rápida/ Baixo custo
Padrão, HDs duráveis
Mais dados, adicione mais
servidores
![Page 22: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/22.jpg)
Bigatable is a sparse, distributed persistence
multidimensional sorted map.
PETABYTES
![Page 23: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/23.jpg)
O que map reduce ? Estratégia de dividir para conquistar
MapReduce é um modelo de programação e implementação associados
para o processamento e geração de grandes conjuntos de dados (Jeffrey
Dean e Sanjay Ghemawat, 2004)
Baseado em um modelo de programação funcional (como Lisp, Ml, etc)
Processamento de dados base em batch
A abstração limpa para programadores
Paralelização automática e distribuição
Tolerância a falhas
![Page 24: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/24.jpg)
MapReduce
![Page 25: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/25.jpg)
Bigdata é o mundo do cobertor curto...
![Page 26: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/26.jpg)
![Page 27: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/27.jpg)
Processamento
MapReduce 2 (yarn)
Apache Spark
Apache TEZ
Apache Storm
![Page 28: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/28.jpg)
SQL/DB
Spark SQL
Impala
Hive
Presto
![Page 29: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/29.jpg)
Data Flow
Flume (logs, files)
Sqoop (sync,sql)
Kafka (msg)
Nifi (proc/dist)
![Page 30: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/30.jpg)
Suporte e administração
Oozie (workflow,sched)
Zookeeper(coord,config)
Ambari (monitor, managing)
![Page 31: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/31.jpg)
Outros
PIG, jaql, hive
Mahout, Mlib, H2O
Solar
Zepelin
![Page 32: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/32.jpg)
Casos em SmartCitys
![Page 33: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/33.jpg)
Casos TomTom
Empresa de GPS
Vendendo os hábitos dos motoristas para a policia
local para chegar em casa mais rápido
A policia passou a colocar radares e fiscalizar
essas rodas
Aplicando multas aos motoristas
![Page 34: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/34.jpg)
Sistema
BigData China
![Page 35: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/35.jpg)
Captura e Processamento dos Vídeos
As imagens são capturadas e processadas em
tempo real.
Podemos notar as marcações realizadas pelo
software de análise.
Ele consegue identificar os carros em movimentos
e verificar várias infrações, como :
Velocidade acima de 10% do limite
Velocidade acima de 20% do limite
Avanço de Sinal
Caminhão fora de horário
Sobre a faixa de pedestre
![Page 36: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/36.jpg)
Case AGENT - Central inteligente de
Trânsito Semáforo inteligente
![Page 37: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/37.jpg)
Exemplo de Relatório
asd
![Page 38: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/38.jpg)
PrótotipoPasseio Virtual
Sala de OperaçõesProduto Brasileiro
Startup Paranaense
Lançamento na CES em Las Vegas
http://beenoculus.com.br/‘
![Page 39: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/39.jpg)
Monitoramento de TransitoSala de OperaçõesEste é nosso quarto operacional. Projeção
de realidade estendido usando o Novell.
Este quarto tem favoritos em toda a sua
volta. No chão, temos um mapa da cidade
de Curitiba, onde com a utilização de um
óculos de realidade aumentada. A
informação recolhida é projetada para
câmeras. Imagens são processadas em um
cluster de Hadoop
![Page 40: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/40.jpg)
Imagine....
![Page 41: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/41.jpg)
Como deixo minha meu Sistema
Inteligente ???
Processamento em Realtime
Bases de conhecimento
Maquinas de Aprendizado
Sistema de Recomendação .
![Page 42: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/42.jpg)
TreinamentosPresencias, On-line e Semipresenciais
Curso: Apache Hadoop Essencial (8horas )
Curso: Introdução ao Futuro Cientista de Dados (8h)
Curso: DataScientist e BigData for Bussines (16h)
Curso: Apache Hadoop Fundamental (24h)
Treinamento e Workshop Ferramentas de BigData com EcoSistema Hadoop (40h)
Treinamento Apache Sqoop (8h)
Treinamento Apache Cassandra (16h)
Treinamento HBase (16h)
Treinamento Hive (16h)
Treimento Mahout (16h)
Curso + Treinamento em BI aplicado a máquinas de aprendizado Mahout(30h)
Curso de Splunk (16h)
Curso Pig e Pig Latin (16h)
Curos de Programaçao em MapReducecom Java e C# (16h)
Curso de Flume (16h)
![Page 43: BIG DATA & IoT: Tecnologias e Aplicações](https://reader030.vdocuments.pub/reader030/viewer/2022033020/587a16231a28abb4238b539b/html5/thumbnails/43.jpg)
Perguntas ???
@binhara
www.azuris.com.br