big data - uma visão geral da coisa

BIG DATAUma visão geral da coisa...

Arthur M. de Souza

● O que é Big Data?

● Os 3V's do Big Data

● Soluções de Big Data

- Hadoop

- HDFS

- Map Reduce

● Big Data em prática!

Sobre o que vamos falar…

Podemos definir Big Data como:

● conjuntos de dados extremamente GRANDES!

● coleta de GRANDES quantidades de dados, para serem analisadas e aproveitadas em tempo hábil.

● necessidade de ferramentas para lidar com GRANDES volumes

Você já parou para pensar na quantidade e

variedade de dados que geramos e

armazenamos a cada dia?

O problema é que...

A maioria das empresas (americanas) enxergam a importancia do Big Data, mas nao sabe quando vai investir em solucoes para tal...

+ 42% das empresas nao estao familiarizadas com analise de Big Data;

+ 34 % estao apenas comecando a lidar com essa tendencia;

+ 9 % afirmam ter muitos dados e nao saber o que fazer com eles;

(PETRO RIO)

EMPRESAS BRASILEIRAS (SEMANTIX, TAILTARGET)

Segundo as pesquisas…

Como processar tanta informação?

Como processar tanta informação?

“A verdadeira questao nao e que voce esta coletando

grandes quantidades de dados, mas sim o que voce faz

com eles. As organizacoes terao que ser capazes de

aproveitar os dados relevantes e usa-los para tomar as

melhores decisoes.” (IDC, 2011)

Os 3V’s do BIG DATAVolume

● grande escala● terabytes, petabytes, zetabytes…● crescimento exponencial

Velocidade● dados gerado rapidamente● tempo real● dados tratados em tempo hábil

Variedade● inúmeras fontes● estruturado ou não estruturado● texto, imagem, áudios, video...

● Distribuição de processamento e elasticidade● Escalabilidade● Banco de dados relacionais, não são tao flexíveis (ACID)● NoSQL é mais fácil e menos custoso● NoSQL otimizado para trabalhar com processamento paralelo

(orientado a documento, chave/valor, grafo e por ai vai…)

Soluções de Big Data

• Hadoop é um framework que permite o processamento distribui do de

grandes bases de dados atrave s de clusters usando modelos de programac a o simples.

• Breve Historico – 2003-2004: Google lanc a Map Reduce e GFS

– 2005: MR e DFS implementados por Doug Cutting

– 2006: Hadoop se torna um projeto Apache

– 2011: Apache disponibiliza Hadoop 1.x (HDFS + MR)

– 2013: Apache lança Hadoop 2.x (HDFS + MR + YARN)

Apache Hadoop

● sistema de arquivo distribui do do Hadoop (HDFS)

● plataforma desenvolvida em Java

● processamento paralelo de grandes massa de dados (Map Reduce)

● usado em conjunto com banco de dados NoSQL

● Hadoop é escalável

● processamento em batch

● é a opção de maior destaque no mercado, mas não é a única

Apache Hadoop

Ferramentas de Mercado para Big Data

Big Data em prática!!! (Cidades)Dublin

A prefeitura fez um acordo com a IBM para entender o problema do congestionamento e da lotação de seu serviço de transporte público.

Pesquisadores da gigante americana utilizam dados de uma série de fontes, como câmeras de monitoramento, GPS de ônibus e tabelas de horários, para criar um panorama digital do trânsito da capital irlandesa.

Com esse mapa, será possível que operadores identifiquem pontos críticos de congestionamento e trabalhem alternativas.

Big Data em prática!!! (Cidades)Seattle

O laboratório Senseable City Lab, do MIT, convidou 500 pessoas para etiquetarem seu lixo com tags eletrônicas. Ao todo, cerca de 5 mil pedaços de dejetos foram rastreados em seu caminho pelos Estados Unidos ao longo de três meses.

Com esse grande volume de dados reunidos, os pesquisadores obtiveram uma base para iniciar um estudo de logística e melhoria do fluxo do lixo produzido na cidade.

Big Data em prática!!! (Esportes)

Através de uma parceria com a multinacional de

tecnologia, SAP, desenvolveram um software

que utiliza big data para tratar milhões de dados

em tempo real das partidas, desempenho dos

jogadores e também de seus adversários,

gerando análises para melhorar a tomada de

decisão de nível técnico e o desempenho dos

próprios esportistas alemães nas partidas.

“Imagine isto: em 10 minutos, 10 jogadores com

três bolas podem produzir mais de 7 milhões de

pontos de dados.”

Seleção da Alemanha

Big Data em prática!!! (Saude)Análise de dados previu

epidemia de ebola antes do

anúncio oficial da OMS

O HealthMap usa algoritmos para vasculhar dezenas de milhares de sites de mídias sociais, notícias locais, sites governamentais, perfis públicos de médicos especialistas em doenças infecciosas e outras fontes para detectar e rastrear surtos de doenças

http://healthmap.org/pt/

Video Big Data

http://dialogoti.intel.com/pt-br/video/uma-tecnologia-inovadora-que-chegou-para-ficar

● Muitos desafios a serem superados;

● Empresas ainda nao sabem utilizar os recurso de Big Data;

● Oportunidades faltam profissionais capacitados para lidar com Big Data;

● Ainda e um terreno desconhecido para profissionais de TI;

● E difıcil extrair informacoes relevantes do Big Data;

● Nao ha metricas bem definidas para mensurar ROI;

● Faltam padroes;

● Ferramentas disponıveis ainda exigem conhecimento tecnico avancado e pouco difundido;

Conclusão