processamento paralelo é distribuído com big databosco.sobral/ensino/ine5645/tema... · problemas...
TRANSCRIPT
![Page 1: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/1.jpg)
Processamento paralelo é distribuído com Big DataDr. Kleber Vieira
![Page 2: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/2.jpg)
Big DataO que é Big Data? Porque precisamos de novas técnicas ?
![Page 3: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/3.jpg)
Big Data5 características do Big Data segundo Khan, Uddin e Gupta (2014). • Volume • Variedade • Velocidade • Veracidade • Valor
![Page 4: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/4.jpg)
Big DataPorque precisamos de novas técnicas ? Complexidade computacional.
![Page 5: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/5.jpg)
Problemas com Big DataExemplo: • IoT na agricultura;
• Cada maquina gera 25 registros de sensores por segundo;
• Ligada 12 horas por dias envia 43.200 vezes 25 1.080.000
• Mil Dispositivos gera mais de 1 bilhão de registros.
![Page 6: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/6.jpg)
Problemas com Big DataExemplo: • Para cada segundo é enviada a coordenada GPS,
dados de coleta, insumos, velocidade, operação executava etc…
![Page 7: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/7.jpg)
Problemas com Big DataExemplo: • Ao receber os dados o é necessário: • Verificar em qual talhão
![Page 8: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/8.jpg)
Problemas com Big DataExemplo: • Ao receber os dados o é
necessário: • Verificar em qual talhão foi
trabalhado. • Quais atividades foram
realizada. • Consolidar os identificados
dos registros enviados com os dados do banco.
![Page 9: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/9.jpg)
Problemas com Big DataExemplo: • Reduzir os dados para que consultas extração de
dados sejam geradas rapidamente.
• Se em 1 minuto não houve mudança de atividade agrupa os 60 registros em apenas 1.
![Page 10: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/10.jpg)
Como organizar o código para tratar todo esse processamento ?Design Pattern: Flyweight https://github.com/iluwatar/java-design-patterns/tree/master/flyweight/src/main/java/com/iluwatar/flyweight
![Page 11: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/11.jpg)
Map Reduce• Mapear os dados em estrutura de dados; • Reduzir;
BigData Result
MAP
REDUCE
PartitioningFunction
![Page 12: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/12.jpg)
Ferramenta HadoopGoogle desenvolveu o Hadoop; Framework para realizar o processamento Big Data em ambientes distribuídos.
![Page 13: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/13.jpg)
Ferramenta Hadoop
![Page 14: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/14.jpg)
Ferramenta Hadoop
![Page 15: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/15.jpg)
Ferramenta HadoopComo usar ? Instalar o Hadoop: http://hadoop.apache.org/releases.html
![Page 16: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/16.jpg)
Ferramenta HadoopComo usar ? Instalar o Hadoop: http://hadoop.apache.org/releases.html
wget http://apache.mirrors.tds.net/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz
tar -xzvf hadoop-2.7.4.tar.gz
sudo mv hadoop-2.7.4 /usr/local/hadoop
readlink -f /usr/bin/java | sed “s:bin/java::”
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/
![Page 17: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/17.jpg)
Ferramenta HadoopComo usar ? Instalar o Hadoop: http://hadoop.apache.org/releases.html
/usr/local/hadoop/bin/hadoop
mkdir ~/input
/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/input ~/grep_example ‘principal[.]*'
![Page 19: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/19.jpg)
Ferramenta HadoopProjeto:
https://goo.gl/TNnQMv
Atividade:Mudar o código para contar apenas uma coleção específica de palavras.
![Page 23: Processamento paralelo é distribuído com Big Databosco.sobral/ensino/ine5645/Tema... · Problemas com Big Data Exemplo: • Reduzir os dados para que consultas extração de dados](https://reader036.vdocuments.pub/reader036/viewer/2022070912/5fb4503496966748c745426e/html5/thumbnails/23.jpg)
AWS