büyük veri, hadoop ekosistemi ve veri bilimi

BüyükVeri,HadoopEkosistemiveVeriBilimiDr.M.UmutDEMİREZENSTMBüyükVeriveVeriBilimiGrupLideriudemirezen@stm.com.tr|@udmrzn

UNCLASSIFIED

HİZMETEÖZEL UNCLASSIFIED2/95

BigDataKavramı

2

«BigDataistherealizaOonofgreaterbusinessintelligencebystoring,

processing,andanalyzingdatathatwaspreviouslyignoredduetothelimitaOons

oftradiOonaldatamanagementtechnologies»

«BigDataisacollecOonofdatasets,whichareenormouslylargeandcomplex

thatconvenOonaldatabasesystemscannotprocesswithindesired

Ome.»

HİZMETEÖZEL UNCLASSIFIED3/95

BigDataKavramı

3

HİZMETEÖZEL UNCLASSIFIED4/95

BigDataVeriTürleri

4

ü DuranVeri(DataatRest)ü AkışkanVeri(DatainMo@on)ü BağlıData(LinkedData)ü ZamanSerisi(TimeSeries)

HİZMETEÖZEL UNCLASSIFIED5/95

ETL

Real Time Streams

Unstructured Data (HDFS)

Real Time Structured Database

(hBase, Gemfire, Cassandra)

Big SQL (Greenplum, AsterData,

Etc…)

BatchProcessing

Real-Time Processing

(s4, storm)

Analytics

GünümüzdeKullanılanBüyükVeriİşlemeTeknikleri

DiM

DaR

HİZMETEÖZEL UNCLASSIFIED6/95

BigData’nınEvrimi

6

HİZMETEÖZEL UNCLASSIFIED7/95

BigData’nınEvrimi

7

HİZMETEÖZEL UNCLASSIFIED8/95

BigData’nınEvrimi

8

CAPtheoremreveals thatashareddatasystemcanonlychooseat most two of three proper@es: consistency, availability, andtolerancetopar@@ons.

HİZMETEÖZEL UNCLASSIFIED9/95

BigData’nınEvrimi

9

HİZMETEÖZEL UNCLASSIFIED10/95

HadoopEkosistemi

10

HİZMETEÖZEL UNCLASSIFIED11/95

HadoopEkosistemi

11

HİZMETEÖZEL UNCLASSIFIED12/95

MapReduceV1–YARNMapReduceV2

12

HİZMETEÖZEL UNCLASSIFIED13/95

HadoopEkosistemi

13

HİZMETEÖZEL UNCLASSIFIED14/95

MapReduce

14

HİZMETEÖZEL UNCLASSIFIED15/95

MapReduce

15

HİZMETEÖZEL UNCLASSIFIED16/95

MapReduce

16

HİZMETEÖZEL UNCLASSIFIED17/95

MapReduce

17

HİZMETEÖZEL UNCLASSIFIED18/95

HadoopEkosistemi

18

HİZMETEÖZEL UNCLASSIFIED19/95

ApacheSqoop

19

HİZMETEÖZEL UNCLASSIFIED20/95

ApacheFlume

20

HİZMETEÖZEL UNCLASSIFIED21/95

ApacheZooKeeper

21

HİZMETEÖZEL UNCLASSIFIED22/95

ApacheKafa

22

HİZMETEÖZEL UNCLASSIFIED23/95

ApacheOozie

23

HİZMETEÖZEL UNCLASSIFIED24/95

ApachePig

24

HİZMETEÖZEL UNCLASSIFIED25/95

ApacheHive

25

HİZMETEÖZEL UNCLASSIFIED26/95

ApacheMahout

26

HİZMETEÖZEL UNCLASSIFIED27/95

ApacheMahout

27

HİZMETEÖZEL UNCLASSIFIED28/95

ApacheHBase

28

HİZMETEÖZEL UNCLASSIFIED29/95

ApacheStorm

29

HİZMETEÖZEL UNCLASSIFIED30/95

ApacheSpark

30

HİZMETEÖZEL UNCLASSIFIED31/95

ApacheSpark

31

HİZMETEÖZEL UNCLASSIFIED32/95

LambdaArchitecture

32

• Tutarlılıkvehatayakarşıdayanıklıolabilme• Düşükgecikmeli(LowLatency)okumaveyazma• Ölçeklenebilirolma• GenelleşKrilebilme• GenişleKlebilme• Anlıksorgulanabilme(ad-hoc)• MinimumidameçabasıgerekKrme• Hataayıklanabilme

HİZMETEÖZEL UNCLASSIFIED33/95

LambdaArchitecture

33

HİZMETEÖZEL UNCLASSIFIED34/95

LambdaArchitecture

34

HİZMETEÖZEL UNCLASSIFIED35/95

LambdaArchitecture

35

HİZMETEÖZEL UNCLASSIFIED36/95

LambdaArchitecture

36

HİZMETEÖZEL UNCLASSIFIED37/95

LambdaArchitectureNormalKapasitedeÇalışma

HİZMETEÖZEL UNCLASSIFIED38/95

AkademikYayınlar

IEEECOMPSAC2016(YayınAşamasında) USMOS2015(Yayınlandı)

HİZMETEÖZEL UNCLASSIFIED39/95

DataIngesOon

39

IoT/IoE

CloudCompuKng

FogCompuKng

HİZMETEÖZEL UNCLASSIFIED40/95

VeriBilimiNedir?

• DataScienceisthesciencewhichusescomputerscience,staOsOcsandmachine,learning,visualizaOonandhuman-computerinteracOonstocollect,clean,integrate,analyze,visualize,interactwithdatatocreatedataproducts

HİZMETEÖZEL UNCLASSIFIED41/95

DataProductGeneraOon

41

HİZMETEÖZEL UNCLASSIFIED42/95

VeriBilimiNedir?

HİZMETEÖZEL UNCLASSIFIED43/95

VeriBilimiNedir?

HİZMETEÖZEL UNCLASSIFIED44/95

BigDataveVeriBilimininKullanımı

HİZMETEÖZEL UNCLASSIFIED45/95

BigDataveVeriBilimininKullanımı

Ø Descrip@veAnaly@cs:exploitshistoricaldatatodescribewhatoccurred.Ø Predic@veAnaly@cs:focusesonpredicKngfutureprobabiliKesandtrends.Ø Prescrip@veAnaly@cs:addressesdecisionmakingandefficiency.q For example, simulaKon is used to analyze complex systems to gain insightinto system behavior and idenKfy issues and opKmizaKon techniques areusedtoanalyzeopKmalsoluKonsundergivenconstraints.

HİZMETEÖZEL UNCLASSIFIED46/95

ExplatoryDataAnalysis

Örnek:Amerika’da1997-2008arasındauçakkalkışiniş,rötarverisi:120GB

HİZMETEÖZEL UNCLASSIFIED47/95

ExplatoryDataAnalysis

Örnek:Amerika’da1997-2008arasındauçakkalkışiniş,rötarverisi:120GB

HİZMETEÖZEL UNCLASSIFIED48/95

DataMining:DynamicTimeWarping-Algoritma

HİZMETEÖZEL UNCLASSIFIED49/95

DynamicTimeWarping-Algoritma

HİZMETEÖZEL UNCLASSIFIED50/95

DynamicTimeWarping–Sensör12ve314

HİZMETEÖZEL UNCLASSIFIED51/95

DynamicTimeWarping–Sensör12ve314

HİZMETEÖZEL TASNİFDIŞI52/95

Kariyer.NetveLinked.inüzerindenAçıkPozisyonlarımızaBaşvurabilirsiniz….

BizimleÇalışmakİstermisiniz?

•  DataEngineering•  DataScienceAlanlarındaKariyerYapmakİstermisiniz?

BudokümanveiçerdiğitümbilgilerSTM’ninfikrimülkiyeKdir.Budokümanındağıgmıveyasunumuilebuhaklarortadankalkmışolmaz.STM’ninyazılıizniolmadanbudokümanınveiçerdiğibilgilerinüçüncükişilereaktarımı,çoğalgmı

vedağıgmıyapılamaz.Budokümanveiçeriğihazırlanmaamacınındışındakullanılamaz.

STMSAVUNMATEKNOLOJİLERİMÜHENDİSLİKVETİC.A.Ş.ANKARATEKNOLOJİGELİŞTİRMEBÖLGESİ,

BİLKENTCYBERPARK,ÜNİVERSİTELERMAHALLESİ,1605.CADDE,NO:3ABİLKENT–ÇANKAYATÜRKİYE

t : 0 312 266 35 50 f : 0 312 266 35 51 www.stm.com.tr

© STM 2015

All Rights Reserved

ThisdocumentandallinformaKoncontainedhereinisthesolepropertyofSTM.Nointellectualpropertyrightsaregrantedbythedeliveryofthisdocumentordisclosureofitscontent.ThisdocumentshallnotbereproducedordisclosedtoathirdpartywithouttheexpresswripenconsentofSTM.Thisdocumentanditscontentshallnotbeusedforanyotherpurposeotherthanforwhichitissupplied.