(windays 13) microsoft big data platform
DESCRIPTION
Microsoft Big Data Platform Big Data Cloud Azure Hadoop HDInsight MahoutTRANSCRIPT
Microsoft Big Data platformaLuka Lovošević, Marko Tošić
MICROSOFT HRVATSKA
Isključite zvuk telefona
Sadržaj• Uvod u Big Data• Pregled Microsoft platforme• Hadoop• Demo
Što je Big Data?
MICROSOFT CONFIDENTIAL – INTERNAL ONLY
Što je Big Data?Podaci koji su vam bitni, ali ih tradicionalnim alatima ne možete procesirati.
VOLUME(Količina)
VARIETY (Struktura)
VELOCITY (Brzina)
Izvori podataka
Telematics Text
Smart-Grid Sensor
Time and Place RFID
Telemetry Social Networks
Što je Big Data?
Napredna analitika
Podaci u realnom vremenu
Analitika društvenih medija
Kako mogu poboljšati poslovanje ovisno o vremenskim prilikama ili tračevima s društvenih mreža, …?
Što se govori o mojem proizvodu na društvenim mrežama?
Kako da bolje uočim trendove i reagiram na njih?
Big Data algoritmi
Mining Social-Network Graphs
Finding Similar Items Mining Data Streams Frequent Item Sets
Advertising on the Web
Link Analysis
Recommendation SystemsClustering
c
Microsoft Big Data platforma
Microsoft Big Data platforma
SQL Server StreamInsight
Hadoop – HDInsight
(Windows ili Azure)
SQL Server 2012 Parallel Data Warehouse
Self-service BI alati
Microsoft Big Data platforma
Volume
Varie
t
yVelo
city
pull
push
bigsmall
fk/pk
k/v
SQL Server
PDW
HDInsight
StreamInsight
Malo više o Hadoopu…
Što je Hadoop?Platforma za procesiranje velike količine podataka.Apache, open source.Baziran na Google GFS i MapReduce algoritmu.Visoko skalabilan i distribuiran.Jeftini hardver.
2013
Yahoo!
EnterpriseHadoop
Apache projekt
2004 2008 2010 20122006
Hadoop arhitektura
Server
ServerServer
MapReduce (i)
Files
Server
MapReduce (ii)
// Map Reduce function in JavaScript
var map = function (key, value, context) {var words = value.split(/[^a-zA-Z]/);for (var i = 0; i < words.length; i++) {
if (words[i] !== "")context.write(words[i].toLowerCase(),1);}}};
var reduce = function (key, values, context) {var sum = 0;while (values.hasNext()) {sum += parseInt(values.next());
}context.write(key, sum);};
ServerServer
ServerServer
Code
Primjer za Map Reduce
HDInsight
Hadoop
Programiranje u .NET-uSecurity, HA & managementPodrška za virtualizacijuIntegracija s Microsoft BI alatimaIsto iskustvo za on-premise i cloud
Hadoop za Windows ServerHadoop za Windows Azure
Tehnologija oko HDInsight-a
MahoutBiblioteka skalabilnih algoritama za strojno učenje baziranih na MapReduceu.Vrti se na Hadoop infrastrukturi.
Scenariji korištenja:• Recommendation mining• Clustering• Classification
Demo
Mahout song recommendation
Pitanja i odgovori