gijs kootjes (tno) - tech update big datsa visualisatie
TRANSCRIPT
Techniek in vogelvlucht BIG DATA VISUALISATION
¡ De invloed van Volume, Variety en Velocity op Visualization
¡ Drie technologieën: Map-D, WebGL en renderclouds
G. Koot Big Data Visualization
OVERZICHT
Volu
me
>
Velocity >
G. Koot Big Data Visualization
VOLUME VS. VELOCITY: GEBRUIKERS
Volu
me
>
Velocity >
G. Koot Big Data Visualization
VOLUME VS. VELOCITY: SOFTWARE
Volu
me
>
Velocity >
G. Koot Big Data Visualization
VOLUME VS. VELOCITY: HARDDISKS VS. GPU EN RAM
Volu
me
>
Velocity >
Visualizatie en interactie
G. Koot Big Data Visualization
VOLUME VS. VELOCITY: HARDWARE
¡ Voor traditionele toepassingen met gestructureerde data zijn traditionele databases perfect
G. Koot Big Data Visualization
VARIETY
¡ Voor echt snel lezen en schrijven van blogs is de architectuur ongeschikt
G. Koot Big Data Visualization
VARIETY
¡ Het opslaan van netwerken in tabelvorm is niet praktisch
G. Koot Big Data Visualization
VARIETY: NETWORKS
G. Koot Big Data Visualization
GESPECIALISEERDE DATABASES MET GEINTEGREERDE VISUALISATIES
¡ Map-D: Ultrasnelle GPU database
¡ WebGL: Hardwareacceleratie browser
¡ Renderclouds: Distributie van visualisatieberekeningen
G. Koot Big Data Visualization
TECHNOLOGIEËN
¡ Het omzetten van medische data naar (3D-) visualisaties kan niet lokaal op een desktop
¡ Oplossing is om beelden te versturen, niet de ruwe data
G. Koot Big Data Visualization
RENDERCLOUDS
¡ Techniek is sterk in ontwikkeling door medische toepassingen, maar ook voor het produceren van animatiefilms bijvoorbeeld
¡ Mogelijkheden voor combinatie met Oculus Rift of Google Glass
G. Koot Big Data Visualization
RENDERCLOUDS
¡ De meest flexibele en snelle visualisatietool van iedereen ¡ WebGL: ondersteuning voor hardwareacceleratie ¡ Demo: http://sentdex.com/global-sentiment-analysis/
G. Koot Big Data Visualization
BROWSER
¡ http://mapd.csail.mit.edu/tweetmap-desktop/ ¡ Gebruikt voor sociologisch onderzoek ¡ MIT technology, cooperating with Facebook and Paypal
G. Koot Big Data Visualization
MAP-D
¡ 350 miljoen tweets (totaal 350 miljard)
G. Koot Big Data Visualization
MAP-D
¡ Geen cluster, maar een enkele server met 8 GPU’s ¡ De database doet de rendering van de heatmap in éen stap
G. Koot Big Data Visualization
MAP-D
5 – 30 ms
¡ Zoek bijvoorbeeld op ‘bijbel’ (n = 31.264)
G. Koot Big Data Visualization
MAP-D
¡ Voor visualisatie en met name interactie is snelheid belangrijk ¡ Snelheid wordt bereikt door het samenbrengen van
verschillende stappen op éen plek
G. Koot Big Data Visualization
BIG DATA VISUALIZATION