big data ist hier um zu bleiben
TRANSCRIPT
![Page 1: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/1.jpg)
Big Data ist hier um zu bleiben (auch wenn es noch oft den Namen wechseln wird)
André Csillaghy Institut für 4D-Technologien
Hochschule für Technik Fachhochschule Nordwestschweiz
![Page 2: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/2.jpg)
BIG DATA: VERBLASSENDER HYPE?
![Page 3: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/3.jpg)
Die Blogosphäre:
Zeigt Zusammenhänge zwischen kommunizierdende Menschen
Offensichtlich ist die Information nicht zufällig verteilt.
![Page 4: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/4.jpg)
Solar Dynamics Observatory, ein NASA Satellit
Nimmt soviele Daten wie 3 Fernsehkanäle, die 24 / 7 laufen.
Die Beobachtungen können nicht mehr von Hand ausgewertet werden.
![Page 5: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/5.jpg)
Quelle: (via) Wikipedia
NSA --
Ebay: 7.5PB in Teradata Enterprise Data Warehouse 40 PB Hadoop Cluster 40PB auf ein Custom-System für deep-dive Analysis 100 TB / Tag neue Daten 500 Milliarden aktuellen Angebote
Facebook: 50 Milliarden Fotos, automatische Gesichtserkennung
Kreditkartenschutz: 2.1 Milliarden Karten werden geschützt
![Page 6: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/6.jpg)
Soure: OECD Digital Economy Outlook 2015
Internet of Things Anzahl am Internet angeschlossenen Geräte pro 100 Einwohnen
![Page 7: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/7.jpg)
BUSINESS NUTZEN
![Page 8: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/8.jpg)
![Page 9: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/9.jpg)
![Page 10: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/10.jpg)
![Page 11: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/11.jpg)
![Page 12: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/12.jpg)
![Page 13: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/13.jpg)
![Page 14: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/14.jpg)
![Page 15: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/15.jpg)
BIG DATA ANALYTICS
![Page 16: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/16.jpg)
Daten-Aufwertungskette
Original Data
Target Data
Preprocessed Data
Patterns
Knowledge
Data Integration and Selection
Preprocessing
Model Construction
Interpretation
Quelle: Ramakrishnan & Gehrke
![Page 17: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/17.jpg)
Institute of 4D Technologies: Management, Processing, and Visualization of Data
www.fhnw.ch/i4ds, facebook.com/fhnw.i4ds
Data Science am Institut für 4D-Technologien
![Page 18: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/18.jpg)
Trans_id Kunde_id Datum Objekt Menge
111 201 2.2.2006 Kugelschreiber 2
111 201 2.2.2006 Tinte 1
111 201 2.2.2006 Milch 3
111 201 2.2.2006 Saft 6
112 105 6.3.2006 Kugelschreiber 1
112 105 6.3.2006 Tinte 1
112 105 6.3.2006 Milch 1
113 106 5.5.2006 Kaffee 1
113 106 5.5.2006 Milch 1
114 201 25.5.2006 Kugelschreiber 2
114 201 25.5.2006 Tinte 2
114 201 25.5.2006 Saft 4
114 201 25.5.2006 Wasser 1
![Page 19: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/19.jpg)
http://gravitationallensing.pbworks.com/w/page/15553245/Cosmic%20Lensing
![Page 20: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/20.jpg)
![Page 21: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/21.jpg)
https://s3.amazonaws.com/datarobotblog/images/deepLearningIntro/013.png
![Page 22: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/22.jpg)
TECHNOLOGIEN
![Page 23: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/23.jpg)
![Page 24: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/24.jpg)
• Datenbanken: – Teradata, Cloudera – SQL / NOSQL
• Data analysis – Weka toolkit (data mining) – OpenCV (feature extraction)
• HPC – Pydron (HBC) – Hadoop / Spark
• Resource management – Mesos
• Usw., usw., usw….
![Page 25: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/25.jpg)
Open Data Analysis Stack
Application
Storage
Data Processing
Infrastructure
Aus: ganges.usc.edu/pgroupW/.../Berkley_Data_Analysis_Stack_(BDAS).pptx
![Page 26: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/26.jpg)
CHANCEN UND RISIKEN LEBEN ZUSAMMEN
![Page 27: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/27.jpg)
![Page 28: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/28.jpg)
• Verlust der Kontrolle: auch wenn ich nichts zu verstecken habe, habe ich keine Möglichkeit zu kontrollieren, für was meine Daten benutzt werden
• Mein Gefühl sagt mir, dass es mehr den Unternehmen profitiert als mich selbst
• Ich kann das Datensammeln nicht mehr ausweichen
![Page 29: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/29.jpg)
Que
lle: T
he G
uard
ian
24.6
.201
4
![Page 30: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/30.jpg)
![Page 31: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/31.jpg)
Storage Model: the Data Warehouse
Quelle: http://www.hammer.net/images/data_storage_diagram2.jpg
![Page 32: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/32.jpg)
Computing infrastructure
• Scalability = data + computing power – Parallelization
• Google: Map / Reduce • Pydron
![Page 33: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/33.jpg)
![Page 34: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/34.jpg)
Astronomische Datenmengen
In Betrieb
2 TB / Tag
Start 2019 100 PB
Im Bau 13 TB/ Nacht
Design Mehr als das gesamte Internet
![Page 35: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/35.jpg)
![Page 36: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/36.jpg)
Is Big Data too big for SMEs?
• Wir geben eher mehr Daten an Grossunternehmen, als wir von denen zurückbekommen (Beispiel: Google Mail)
• Tatsache #1: jede Firma – jede Person – baut sich ein kleines Daten-Imperium – kann aber dieses nicht verarbeiten….
• Tatsache #2: Es ist immer besser wenn man bescheid über die eigenen Daten weiss
![Page 37: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/37.jpg)
Es geht um Leute
• Wie kreiert man Wert aus Daten? • Data Analysts Data Scientists
– Neues Profil, ein mix von Hacker, Analyst, Communicator, trusted Advisor
• Wie können KMUs die notwendigen Skills bekommnen?
![Page 38: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/38.jpg)
Aus dem Wild West zur Zivilisation
• Big Data is here to stay • Big Data kennt keine Grenzen • Im Moment mischen sich riesige Chancen mit
noch undenkbaren Risiken • Der Technologie sind die Chancen und Risiken
egal. Sie wird sich weiter entwickeln • Chancen können nur überwiegen, wenn wir
eine Ethik der Datennutzung einführen, wo die Risken unter Kontrolle gebracht werden
![Page 39: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/39.jpg)
Es geht aber auch um Infrastruktur
• Zu viel für KMUs? • Clouds • Schon wenig kann mehr sein • Macht der Job attraktiv
![Page 40: Big Data ist hier um zu bleiben](https://reader034.vdocuments.pub/reader034/viewer/2022051720/58ad4f7d1a28ab0b0f8b4e67/html5/thumbnails/40.jpg)
Vielen Dank!