home: doag e.v. - prof. dr. wolfgang benn...– endkundenprodukte/lösungen (dimensio, scrivo,...
TRANSCRIPT
Prof. Dr. Wolfgang Benn
Prof. Dr. Wolfgang Benn
2
Prof. Dr. Wolfgang Benn
2008
Die Professur DVS der TU Chemnitz nimmt am Programm ForMaT des BMBF teil.
2009
Team dimensio informatics gewinnt den „Sonderpreis Wissenschaftler“ beim Ideenwettbewerb „Schicke Ideen“ des Gründernetzwerks der sächsischen Hochschulen, SAXEED.
2010
dimensio informatics kommt beim branchenübergreifenden sachsenweiten Businessplanwettbewerb von FutureSAX unter die ersten 6 von 63 Teilnehmern.
Jul.10
Die Firma dimensio informatics GmbH wird in Chemnitz gegründet.
Sep.10
Der Technologie Gründer Fonds Sachsen beteiligt sich am Unternehmen.
3
Prof. Dr. Wolfgang Benn
4
Prof. Dr. Wolfgang Benn
Veränderung von DB-Parametern – Puffergrößen, Optimierungsanweisungen, etc.
Modifikation der Hauptspeicherverwendung – In-Memory
Einsatz von Parallelität – Prozessorparallelität: Nutzung von Multicores
– Storageparallelität: Shared-Nothing-Architekturen
Spaltenbasierte Speicherung – Column-Store
Clusterbildung – Dynamische Lastverteilung
– Shared-Everything-Architekturen
5
Prof. Dr. Wolfgang Benn
Ist eine bestehende Applikation überhaupt zu verändern?
Was kostet eine Anpassung? – Kann sie in-house durchgeführt werden?
– Muss sie extern in Auftrag gegeben werden?
– Lohnt es sich überhaupt?
Wer kann/darf diese durchführen? – Stehen betriebliche Vorschriften entgegen?
– Stehen gesetzliche Vorschriften entgegen?
– Stehen Sicherheitskriterien entgegen?
6
Prof. Dr. Wolfgang Benn
Lösung technologischer Problems durch Technologie, nicht durch Technik! – KIWI (Kill It With Iron) verschiebt eine Problemlösung lediglich
– Warum Nachdenken, wir haben doch Clouds…
Betrachtung von Anwendung und (!) Datenbank – Erkennt und optimiert z.B. sporadisches Auftreten von Langläufern
– Erkennt nicht-performante Anfragen und optimiert gezielt
Präzise Lösungen für wohl definierte Probleme – Schnelles Lesen, wenn schnelles Lesen benötigt wird
– Schnelles Schreiben, wenn schnelles Schreiben benötigt wird
– …
7
Prof. Dr. Wolfgang Benn
8
Prof. Dr. Wolfgang Benn
card
igo
9
Ein Basiswerkzeug zur minimal-invasiven Integration von Performancewerkzeugen in bestehende IT-Landschaften.
Eine Anzahl von Performancewerkzeugen zur Analyse, Optimierung und Lösung von Performanceproblemen.
Prof. Dr. Wolfgang Benn
10
Proxy
Driver (e.g. JDBC)
API
Prof. Dr. Wolfgang Benn
Nicht-transparent (1,3): Integration in eine Applikation Integration in ein Datenbanksystem Transparent (2): Integration ins Netzwerk
card
igo
11
Prof. Dr. Wolfgang Benn
card
igo
API
Die Applikation kennt das Werkzeug und spricht es direkt an. Ergebnisse eines Auftrages gehen an die Applikation zurück. Der Verkehr zwischen Applikation und Datenbank bleibt unverändert.
12
Prof. Dr. Wolfgang Benn
card
igo
API
13
Die Applikation kennt das Werkzeug und spricht es direkt an. Das Werkzeug sendet den Auftrag direkt an die Datenbank. Das Ergebnis des Auftrages geht an das Werkzeug zurück oder direkt an die Applikation.
Prof. Dr. Wolfgang Benn
API
card
igo
14
Die Datenbank kennt das Werkzeug und spricht es direkt an. Ergebnisse eines Auftrages gehen an die Datenbank zurück. Der Verkehr zwischen Applikation und Datenbank bleibt unverändert.
Prof. Dr. Wolfgang Benn
Verbindung zur App aufbauen – int App_init(void** handle, std::string address, int port, bool verified = true);
Auftrag geben und auf Antwort warten – void App_query(void* handle, const std::string& query_string, std::vector<
std::string>& results);
Verbindung zur App abbauen – void App_destroy( void** handle);
15
Prof. Dr. Wolfgang Benn
card
igo
Austausch des Treibers Weder Anwendung noch Datenbank merken etwas von der Existenz des Werkzeuges.
16
Prof. Dr. Wolfgang Benn
Bis Java 1.6 – Ersetzen von
• Class.forName("oracle.jdbc.OracleDriver").newInstance();
– Durch
• Class.forName("com.cardigospy.engine.spy.cardigoSpyDriver").newInstance();
Ab Java 1.6 – nichts
17
Prof. Dr. Wolfgang Benn
card
igo
18
Weder Anwendung noch Datenbank merken etwas von der Existenz des Werkzeuges.
Prof. Dr. Wolfgang Benn
Änderung einer Zeile in Tnsnames.ora
ORA11 =
(DESCRIPTION =
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST = cardigo.proxy)(PORT = 1521)))
(CONNECT_DATA =
(SERVICE_NAME = ORA11)))
19
Prof. Dr. Wolfgang Benn
dimensio informatics ist ein Technologiehersteller – only B2B, no B2C
ist ein Partner-EcoSystem
Die Produktpalette ist dem angepasst
– Basisprodukt (cardigo)
– Partnerprodukte/Werkzeuge (analytico, optimo)
– Endkundenprodukte/Lösungen (dimensio, scrivo, securido)
20
Prof. Dr. Wolfgang Benn
21
Prof. Dr. Wolfgang Benn
22
Analyse von nicht-performanten Queries
Aufspähen vermeintlich nicht-deterministischer Defekte
Einsatz als Analysewerkzeug für den späteren Einsatz von – optimo
– dimensio
Aktueller industrieller Einsatz: – Bei einem Unternehmen aus der Finanzwirtschaft zur ganzheitlichen
Analyse eines selten auftretenden Performance-Defizits.
– Keine Performance-Einbußen durch minimal-invasive Integration, daher seit Monaten im laufenden Geschäftsbetrieb aktiv.
card
igo
Prof. Dr. Wolfgang Benn
23
Prof. Dr. Wolfgang Benn
24
Gezielte Optimierung von nicht-performanten Queries durch Ersetzen und/oder Umschreiben
Aktueller industrieller Einsatz: – Bei einem Dienstleister für die Energiewirtschaft zur Optimierung
bestimmter Querysequenzen im Bereich Smart-Metering.
– Deutliche Performance-Steigerung (> Faktor 100).
– Ergebnis: Erhebliche Kostenersparnis durch Weiterverwendung und Neuausrichtung bestehender Applikationen.
card
igo
Prof. Dr. Wolfgang Benn
25
Prof. Dr. Wolfgang Benn
dimensio ist ein mehrdimensionaler Datenbankindex – Dimension = Attribut
– Mehrdimensional = SQL-Query mit langer Prädikatliste
– Lange Prädikatliste = Korrelation vieler Attributwerte
dimensio ist ein semantischer Datenbankindex
– semantisch = Intervallbildung mit Bezug auf den DB-Inhalt • Datensätze mit ähnlichem Inhalt bilden eine Gruppe (Cluster)
• Cluster bilden die Intervallgrenzen
– klassisch wäre eine Intervallbildung nach • technischen Gegebenheiten (z.B. Plattenstruktur)
• mathematischen Formeln (z.B. Modulo)
• vordefinierter Metrik (z.B. Manhattan-Metrik)
26
Prof. Dr. Wolfgang Benn
ca. 13.000 Records mit 998 Dimensionen 27
Prof. Dr. Wolfgang Benn
Post-Processing – 4.000 Anfragen (Wochenleistung PKW-Produktion)
– 6 Std. ohne dimensio zu 3 Min. 20 Sec. mit dimensio
Bildvergleich – Ähnlichkeitssuche in 50.000 Bildern (Vergleich von Merkmalsvektoren)
– 12 Sec. ohne dimensio zu 0,001 Sec. mit dimensio
Business Intelligence – Anfragen mit ca. 2.000 Dimensionen (In-Memory + Column Store)
– 20 Sec. ohne dimensio zu 0,032 Sec. mit dimensio
28
Prof. Dr. Wolfgang Benn
Alle Bereiche, in denen viele Werte zu korrelieren sind – z.B. lange Prädikatlisten in SQL-Statements
Probleme, die mehrdimensional sind bzw. zu lösen sind – z.B. Volltextsuche, Mustererkennung in Gensequenzen, etc.
Einige Beispiele – Business Intelligence
– Post-Processing / Materialnachweise /Garantieverfahren
– GIS
– Energieversorgung / Smart Metering
– Telekommunikation / Banking / Kundenbeziehungen
29
Prof. Dr. Wolfgang Benn
30
Prof. Dr. Wolfgang Benn
alpha ventus 12 Windkrafträder 45 km nördlich von Borkum
Alle Daten sollen für Simulationen und Auswertungen gespeichert werden
1.500 Sensoren erzeugen 3,2 * 109 Werte/Tag = 37,000 Werte/Sekunde
Datenstruktur: ID, TS, V = 21 Byte = 760 kB/sec
Datenbank Einfügeleistung
Getestet mit ähnlicher Datenstruktur
Länge: 17 Byte
Max. Einfügeleistung: 2,700 Werte/Sekunde
31
Prof. Dr. Wolfgang Benn
32
0
50000
100000
150000
200000
250000
300000
Maximale Einfügeleistung: 250.000 Tupel
Prof. Dr. Wolfgang Benn
Wie werden 250.000 Tupel zu 250 kHz? Jedes gepufferte Einfügen benötigt eine Verarbeitungszeit…
Der Datenstrom ist jedoch nicht zu unterbrechen!
Die Windmühle selbst ist die Lösung…
33
Prof. Dr. Wolfgang Benn
Schreibt Datenströme in klassische RDBMS Ohne Cluster
Ohne zusätzliche Hardware
Maximale Einfügefrequenz 250 kHz
D.h. 250.000 Tupel pro Sekunde
Kann die Daten aus dem Datenstrom (vor)verarbeiten
Aggregatbildung on-the-fly
Vergleiche zwischen eingehenden Daten und bestehenden
Managementsysteme erhalten sofortiges Feed-back durch Aggregationen und/oder Vergleiche
34
Prof. Dr. Wolfgang Benn
35
Prof. Dr. Wolfgang Benn
36
Herausforderungen:
Richtungsbruch auf Applikationsebene
Kommunikationsbruch auf Ebene der Infrastruktur
Nutzung dienstbasiertes Rechtesystem (MAC)
Web-Server Database 1Client ClusterServerDatabase 2
Externes Rechnernetz Internes Rechnernetz
Prof. Dr. Wolfgang Benn
37
BSI-Maßnahmenkatalog 5.130: Ein Storage Area Network ist häufig als Fibre-Channel (FC-SAN) realisiert. … Speichersubsysteme, Server und deren Betriebssysteme können, unabhängig voneinander, auch mehrfach zugeordnet werden.
Speichernetzwerk
Rechnernetzwerk
Dual- Interfaces
Rechnernetzwerk
secu
rid
o
Fibre Channel SAN
secu
rid
o
Prof. Dr. Wolfgang Benn
38
dimensio informatics GmbH Brückenstr. 4 09111 Chemnitz Telefon: +49 371 26 20 19 0 Telefax: +49 371 26 20 19 10 [email protected] www.dimensio-informatics.com