![Page 1: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/1.jpg)
Pentaho Data Integration –Klebstoff und Schweizer Taschenmesser
Jens Junker – IT Integration
26.03.2019
![Page 2: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/2.jpg)
2 © VNG 2019
Gliederung
1. VNG Handel & Vertrieb
2. Gashandel
3. Pentaho DI bei VNG H&V
4. Regulatory Reporting
5. Valuation Archivierung
6. Ausblick
![Page 3: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/3.jpg)
1. VNG Handel & Vertrieb
![Page 4: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/4.jpg)
4 © VNG 2019
Geschichte
- 1. Juli 1958 Gründung Technische Leitung Ferngas (TLFG)
- 29. Juni 1990 Gründung VNG AG
- April 2016 EnBW Mehrheitseigner
- Q2/2017 VNG AG vollkonsolidiertes Unternehmen
- April 2018 Ausgliederung VNG Handel & Vertrieb GmbH
![Page 5: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/5.jpg)
5 © VNG 2019
VNG Gruppe
![Page 6: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/6.jpg)
2. Gashandel
![Page 7: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/7.jpg)
7 © VNG 2019
VNG Handel & Vertrieb GmbH – Märkte Europa
Gaspool
NCG
NBP
ZEE
TTF
ZTP
TRF
PSV
CEGH
![Page 8: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/8.jpg)
8 © VNG 2019
VNG Handel & Vertrieb GmbH – Deutschland
![Page 9: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/9.jpg)
9 © VNG 2019
Produkte
![Page 10: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/10.jpg)
10 © VNG 2019
Trading
![Page 11: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/11.jpg)
11 © VNG 2019
Handelstag
Handel (08:30 - 18:00 Uhr)Nominierung(untertätig zur Handelszeit)
Export Forecast (21:00 -22:00 Uhr)
EH Valuation (12:00 und 16:00 Uhr)
Import Marktpreise (23:00 – 07:30 Uhr)
Valuations (03:00 – 05:30 Uhr)
![Page 12: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/12.jpg)
3. Pentaho DI bei VNG H&V
![Page 13: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/13.jpg)
15 © VNG 2019
Pentaho DI bei VNG H&V
- 2011 Auswahl ETL Tool(Pentaho, SAS, Talend und Informatica in Auswahl)
- 2012 Einsatz Pentaho DI
- löste OWB und PowerMart ab
- MicroStrategy BI Tool
- 2014 Einführung Inubit
Aktuell:
- Version 8.2.0.2-491 Enterprise
- Enterprise Repository auf Oracle DB
- Windows Server 2016
![Page 14: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/14.jpg)
16 © VNG 2019
Integration Pentaho
- Integration von Pentaho über ClassEvents und Pentaho Webservices
![Page 15: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/15.jpg)
17 © VNG 2019
Integration Pentaho
![Page 16: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/16.jpg)
4. Regulatory Reporting
![Page 17: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/17.jpg)
19 © VNG 2019
Regulatory Reporting
- EMIR - Regulierung des außerbörslichen Derivatehandels
- REMIT - Überwachung des Strom und Gas-Großhandels
- UTI Generierung (EMIR)
- Report Austausch Börse -> eTM (REMIT)
![Page 18: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/18.jpg)
20 © VNG 2019
UTI Generator
- Generierung der UTI (Unique Transaction Identifier) aus Feldern eines Reports der Clearing Bank
- Automatischer Prozess (täglich) von Abruf des Reports, Generierung der UTI, schreiben ins ETRM System Allegro und Benachrichtigung des Fachbereichs
ECC MIC Code
UTI Type Indicator
Trade Date
Product ID
Transaction ID Number
Transaction ID Suffix Number Order ID Buy
CodeClearing Leg Indicator UTI
000XECC000 E 2016100
6 G3BQ 00000D54Z 0 000003IKU2EWY S T 000XECC000E20161006G3BQ00000D54Z0000003IKU2EWYST
![Page 19: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/19.jpg)
21 © VNG 2019
UTI Generator
![Page 20: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/20.jpg)
22 © VNG 2019
UTI Generator
![Page 21: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/21.jpg)
23 © VNG 2019
UTI Generator
![Page 22: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/22.jpg)
24 © VNG 2019
Schnittstelle Börse -> eTM
- Verschlüsselte XML von Börse (FTPS) laden
- XML entschlüsseln
- SOAP Request generieren
- Versand an Webservice
![Page 23: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/23.jpg)
25 © VNG 2019
Schnittstelle Börse -> eTM
![Page 24: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/24.jpg)
26 © VNG 2019
Schnittstelle Börse -> eTM
![Page 25: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/25.jpg)
5. Valuation Archivierung
![Page 26: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/26.jpg)
28 © VNG 2019
Valuation Archivierung
- 2014 Allegro Einführung
- Wachsende Daten durch Valuations
- Eine Valuation ca. 5,3 Millionen Rows
- Pro Tag 7,6 Mio Zeilen à 125 Spalten
- Vorgehen:
- 1. Archivierung via DB Link
- 2. Partitioning
- 3. Archivierung mit Komprimierung und Dateiablage
März AprilFebruar + 12 Jahre- 1 Jahr
monatlich täglich täglich täglich monatlich
Valuation Granularität
![Page 27: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/27.jpg)
29 © VNG 2019
Valuation Archivierung
![Page 28: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/28.jpg)
30 © VNG 2019
Valuation Archivierung
![Page 29: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/29.jpg)
31 © VNG 2019
Valuation Archivierung
![Page 30: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/30.jpg)
32 © VNG 2019
Valuation Archivierung
![Page 31: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/31.jpg)
33 © VNG 2019
Valuation Archivierung
Produktion Demo
Zeilen (Mio) 5,25 0,4
DB Tabelle (MB) 3228 264
ZIP (MB) 282 50
XML (MB) 9319 712
Kompressionsrate (%) 91,26 81,06
![Page 32: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/32.jpg)
6. Ausblick
![Page 33: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/33.jpg)
35 © VNG 2019
Ausblick
- Integration von NTLM Authentifizierung
- Integration von Python Skripten
- Konsolidierung IT-Landschaft (Pentaho Instanzen)
- Azure Anbindung/Interaktion (MS Dynamics)
- Pentaho als Webservice Endpoint (PDI-17855)
![Page 34: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/34.jpg)
36 © VNG 2019
![Page 35: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/35.jpg)
37 © VNG 2019
![Page 36: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/36.jpg)
38 © VNG 2019
Braunstraße 704347 Leipzigwww.vng-handel.de
VNG Handel & Vertrieb GmbH
Jens Junker
+49 341 443-1231
Ansprechpartner
![Page 37: Pentaho Data Integration Klebstoff und Schweizer Taschenmesser · Pentaho Data Integration – Klebstoff und Schweizer Taschenmesser Jens Junker –IT Integration 26.03.2019](https://reader030.vdocuments.pub/reader030/viewer/2022041213/5e02fdd5d9e2ea2f20413fb7/html5/thumbnails/37.jpg)
Vielen Dank!