business intelligence & testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015...
TRANSCRIPT
![Page 1: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/1.jpg)
Business Intelligence & Testing
Ferran Rohaan, Brian Engel, Armando Dörsek
8 september 2015
![Page 2: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/2.jpg)
Agenda
• Introductie
• Doelstellingen Werkgroep
• Beschrijving DWH & Business Intelligence
• Typische DWH & BI architectuur
• Wat testen we waar?
• Audit Trail
• Risico’s, Testsoorten en Testspecificatietechnieken
• Testtools & Testautomatisering
• Testrollen, profielen
• Vervolgstappen Werkgroep
2 Testen van BI en DWH 11 september 2015
![Page 3: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/3.jpg)
Werkgroep
• Wie
• User Stories
• Producten, Ambities
3 Testen van BI en DWH 11 september 2015
#001 SKILLS
Als Tester
Wil ik weten welke technische vaardigheden
ik moet beheersen
Zodat ik op een BI/DWH project wordt
aangenomen
Arnout Groen, Iris Groenewoudt
Martijn de Ruijter, Armando Dörsek.
Carmen van der Veen, Petra
Osephius, Roy Jacobs, Geri
Kruitwagen, Brian Engel, Ferran
Rohaan, Armando Dörsek
![Page 4: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/4.jpg)
User Stories
11 september 20154Testen van BI en DWH
![Page 5: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/5.jpg)
Business Intelligence
• Wat is …
6 Testen van BI en DWH 11 september 2015
![Page 6: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/6.jpg)
Audit
Datamart Analyse & Rapporten
Staging DWHBron
Een standaard DWH/BI landschap
11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
Testen van BI en DWH7
![Page 7: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/7.jpg)
Stermodel vs 4NF
Testen van BI en DWH 11 september 20158
![Page 8: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/8.jpg)
Managementperceptie Testen van BI
9 Testen van BI en DWH 11 september 2015
![Page 9: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/9.jpg)
Wat testen we waar?
![Page 10: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/10.jpg)
Audit
Datamart Analyse & Rapporten
Staging DWHBron
12 Testen van BI en DWH 11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
![Page 11: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/11.jpg)
Bepalen teststrategie
• Variatie bronnen
• Eigenaarschap
• Testbasis
• Begroten
• Bemensing
15 Testen van BI en DWH 11 september 2015
![Page 12: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/12.jpg)
Bepalen teststrategie (2)
• Privacy
• Opvoeren testgevallen
• Opbouwen historie
• Omvang
• Performance
16 Testen van BI en DWH 11 september 2015
![Page 13: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/13.jpg)
Audit Trail
![Page 14: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/14.jpg)
Audit
Datamart Analyse & Rapporten
Staging DWHBron
11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
Testen van BI en DWH18
![Page 15: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/15.jpg)
Audit Trail
• Controlelijsten (data kwaliteit)
• Voor “intern” gebruik (bv. ontwikkelaars, testers)
• Voor “extern” gebruik (bv. auditors, controllers)
• Herleidbaarheid van gepresenteerde data
• Performance Monitoring van het DWH
19 Testen van BI en DWH 11 september 2015
![Page 16: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/16.jpg)
Pauze
![Page 17: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/17.jpg)
Na de Pauze…
![Page 18: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/18.jpg)
Testspecificatietechnieken
![Page 19: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/19.jpg)
Testspecificatietechnieken
• Belang van testontwerptechnieken
• Onderbouwde invulling van de teststrategie: afgesproken
dekking op de afgesproken plaats
• Reproduceerbaar
• Gestandaardiseerd: testproces is onafhankelijk van persoon die
de testgevallen specificeert en uitvoert, is overdraagbaar en
onderhoudbaar
• Beter meetbaar, beter planbaar en beheersbaar
• Keuze voor “specifieke” testspecificatietechnieken bij Business
Intelligence Toepassingen en DWH?
23 Testen van BI en DWH 11 september 2015
![Page 20: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/20.jpg)
Testspecificatietechnieken
• Kijkend naar het BI/DWH landschap:
• Interfaces, Gegevensstromen
• Beslissingen
• Betekenis
Syntactische testen, Semantische
Testen, Beslissingstabellen, Proces
Cyclus Testen, Data Combination
Testen, State Diagram, Exploratory
Testing
24 Testen van BI en DWH 11 september 2015
![Page 21: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/21.jpg)
Testspecificatietechnieken
• Risico-inschatting (PRA) …
• Testbasis …
• Sjablonen …
• Testsituaties …
• Testdata …
• Fysiek maken…
25 Testen van BI en DWH 11 september 2015
![Page 22: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/22.jpg)
Testautomatisering bij BI & DWH
![Page 23: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/23.jpg)
28 Testen van BI en DWH 11 september 2015
Waar?
Testautomatisering?Welke Testtooling?DEVOPS?
Wat?
Wanneer?
Hoe?
Agile?Wie?
Waarmee?
WAAROM?
![Page 24: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/24.jpg)
Waarom Testautomatisering?
• Kosten verlagen• Time to market te verkorten• Kwaliteit te verhogen
29 Testen van BI en DWH 11 september 2015
![Page 25: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/25.jpg)
Testautomatiseringsaspecten
30 Testen van BI en DWH 11 september 2015
![Page 26: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/26.jpg)
Testautomatisering Kostenaspect
31 Testen van BI en DWH 11 september 2015
Licentiekosten Aanschafkosten Manuren onderhoud Manuren training Manuren toolspecialist Manuren installatie Manuren configuratie
![Page 27: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/27.jpg)
Testautomatisering Tijdsaspect
32 Testen van BI en DWH 11 september 2015
Doorlooptijden verkortenvan het testproces
Manuren onderhoudverlagen
Time to market verkorten Veel repeterende
handelingenvergemakkelijken
![Page 28: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/28.jpg)
Testautomatisering Kwaliteitsaspect
33 Testen van BI en DWH 11 september 2015
Gestructureerde testaanpak Regressietesten DEVOPS & Agile testen Beheersbaarheid Onderhoudbaarheid
![Page 29: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/29.jpg)
Continuous Quality Assurance
34 Testen van BI en DWH 11 september 2015
![Page 30: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/30.jpg)
35 Testen van BI en DWH 11 september 2015
Agile
Jenkins
SAP TAOHP QC
Welke BI testtooling ?Worksoft
DEVOPS
TOSCA
Application Life cycle management
ASAPRRBT
TRICENTIS
HP QTP
Continuous Delivery
TMAP NEXTOpen source
Jira
Mobile
SIKULI
Multi Platform Testing
Selenium
Cucumber
maatwerk
Confluence
![Page 31: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/31.jpg)
36 Testen van BI en DWH 11 september 2015
Testautomatiseringsaspecten
![Page 32: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/32.jpg)
37 Testen van BI en DWH 11 september 2015
Must have 5
Belangrijk 4
Medium impact 3
Nice to have 2
Niet belangrijk 1
Niet relevant 0
5
4
1
5
1
2
5
45
5
4 5
2 4
2
3
24
4
5
2
4
2
5
Scorecard Testautomatisering
![Page 33: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/33.jpg)
BI Testtooling?
• Vastleggen bevindingen• Vastleggen testgevallen• Maken van subsets en geanonimiseerde
datasets• Data kwaliteit bepalen• Data doorzetten• Testautomatisering van ETL Testen (backend)
en Informatieproducten (frontend)• Voortbrengingsproces bewaken (inchecken
code, review opmerkingen enz.)• Audit Trail
38 Testen van BI en DWH 11 september 2015
![Page 34: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/34.jpg)
Audit
Datamart Analyse & Rapporten
Staging DWHBron
39 Testen van BI en DWH 11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
BI Testtooling
Worksoft
TOSCA
HP ALM
Jenkins JiraConfluence
Sikuli
Selenium
Cucumber
Motio CIWinscp
Soap UI
XMLspy
Oracle
Toad
DBfit
SQL Developer
![Page 35: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/35.jpg)
Profielen van DWH/BI-testers
![Page 36: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/36.jpg)
Audit
Datamart Analyse & Rapporten
Staging DWHBron
11 september 2015
Microsoft
Oracle
AuditAudit
Rapport
Flat File
Rapporten
Analyse
Testen van BI en DWH41
Profielen van BI/DWH Testers
Testmanager
Testcoordinator
Test Analist ETL
Test Analist Reporting & AnalyticsTest Data Expert
Test Automation Expert
Omgevingsbeheerder
![Page 37: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/37.jpg)
Profielen van BI/DWH-testers
Testrollen, een aantal voorbeelden:
• Test Manager
• Test Coördinator
• Test Analist ETL
• Test Analist Reporting & Analytics
• Test Automation Consultant
• Test Data Expert
• Testomgeving Beheerder
Invloeden: SCRUM/Agile, omvang van teams en
projecten, verdeling van werkzaamheden over bouwe
en test, projectteams en beheerorganisatie, etc.
42 Testen van BI en DWH 11 september 2015
![Page 38: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/38.jpg)
Wrap up / Conclusie
43 Testen van BI en DWH 11 september 2015
• Kennis en Kunde groeit
• Testers kunnen al veel:
punten op de i
• Samenwerking
• Middelen: sjablonen en
tools (testautomatisering,
subsetting, anonimisering,
audit trail, bewaken BI
voortbrengingsproces)
• Data kwaliteit en Testen
• BI/DWH wordt “gewoon”:
groeiende behoefte.
![Page 39: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/39.jpg)
Dank voor uw aandachtTot ziens!
![Page 40: Business Intelligence & Testingverified.nl/wordpress/wp-content/uploads/2015/09/... · 9/8/2015 · DEVOPS & Agile testen ... Invloeden: SCRUM/Agile, omvang van teams en projecten,](https://reader034.vdocuments.pub/reader034/viewer/2022042303/5ece6352a274d538646fc2a8/html5/thumbnails/40.jpg)
Meer informatie
11 september 201545Testen van BI en DWH
Testnet Werkgroep Testen van Business Intelligence & DWH
https://goo.gl/R3YZgD
Ferran Rohaan +31(6)31765803 [email protected]
Brian Engel +31(6)30141327 [email protected]
Armando Dörsek +31(6)23054054 [email protected]