big data - interreg europe · • big data –definitie • context van big data in stad antwerpen...
TRANSCRIPT
![Page 1: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/1.jpg)
BIG DATA
Afvalmanagement
Stad Antwerpen - Winpol
Koen Bogaert
![Page 2: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/2.jpg)
• Big data – definitie
• Context van big data in stad Antwerpen
• Voorbereiding tot big data
• Big data in praktijk
• Big data in de toekomst
Agenda
![Page 3: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/3.jpg)
“Men spreekt van big data wanneer men werkt met een of meer datasets die te groot zijn om met reguliere databasemanagementsystemen onderhouden te worden”
Niet de snelheid of de omvang dat telt – maar de nieuwe inzichten = de meerwaarde van big data !
Big data = betere data
Volgens wikipedia
Definitie Big Data
![Page 4: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/4.jpg)
https://www.youtube.com/watch?time_continue=22&v=tPkKemx6NxU
Acpaas = Antwerp City Platform as a Service
Context
![Page 5: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/5.jpg)
Acpaas: herbruikbare softwareblokjes
![Page 6: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/6.jpg)
Informatieveiligheid: privacy & securityDatamanagement
Smart city sensoren
Data van buiten de groep
Data van binnen de groep
Data lake
GEO-database
Datawarehouse
^Realtime / operationele data
ORBA
^Traditionele strategische & operationele data
…
…
…
![Page 7: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/7.jpg)
Voorbereiding tot gebruik big data
![Page 8: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/8.jpg)
-Verschillende moedersystemen-Geavanceerd vs oubollig
-Alle systemen produceren veel data-Data in allerlei vormen
-Verschillende soorten van aanleverwijze (zie systemen)-Push/pull, ftp, pdf via mail, xls, handgeschreven nota’s
-Wisselende markt qua aanbieders (ref. raamcontracten)-Kans op om de 4jaar nieuwe systemen te borgen
Veel, maar…
![Page 9: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/9.jpg)
Digitale pakhuis = datawarehouse
• Verhoging datakwaliteit via analyse en bouwen rapporten
• Cross over rapporten: over moedersystemen heen- Surplus naar active reporting + Cumul.io
• Één unieke bron – dataverzameling
• Koppelen met andere databronnen via kopie van andere datapackages
Financieel: 100K jaarlijks
→ Begeleiding extern, ontwikkeling nieuwe “sterren”, koppeling systemen
Inzet personeel: 1,2 VTE per jaar
→ 0,2 VTE extern en 1 VTE intern
Oplossing?
![Page 10: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/10.jpg)
Datamanagement in afvalbeheer
![Page 11: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/11.jpg)
-In kaart brengen van alle data leveranciers
-Verzamelen van data afvalverwerkers
-Inzetten op automatische upload van data:
-Via ftp, csv, push-pull, bi-omgeving afvalverwerker
-Van manueel naar vol automatisch
1ste stap
Aanpak opstart Datawarehouse
![Page 12: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/12.jpg)
Wilrijk
Willebroek
Kaai 271
Afvalstromen per fractie 2016
Edegem
Haven
Merksem / Hoboken
HobokenMerksem
Kaai 271
Kaai 271
Doel
Kaai 271
BrechtGentHaven
slibveld
Grimbergen
![Page 13: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/13.jpg)
Opslag en verwerking van de verschillende databronnen
Koppelen met bestaande datasets binnen de stad
2de stap
Opstart aanpak datawarehouse (II)
![Page 14: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/14.jpg)
Visuele voorstelling
Datawarehouse ProperOSS 2.0
Grofvuil-toepassing
Avias
CRS-Persoon
Data voertuigen Grofvuil H-A-H Persoonsgegevens
Registratiescontainerparken
Betalingen en transacties OSS
Inkomsten
Sjablonen SR-OSS-CDData afvalverwerkersVeegplannen
Metingen StraatbeeldData afvalverwerkers
Data afvalverwerkers
Zuilbewegingen OSSData
afvalverwerkers ( Data afvalverwerkers (
Track en Trace data Fleet Complete
GISARC GISonline
Studiedienst Antwerpendemografische informatie, SPSS-analyses
Andere datamarkten: sensibilisatie (GAS), personeel,
IOT: sensordata: sensoren sorteerstraat, big belly, openbare vuilnisbak
![Page 15: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/15.jpg)
Resultaat van de 2de stap
![Page 16: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/16.jpg)
Ontsluiten via rapporten, dashboard,…
Dashboard ondergrondse sorteerstraten
3de stap
Opstart aanpak datawarehouse (III)
![Page 17: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/17.jpg)
• Afvalverwerkers: tonnages, fracties,…
• Werkplanning – ronde-info
• Straatbeeldmetingen properheid: parameters
• Inzamelobjecten: OSS, papiermanden, containerparken
• Vulgraden, fracties, volume, ….
• Voertuigenportefeuille: beschikbaarheid voertuigen, track en trace, specificaties voertuigen,
• Klantenmanagement: meldingbeheer, klachtenbeheer,..
Beschikbare data in DWH - afvalbeheer
![Page 18: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/18.jpg)
Verhoging tonnage steenpuin bij Hooge Maey Tonnage steenpuin in Q2 2017
• Data afvalverwerkers
• Data SAP
• Data operationele planning
RESULTAAT: kostenbesparing
Foutdetectie
Big data – een meerwaarde - financieel
![Page 19: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/19.jpg)
-Data verwerkers
-Data voertuigen
-Data operationele planning
Resultaat = operationele impact – hands on
Overbeladingsrapport
Big data – meerwaarde - intern
![Page 20: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/20.jpg)
Vroeger = kluwen, chaos, atoma-schriftjes
Nu = gestructureerd, historiek, officiële communicatiebron,
DATA: afvalverwerkers, containerparken
Resultaat = tijdswinst: verwerking en opzoekwerk + uniforme taal
Invullen jaarlijkse OVAM-enquête
Big Data – Meerwaarde - extern
![Page 21: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/21.jpg)
Data
- Inzetbaarheid voertuigen
- Klachten en meldingenbeheer
- Personeelsinzet
- Properheid straat
- Financieel – facturatie
Dashboard dirteam + weekrapport
Big data – Meerwaarde voor hoger kader
![Page 22: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/22.jpg)
Big data – Meerwaarde voor hoger kader
![Page 23: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/23.jpg)
123 sensoren in openbare vuilnisbakken
Forecasting sensor – aansturen werking
Resultaat: optimalisatie dienstverlening + lessons learned voor volgende project
Vulgraadsensoren in papiermanden(Proefproject Antwerpen-Zuid)
Big data - Meerwaarde – IOT
![Page 24: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/24.jpg)
Vulgraadsensoren in papiermanden
Big data – Meerwaarde IOT (II)
Sensoren & software▪ Proefproject 123 sensoren in Antwerpen-zuid▪ Vulgraad, ledigingsrapporten, alarmen, dashboard, kaartweergave
![Page 25: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/25.jpg)
Vulgraadsensoren in papiermanden
Sensoren in afvalbakken
0
200
400
600
800
1000
0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-99 100
Aan
tal l
ed
igin
gen
Vullingsgraad (%) bij lediging
Minder onnodige ledigingen
▪ Effectieve ledigingsfrequentie volgens ledigingsrapporten (vergelijking periode 1 en 2)
0
200
400
600
800
1000
0-10 10-20 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-99 100
Aan
tal l
ed
igin
gen
Vullingsgraad (%) bij lediging
Onnodige ledigingen
Figuur 1: Bij theoretische lediging (zonder sensoren)
Figuur 2: Bijsturing lediging door sensoren met alarm op 80%
![Page 26: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/26.jpg)
Sensoren in afvalbakken
Bevindingen
▪ + Vermijden van onnodige ledigingen
▪ - Voorkomen van laattijdige ledigingen
▪ ? Effect buiten proefgebied
Vulgraadsensoren in papiermanden
![Page 27: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/27.jpg)
Realtime toepassing → focus op controle
Stand - alone
Beleidsinformatie
• veel parameters – ongebruikte data
• geen koppeling met planning
Track en trace voertuigendata
Big data – minder waarde - overload data
![Page 28: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/28.jpg)
Vulgraadsensoren in Big Belly’s
Big data – minder waarde – extra analyse
Sensoren & software▪ Uitrol op locaties met capaciteitspieken▪ Vulgraad, ledigingsrapporten, alarmen, dashboard, kaartweergave
![Page 29: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/29.jpg)
Vulgraadsensoren Big Belly
Big data – minder waarde – extra analyse
0.0
1.0
2.0
3.0
4.0
5.0
6.0
Ma Di Wo Do Vr Za Zo
Aantal ledigingen
Aantal ledigingen bij 100%
![Page 30: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/30.jpg)
Big data – minder waarde – extra analyse
Intensief gebruik, vaak te laat: capaciteit?
Operationeel bijsturen?
Onnodige ledigingen
Laag gebruik
![Page 31: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/31.jpg)
Data planning
Data weerstations
Minpunt
Voor analyse – nood aan historische data
Verwachte neerslag,…
Bijkomende analyse
Big data – minder waarde – extra analyse
![Page 32: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/32.jpg)
Data track en trace
Data financieel
Data afvalverwerkers
Data voertuigdata
Geen data beschikbaar van
- Handhaving en toezicht (pas veel later beschikbaar)
- Privacy-issues
Evaluatie Ondergrondse Sorteerzuilen
Big data – minder waarde: gebrek aan data
![Page 33: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/33.jpg)
Data:
- GIS-data
- Track en trace
- To do App (lees: Ato App)
Minpunt
- Ontbreken van data v/d planning
- POC – datakwaliteit was zeer laag
Optimalisatie containerdienst
Big data- minder waarde – datakwaliteit
![Page 34: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/34.jpg)
• Uitbreiden dataverzameling
• Opsmuk datakwaliteit
• Inzetten in meer automatisch koppelen
IOT – usercases
• Smartzone Sint-Andries: Aptus – afvalmeting in vuilniswagen
• Sneeuw en ijzel – realtime zichtbaarheid van gestrooide routes
• Digital twin: verlenen van medewerking
Realtime Afvalbeheer
→ https://app.cumul.io/s/dashboard-afvalbeheer-gh850jmy
Lopende projecten
![Page 35: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/35.jpg)
• GDPR – privacy
• Geografische plug in – ESRI
• Dynamische rapportering
• IOT
• Maturiteit datamanagement (risico-analyses)
• Route-optimalisaties
• Data in functie van optimalisatie
• Nu voorlopig focus op datastroom optimalisatie niet zozeer op proces optimalisatie
Waar lopen we tegen aan ?
![Page 36: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/36.jpg)
• Verder experimenteren met real-time data
• Mogelijkheid bekijken - ref smartzone (slimme buurt) + koppeling Geografische informatie GIS
• Toepassen van technologie inzake beeldherkenning: oa: appvoor meldingen straatbeeld en camera’s in GFT-sorteerzuil
• Verder inzetten op API’s om data automatisch te uploaden
• Verrijken van data - over datawarehouses heen
• Open data + GPDR (gegevensbescherming) richtlijnen goed bewaken
• Nieuwe applicaties: bv routemanagementsysteem
Big data – eindig ?
![Page 37: BIG DATA - Interreg Europe · • Big data –definitie • Context van big data in stad Antwerpen ... privacy & security Smart city sensoren Data van buiten de groep Data van binnen](https://reader034.vdocuments.pub/reader034/viewer/2022042306/5ed1b6da9f7ccc70ed3587bc/html5/thumbnails/37.jpg)
Vragen