![Page 1: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/1.jpg)
Ma#hew Brady: Consultant senior BI Ana Maria Manzat: Data Scien;st Herve Desaunois: Directeur technique
![Page 2: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/2.jpg)
2
Sommaire!• La révolution est en marche!
• BI traditionnelle!• Les changements, les impacts !• Cartographie des impacts du changements pour l’entreprise!• Architecture Big Data dans un SI!
• C’est maintenant le changement!
• Le plan de transformation!• Illustration concrète du BI au Big Data!• La convergence !
Du BI au BIG DATA!
![Page 3: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/3.jpg)
3
La révolution!est en marche!
![Page 4: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/4.jpg)
4
BI !Traditionnelle!
![Page 5: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/5.jpg)
L'analyse multidimensionnelle !des données!
36 M€ USA !
36,3 M€ EUROPE DU SUD !
65,1 M€ EUROPE DU NORD!
5
Mécanismes d'extraction, !de transfert et de consolidation!
BI traditionnelle!
Centralisation des données ! Reporting
![Page 6: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/6.jpg)
10,2 M€ Reste
du Monde !
36 M€ USA ! 65,1 M€
EUROPE DU NORD!
6
Data warehouse vs Business intelligence!
![Page 7: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/7.jpg)
10,2 M€ Reste
du Monde !
36 M€ USA ! 65,1 M€
EUROPE DU NORD!
7
!Les analystes veulent couper leur données en “slice et dice”!!!Les analystes ont besoin d’accéder à des données très agrégées.!!!Les analystes veulent parcourir les données en profondeur (d’aller du générale vers les détails).!
Data warehouse!
![Page 8: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/8.jpg)
10,2 M€ Reste
du Monde !
36 M€ USA ! 65,1 M€
EUROPE DU NORD!
8
!!!!!!Open Source!• BIRT!• JasperReport!• Pentaho!
Enterprise!• Oracle Business Intelligence
Publisher!• Microsoft SQL Server Reporting!• SAP HANA-‐op%mized BI!
Outils de reporting!
![Page 9: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/9.jpg)
9
Les changements,!les impacts!
![Page 10: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/10.jpg)
Changement de nature des données !
10
Les changements!
Changement de volumétrie !
Changement de référentiels de données, du Data Warehouse au Data Lake!
![Page 11: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/11.jpg)
Changement de processus !de production!
11
Data Scientist!Big Data Process !
Les changements!
Changement !d’architecture !
Changement !de compétences!
![Page 12: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/12.jpg)
12
Cartographie!Des impacts SI!
![Page 13: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/13.jpg)
13
Big Impact SI!
Big Data
Impact
![Page 14: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/14.jpg)
36 M€ USA !
36,3 M€ EUROPE DU SUD !
14
Big impact!
Cloud Public ou Privé!
Data Lake!
Architecture Lambda!
Intégration dans le SI!
![Page 15: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/15.jpg)
15
Architecture !Big Data dans un SI!
![Page 16: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/16.jpg)
10,2 M€ Reste
du Monde !
36 M€ USA !
36,3 M€ EUROPE DU SUD !
65,1 M€ EUROPE DU NORD!
Architecture classique du SI!
16
![Page 17: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/17.jpg)
Architecture classique du SI et le BIG DATA!
17
![Page 18: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/18.jpg)
18
Plateforme Big Data! !
Ecosystème Hadoop!
![Page 19: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/19.jpg)
19
Architecture Big Data !
Private Cloud or Public Cloud!
![Page 20: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/20.jpg)
20
Lambda Architecture!
![Page 21: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/21.jpg)
21
C’est maintenant!le changement!
![Page 22: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/22.jpg)
22
Gartner!
Gartner Says Big Data Creates Big Jobs: 4.4 Million IT Jobs Globally to Support
Big Data By 2015!
![Page 23: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/23.jpg)
23
Projet Big Data!
IT Innovation / Transformation / Marketing digital!
• Vue 360 Clients!• Analyse comportementale multicanal digital!• Système d’archive de données!• Datawerhouse offload et remplacement ETL!• Infrastructure Log Analysis!• Analyse de risques / fraudes!• Maintenance industrielle (IoT)!• Nouveaux business modèle : le tout connecté (équipement, voitures, ..)!• Segmentation clients en temps réels !• KPI temps réels / Analyse cross systèmes!
![Page 24: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/24.jpg)
24
Une nouvelle démarche!
![Page 25: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/25.jpg)
25
• Utilisation de KNIME pour le prototypage, la fouille de données!
• Utilisation de TULIP pour le prototypage, la visualisations de données!
Big Data prototypage!
• Déclinaison vers des implémentations Big Data / Cloud Computing!
![Page 26: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/26.jpg)
26
Le plan de!Transformation!
![Page 27: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/27.jpg)
10,2 M€ Reste
du Monde !
36 M€ USA !
36,3 M€ EUROPE DU SUD !
27
Conduite du changement!
Participation!!
VALTECH
Communication!
Formation!
![Page 28: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/28.jpg)
10,2 M€ Reste
du Monde !
36 M€ USA !
36,3 M€ EUROPE DU SUD !
65,1 M€ EUROPE DU NORD!
28
Formation Big Data!
!• Formation aux technologies ! Big Data!
!
• Formation Data Scientist!
!• Introduction aux bases de données NOSQL!
• Développer avec MongoDB!
• Développement d'applications avec Neo4j!
• Apache Hadoop 2.0 : Hortonworks (certifiant)!
!
• KNIME!
• Analyse de données pour HADOOP: Hortonworks (certifiant)!
• Jump Start Data Scientist / Big Data!
VALTECH
![Page 29: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/29.jpg)
29
Case study! !
Illustration du !BI au Big Data !
![Page 30: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/30.jpg)
30
Case study!Velib’!
• Données fournies par JCDecaux en temps réel sur l’utilisation des stations Velib!
• Durée: début d’année 2014!
!• Stockage: base de données
sur Microsoft Azure!
![Page 31: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/31.jpg)
31
Les données!
Chaque fois qu’un velo est loué ou retourné une transaction est loggée!
!!!
Elements :!!• Station Id!• Timestamp!• Bornes disponibles!• Vélos disponibles!
![Page 32: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/32.jpg)
32
Analyse des données: extraction de dimensions!Transformation!
![Page 33: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/33.jpg)
33
Calcul de mesures!Pour une période d’une heure!Transformation!
![Page 34: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/34.jpg)
34
L’usage moyen des vélos par jour de la semaine !Reporting!
Mars! Avril! Mai!
Juin! Juillet!
![Page 35: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/35.jpg)
35
Usage moyen des vélos par heure du jour!Reporting!
![Page 36: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/36.jpg)
36
Usage moyen des vélos par heure du jour et par station!Reporting!
![Page 37: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/37.jpg)
37
Usage moyen des vélos par heure du jours, pour les jours de la semaine !Nombre de transactions (en vert)!
Reporting!
Lundi! Mardi! Mercredi!
Jeudi! Vendredi!
![Page 38: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/38.jpg)
38
Usage moyen des vélos par heure du jours, pour samedi et dimanche!Nombre de transactions (en vert)!
Reporting!
Samedi! Dimanche!
![Page 39: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/39.jpg)
39
Enrichir les données!
• Enrichir la donnée fournie par JCDecaux en temps réel en integrant d’autres sources de données!• Météo!• Spectacles!• Restaurants!• IoT!
!
• Informer un usager de la tendance de sa station cible pour une date déterminée (court terme)!
!
![Page 40: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/40.jpg)
40
Axes de prédiction!
ü La base de toute prédiction est l’historique de la station
ü Séparer les jours ouvrés des jours non travaillés
ü Utilisation du calendrier scolaire
ü Introduire la dimension météorologique (pluie, vent)
ü Pondérer la prédiction à court terme
![Page 41: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/41.jpg)
41
Prototypage!Définition d’un model prédictif!• KNIME!
![Page 42: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/42.jpg)
42
Prototypage!Définition d’un model prédictif!• Data Scientist!
ü Problématique liée au Time-series
ü Préparation de données pour l’apprentissageü Régression linéaireü Séparation des données en données d’apprentissage et données de test
ü ü Choix d’algorithme d’apprentissage
ü Apprentissage superviséü Apprentissage non-supervisé
![Page 43: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/43.jpg)
Approche de type Batch!Architecture !!Big Data Velib!
![Page 44: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/44.jpg)
44
La plateforme Big Data! Demo!
![Page 45: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/45.jpg)
45
Itération I!
Data sources layer Data integra%on layer Data batch layer
Import des données!
![Page 46: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/46.jpg)
46
Itération I! Import des données météo!Calcul du modèle prédictif!
Data sources layer Data integra%on layer Data batch layer Service layer repor%ng
![Page 47: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/47.jpg)
47
Itération II ! Intégration des vacances scolaires!Calcul du modèle prédictif!
Data sources layer Data integra%on layer Data batch layer Service layer repor%ng
![Page 48: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/48.jpg)
48
La convergence!
![Page 49: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/49.jpg)
36 M€ USA ! 65,1 M€
EUROPE DU NORD!
49
Convergence technique!
SQL Engine / No more NoSQL! Data Lake!
Data Warehouse nouvelle génération !(In Memory & Column Oriented )! R!
![Page 50: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/50.jpg)
50
TSNUNAMI !!Big Data from IoT !!Valtech Warning!
2010: 4 milliards d’objet connectés à internet 2015 :15 milliards d’objet connectés à internet 2020: 80 milliards d’objet connectés à internet
![Page 51: Valtech - Du BI au Big Data, une révolution dans l’entreprise](https://reader031.vdocuments.pub/reader031/viewer/2022020116/55c153abbb61ebff1d8b47a2/html5/thumbnails/51.jpg)
51
Merci!