perspectives d’analyse de donnéesrali.iro.umontreal.ca/.../vincent-analysedonnees.pdf ·...
Post on 03-Mar-2021
4 Views
Preview:
TRANSCRIPT
Perspectives d’analyse de données
Pascal Vincent et Marc-Élie Lapointe
Qui est-ce ?
Où ?
Publications
Projets en cours
Partenariats industriels
Cours
Bancs d’essais
Séminaires
Autres sites
! Page d'accueil !
Faculté des arts et des sciences -Secteur des sciences
Département d'informatique et de recherche opérationnelle
Fr En
Chercheurs du LISA
Professeurs
Yoshua BENGIO Douglas ECK Pascal VINCENT
Chercheur sénior
Aaron Courville
Assistants de Recherche
Laboratoire d’Informatique des Systèmes Adaptatifs
Apprentissage Statistique (Machine Learning)
Data-mining (analyse de grands ensembles de données)
Réseaux de neurones artificiels
Notre expertise:
Pascal Vincent
Laboratoire d’Informatique des Systèmes d’Apprentissage
! !
!"#$$%&'()**#+&,*(#()*()-.&
! /$$%&'0%&,.'&,!"#$%&"#,&11&2(.#'(,0&*,!"#$%&'%()*
! 3',*&,4#*#'(,*.%,.',+%#'0,&'*&546&,$+,-,.!/,*,74#*&,0&,08''9&*:
! ;#$#46&,0&,0#)#"1/%*,",<,0&,'8.=&#.>,2#*,7$#*,=.*,0#'*,6&*,08''9&*:
!"#$%!&$%!'#()*'
Projet avec Environnement Canada:
D’où nous sommes partis
• Données météocode
• Format XML
Données mises à notre disposition sur le site d’Environnement Canada.
http://dd.weatheroffice.ec.gc.ca/meteocode/
Données mises à notre disposition sur le site d’Environnement Canada.
http://dd.weatheroffice.ec.gc.ca/meteocode/
Données mises à notre disposition sur le site d’Environnement Canada.
http://dd.weatheroffice.ec.gc.ca/meteocode/
Fichie
r mété
ocode
au form
at XML
Ce que nous avons appris
• Météocode: l’arbre qui cache la forêt...
• Quantité et variété de sources de données impressionnante à gérer!
Guy Lapalme, Philippe Langlais, Pascal Vincent 3
Figure 1: Simplified information flow at Environment Canada.
The modules and outputs to be developed in this proposal are shown in blue in the two Project boxes.
Projects to be developed in this proposition
1: Selective and customized information display
EC produces vast amounts of information in the form of ZZZMb of Meteocodes every 6? hours. In
principle it would thus be possible to give much more focused forecasts in both time and space that EC
can currently give in the few words found in the regional weather bulletins. EC has already developed a
text generator to produce the daily information about each region of Canada in both French and English.
But this information is not as detailed as it could be because the aggregation process necessary to limit
the number of different bulletins. This aggregation results in precipitation probabilities and wider range
in temperatures. From the information in the meteocodes, it would be possible to generate a more
accurate weather information bulletin for a given address or postal code. But currently it would be
impractical to generate in advance (in both French and English) all these bulletins the great majority of
them that would never be read. Even more, the regional weather information must also be made
available in different output modes: graphical, web, on weather radio and automated answering
machines. One goal of our project is to study the development of innovative approaches for conveying
relevant meteorological information based on geographical and time-dependent aggregation.
As the meteocodes are already in XML format validated with a DTD, we can be confident that the input
will be easily parsable. We will thus focus on determining the most appropriate way of presenting the
data in the most meaningful way depending on the type of output device.
Sché
ma résum
é
de Guy
Lapalme
! !
!"#$%&'&()*%$+$&,'-.,%$/.$0'*'1' !"#$%&'())*+,#-+#-.))*+,
! !
!"#$%&'()*"#+"#,&%%",-.&/0
!"##$%&'()*+,*"##$&1%#("2#2-3-.&/245&/"2673.'("#%82&(1-.&/9
:%8+.,-.&/#+"#*&./2#'&//"#;13(.-8#<#-./,$%'(0"1/,*"#
!"##$%&'()*+,*"#%2%-./,$%'(0"1/,*"#
/&=,32-*"-"&,&+" >?@A
Sources de données
• Plusieurs modèles de prédiction (48h, ...)
• GRIB, nowcast, meteocode: formats différents
Ce que nous avons appris (suite)
• Stockage de ces données dans base de donnée SQL: sans espoir!
• Développement d’un stockage et accès efficace (en temps et espace). Fait.
! !
!"##$%&'()*+',-$&%#.%/%#.'&."01$%&2
!"##$%$&$'()*+),"-%$.+/)*+01)*+#)'/"$#2)344/+.*/+)5)6$.'+/4"&+/7)&+#),"//+,'$".#)*+#)+14+/'#8)"0)&+#)"%#+/93'$".#8)#0/)&3):/$&&+);30'+)/(#"&0'$".<
=$>>(/+.'#)3&:"/$';-+#)*?344/+.'$##3:+)+.9$#3:+3%&+)@4/",+##0#)A30##$+.#8)/(#+301)*+).+0/".+#8)+',<<<B)
C+,;+/,;+D
3$.$"0"(%2',-$(40.4"#&'(%'.-5&'678.%'987:4.$';0"--4<$%&'=':7'/74#',7-'/$.$"-":"<8%>'='?74@:%'-$&":8.4"#';A"#%'0"(%>B
CDEF2',-$(40.4"#&'@-8.%&'(8'/"(5:%'='.-5&'678.%'-$&":8.4"#B
G"H07&.2'"@&%-I7.4"#&'J'@"##%&',-$(40.4"#&'0"8-.'.%-/%'='/"K%##%'-$&":8.4"#';&.7.4"#&'/$.$"-":"<498%&>
! !
!"#$%&"#'()&'#)*+,,-'#).("/0)1'2'+3+*')'2),+43%#2)5+$()*"66-(',2'#)7+,'#)'28+$)#2%2"+,#)%",#")9$')*'#)*+,,-'#).("/)5%(2+$2
! !
Ce que nous avons appris (flot de traitement)
• Prévisions brutes d’un modèle «numérique»(➪ fichiers GRIB)
• Modèles de correction statistique (➪ UMOS Updatable Model Output Statistics)
• Corrections des météorologues (➪ Météocode XML)
• Comparaison aux observations des stations(➪ Nowcast?)
• Qui prédit mieux? Métriques de comparaison?
Perspectives
• Où mon expertise serait la plus pertinente:
• Modèles de correction statistique (UMOS Updatable Model Output Statistics)
• Quels modèles? Données spécifiques utilisées pour entraîner ces modèles? Quelles métriques?
• Prise en compte des corrections des météorologues: se concentrer là où leur expertise est la plus utile.
! !
!!"#$%&'()*+,)+-%."/0&1%+$0*%*(.2&1%3,*4%*#$%#)1%5$,6+(")%/1*%()5"$.,+(")*%/(*2")(3&1*
!!"##$%$&$'()*+),"*-&+#)%+./0"/1)1&/#)0",1&+2+#333
45+6$7777
+1.2*
*+,+(")*
6,$,
6 +4$(* +
(8#1*
!!&/#$+/7#%6,$,6+4$(*+(8#1*!!&/#$+/7#%*+,+(")*
!!&/#$+/7#%.".1)+*%+1.2"$1&*
9+#/1%/1%&8(5"&/'$"6%/1*0.7.0'(7$#'$9/+#%1+%/1*%0"77+0'$"6#.11"7'(+#),#%6"#$*%/#%+1.2*7
Questions?
À suivre....
• Rencontrer (au CMC?) un spécailiste du UMOS
• Trouver un nouvel étudiant pour reprendre le flambeau....
top related