minni grid enea emma/farm su grid: avanzamento dei lavori per la convenzione e prestazioni del...
TRANSCRIPT
MINNI GRID ENEA
EmMa/Farm su GRID: avanzamento dei lavori per la Convenzione e prestazioni del sistema
Andrea Cappelletti – ENEA PisaGino Briganti – ENEA Pisa Progetto MINNIRiunione plenaria 23-24 marzo 2011
Minni/GRID Obiettivi
fare il punto sulle simulazioni fatte nel quadro della Convenzione;
dare una idea, seppure sommaria, dell’evoluzione delle prestazioni del sistema MINNI su GRID;
evidenziare problemi e punti critici;
aggiornare sui tempi di esecuzione del calcolo delle concentrazioni, emissioni e matrici in vista del lavoro
futuro;
Minni/GRID Convenzione
Nickname Anno emiss.
Anno meteo
Versioni EmMa/Farm
20Km 4Km Note
1999 1999 1999 4.0/2.9.1 IT0 XX0 XX = NI, CI, SI, SC, SA
2005old 2005 2005 4.0/2.9.1 IT0 XX0
2005svi 2005 2005 4.0/2.9.1 IT0 XX0 Rispetto al 2005old : sottoinsieme di emi., con., dep.
ATMtest 2005 2005 4.0/2.12 20x20 Termini del 1°, 2° ordine e misti (2x2x5=20)
2005 2005 2005 5.1/2.13.5 IT0 XX0 Rispetto al 2005old: agg. emis., param. punt. e areali, traf. mar., risosp, att.agr., layers. OMP, (TUV, data ass.),LSODE,debug, ∆t=300s
2003 2003 2003 5.1/2.13.5 IT0 XX0
2015noCP 2015 2005 5.1/2.13.5 IT2 XX2 Scenari GAINS senza C.P. Convenzione: solo 20 Km
2005noCP 2005 2005 5.1/2.13.5 IT2 XX2
2010noCP 2010 2005 5.1/2.13.5 IT2
2020noCP 2020 2005 5.1/2.13.5 IT2
ATM 2015 2005 5.1/2.13.5 20x20 Termini del 1° ordine (5 x 20 = 100 runs)
Bold: dall’ultima plenaria, Ciano: Arianet, Rosso: fuori Convenzione
Minni/GRID ubicazione concentrazioni
Nickname Server Main directory Zona Ubicazione concentrazioni
1999 gpor_minni1
minni/minnifarm/farm/out
XX0 1999_2.9.1_saprc90noTUV
2005old gpor_minn1 XX0 2005_2.9.1_saprc90noTUV
2005svi gpor_minni1 XX0 2005svi
ATMtest gpor_minni2 minni/minnifarm/ATM/out anno_em/anno_me/fact%/precurs/ regione
2005 gpor_minn1
minni/minnifarm/farm/out
XX0 2005_2.13.5_saprc90noTUV
2003 gpor_minni2 XX0 2003_2.13.5_saprc90noTUV
2015noCP gpor_minni3 XX2 2015_2.13.5_saprc90noTUV
2005noCP gpor_minni3 XX2 2005_2.13.5_saprc90noTUV
2010noCP gpor_minni3 XX2 2010_2.13.5_saprc90noTUV
2020noCP gpor_minni3 XX2 2020_2.13.5_saprc90noTUV
ATM gpor_minni2 minni/minnifarm/ATM/out anno_em/anno_me/fact%/precurs/ regione
XX = IT (Italy 20x20), NI (Nord 4x4), SI (Sud 4x4), CI (Centro 4x4), SC (Sicilia 4x4), SA (Sardegna 4x4)
Minni/GRID ubicazione emissioni
Nickname Server Main directory Zona Ubicazione emissioni Note
1999 gpor_minni1
minni/minnifarm/farm/inp
XX0 1999
2005old gpor_minn1 XX0 2005old
2005svi gpor_minni1 XX0 2005svi
ATMtest gpor_minni2 minni/minnifarm/ATM/inp fact%/precurs/ regione/anno/decade/giorno
2005 gpor_minn1
minni/minnifarm/farm/inp
XX0 2005
2003 gpor_minni2 XX0 2003
2015noCP gpor_minni3 XX2 2015
2005noCP gpor_minni3 XX2 2005 No IT
2010noCP
2020noCP
ATM gpor_minni2 minni/minnifarm/ATM/inp fact%/precurs/ regione/anno/decade/giorno
XX = IT (Italy 20x20), NI (Nord 4x4), SI (Sud 4x4), CI (Centro 4x4), SC (Sicilia 4x4), SA (Sardegna 4x4)
Minni/GRID post processing
Anni meteo/scenari:
medie stagionali ed annuali di CO, SO2, O3, NO2, PM10
valori annuali di AOT40f, AOT40c, SOMO35, superamenti O3 > 120 ug/m3
scores 2005 (confronti db AirBase/BRACE)
ATM:
medie annuali di O3, PM25, PM10, NO2
deposizioni totali di S, N, NH
SOMO35, AOT40f, AOT40c
medie stagionali (calda/fredda) ed annuali di PM10, PM10w, PM25, PM25w
coefficienti del 1° ordine per ATM (20 x 5 = 100 files ascii)
annualemediaregRprecPreck 2D, cellaj i,E
CPR
kij :.,:.,:.,::
Post processing si trova su /gpor_minni2/minni/minnifarm/post_farm
Minni/GRID evoluzione FARM
Estate 08 – Fine 09
versione 2.9.1
codice serialenotevole disponibilità di code seriali
GRID poco affollata
Inizio 10 – Marzo 11
versione 2.13.5
codice parallelo OMP
numerose code parallele
GRID affollata
1 mese 20x20 20 ore
1 mese 4x4 (NI) 120 ore
max 40/50 jobs alla volta
Tempo di attesa = 14 g
1 mese 20x20 8 ore
1 mese 4x4(NI) 24 ore
max 40/50 jobs alla volta
Tempo di attesa = 7 g
Minni/GRID evoluzione EmMa
Estate 08 – Fine 09
versione 4.0
codice serialestrategia « giorni tipo » prevista ma non utilizzata
numerose code seriali
GRID poco affollata
Inizio 10 – Marzo 11
versione 5.1
codice serialeStrategia « giorni tipo »* integrata
1 coda seriale affollata
1 dec 20x20 1.5 ore
1 dec 4x4 (NI) 5 ore
max 40/50 jobs alla volta
Tempo di attesa = 2 g
1 mese* 20x20 2-3 ore
1 mese* 4x4 7-12 ore
max 5/10 jobs alla volta
Tempo di attesa = 5-10 g
Minni/GRID tests su EmMa (fpga6)
PFS: uso di fs PFS come scratch, TMP: uso del fs /tempwork come scratch
Minni/GRID ATM
Emissioni (5.1)
Jobs annuali
coda seriale affollata
Solo 1° termine (5 x 20 = 100)
5-10 jobs alla volta
Concentrazioni (2.13.5)
Jobs annuali
codice parallelo
code parallele disponibili
30-40 jobs per volta
Tempo di attesa = 5-10 g Tempo di attesa = 10-15 g
1 feb 2011 – 10 marzo 2011
Minni/GRID prestazioni del sistema
la parallelizzazione di FARM ha permesso un abbattimento dei tempi sia di per se che per l’accesso alle code parallelle ma il vantaggio è stato annullato dal peggioramento delle prestazioni di EmMa e dall’affollamento della coda seriale 16 gg -> 14-19 gg;
il contenimento dei tempi di esecuzione di EmMa ha comportato la riscrittura delle procedure e l’adozione di strategie ad hoc poco automatizzabili e condivisibili (dall’industriale all’artigianale). Tempi di attesa molto variabili;
l’affollamento dell’unica coda seriale obbliga a calcoli mensili/annuali per EmMa (non si sfrutta la multiserialità)
Tempo (gg) EmMa Farm Totale
20x20 1 1 2
4x4 5-10 7 12-17
ATM 5-10 10-15 15-25
Minni/GRID attività sviluppo
Programma per il calcolo degli scores statistici (F90 OMP);
Riscrittura degli scripts per il lancio di EmMa (versione 5.1) su GRID:
Aggiornamento degli scripts di lancio di FARM/ATM per sfruttare al massimo la presenza di molte code parallele di breve durata;
Sviluppo di routine F90 per la lettura/scrittura di file netcdf MINNI
• bypass dei makefiles originari e controllo diretto degli eseguibili crtemp, mpem2farm, pem2grid (modulazione temporale);• ricerca automatica delle aree scratch disponibili (/dev/shm -> /tempwork -> GPFS)• ricerca dei nodi liberi sulla coda seriale e distribuzione dei jobs in modo da evitare l’accumulo di jobs su un unico nodo (da perfezionare a mano)
Minni/GRID evoluzione software
Estate 08 – Fine 09
Uso dei filesystem condivisi (AFS/PFS) come aree per dati e aree di lavoro
Uso delle utilities NCO per manipolare files netcdf
Uso delle code seriali per il pre/post processing
Inizio 10 – Marzo 11
Uso dei fs condivisi per i dati e fs locali (/tempwork /dev/shm) come aree di lavoro
Sviluppo di programmi F90 per manipolare files netcdf
Parallelizzazione programmi F90 e uso delle code parallele anche per le attività di pre/post processing
I nodi di CRESCO hanno tutti un disco locale veloce da 20 GB (le macchine cresco-fpga1,2,3,4,6 hanno un disco da 250 GBTutti i nodi di CRESCO hanno una ragguardevole RAM (da 32 a 216 GB) e un disco su RAM di 8-32 GBIl paradigma OMP per la parallelizzazione è relativamente facile
Minni/GRID problemi aperti e warnings
run identici di Farm possono dare luogo a risultati differenti sui « balance », anche dell’ordine del 10-20%. E’ stato compilato Farm 2.13.5 su grid con diverse opzioni (scalare, parad. OMP) ma non si è capito il motivo. A livello di medie stagionali e ATM ciò non costituisce problema. Prove sospese per mancanza di tempo; segnalazione di errore con EmMa 5.1 su GRID in fase di preprocessamento: errore in lettura di un file. Comportamento casuale. è emerso un problema con la versione 5.1 in concomitanza con l’esecuzione di più istanze EmMa (modulazione temporale) sullo stesso nodo: non si può utlizzare come area di lavoro il fs PFS e la situazione è critica con i fs locali del nodo (/tempwork); coda seriale perennemente affollata; l’adozione dello schema chimico SAPRC99+TUV aumenterà di 3-4 volte (20x20) il tempo di esecuzione per FARM; inventory comunali comporteranno un aumento di 2-4 volte (1999) il tempo di attesa per EmMa; criticità dell’ipotesi « giorni tipo » per EmMa;
Minni/GRID da fare
Software per la ricostruzione degli scenari GAINS dalle ATM (si parte da programmi ARIANET);
Stabilizzare (se possibile) le procedure di EmMa5, esplorando la possibilità di avere una coda seriale dedicata a MINNI;
Calcolare le ATM con anni meteo (1999), 2003, 2007
Run nazionale anno 2007
Completare i test su FARM
E’ auspicabile stabilire una convenzione sui nomi da assegnare alle directories per l’archiviazione delle emissioni/con./dep./icbc/meteo di MINNI
Minni/GRID cluster MINNI
rapporto cpu/nodo minore possibile (8 nodi da 8 cpu anziche 4 nodi da 16 cpu)
disco alta performance per ciascun nodo > 100 GB
RAM di almeno 32 (meglio 64) GB di cui metà da dedicare a disco