valutazioni di fp7 project proposals - unirc.it · come e cosa viene valutato 2-4 proposte al...

Valutazioni di FP7 project proposals

14 luglio 2011Aula D2 - III Lotto, Cittadella Universitaria, Università Mediterranea

Contenuto

Antonio IeraLaboratorio A.R.T.S. (http://www.arts.unirc.it), Reggio Cal., 14/07/2011

• Chi valuta?

• Selezione dei Valutatori

• Processo di valutazione- Individual evaluation- Evaluation criteria- Consensus meeting- Panel meeting

•Ulteriori considerazioni sul processo di valutazione

Chi valuta?


• Expert database – chiunque può registrarsi!

• Primo contatto: circa 6 mesi prima della valutazione• Conferma della partecipazione: 2-3 mesi prima della valutazione• Appointment Letter• Firma del modulo “Conflict of Interest”

Per i bandi di ciascun Community Programmebasta fare un check nel CORDIS website: http://cordis.europa.eu

Esperti registrati FP7


Source: European Commission, 2007

Caratteristiche degli esperti


Non ci sono valutatori “professionisti”

Principali requisiti:- Expertise- Capacità linguistica (tutte le discussioni sono in Inglese)- Confidenzialità nel trattamento delle informazioni- Indipendenza e mancanza di conflitti di interesse- Grande enfasi su “obiettività”

Rotazione: almeno un quarto dei valutatori sono cambiati ognianno da ciascun Panel.

Selezione di esperti


Giusto bilanciamento tra:- Academic and industrial expertise- Gender- Geographical representation of Europe- Proper expertise in one or more of these fields:

• Demonstrated research activity in the given scientificarea

• Extensive experience with project design and administration

• Commercial application of the results of R&D projects• International R&D co-operation

Processo di valutazione


1. Controllo amministrativo fatto dalla EC2. Valutazione degli esperti:

• Briefing per gli esperti• Valutazione Individuale• Consensus Meeting• Graduatoria finale del Panel

3. Ha inizio la fase di negoziazione

Processo di valutazione II


Briefing per i valutatori

• Introduzione degli obiettivi del Work Programme• Discussione sui criteri riportati nella Guide for Applicants • Overview sui principi generali e sui dettagli del processodi valutazione

• Chiarimenti su voti e definizioni di “Excellent”, “Poor”, ecc.• Discussione di eventuali priorità della EC in merito al bando

• Chiarimenti su possibili conflitti di interesse

Processo di valutazione III


Gli Step della valutazione

• Il valutatore lavora indipendentemente• Divieto assoluto di comunicare!• Se serve un computer lo forniscono (quello personale è vietato)• Internet puo’ essere usato, ma in forma ristretta• Ogni proposta è assegnata a 3-5 valutatori• Ogni valutatore compila entro un termine stabilito la “IndividualEvaluation Report” (IER) form

Processo di valutazione IV


Come e cosa viene valutato

2-4 proposte al giornomassimo 2 ore per propostaPrime impressioni da considerare:

• Lunghezza• Titolo• Consistenza• Partnership• Summary• Obiettivi

I primi 15 minuti della valutazione sono cruciali

Processo di valutazione V


Individual Evaluation Report (IER)

IER: un documento di 2-4 pagine completato da ciascun esperto

Tipici criteri valutati per un progetto di ricerca:• S/T QUALITY “Scientific and/or technological excellence(relevant to the topics addressed by the call)”

• IMPLEMENTATION “Quality and efficiency of the implementation and the management”

• IMPACT “Potential impact through development, disseminationand use of project results”

Processo di valutazione VI


1. Scientific and/or technological excellence(relevant to the topicsaddressed by the call)

2. Quality and efficiency of the implementation and the management

3. The potential impact through the development, dissemination and use of project results

All fundingschemes

Soundness of concept, and quality of objectives

• Appropriateness of the management structure and procedures• Quality and relevant experience of the individual participants

• Contribution, at the European [and/or international] level, to the expected impacts listed in the work programmeunder relevant topic/activity

Collaborative projects

• Progress beyond the state-of-the-art• Quality and effectiveness of the S/T methodologyand associated work plan

• Quality of the consortium as a whole (including complementarity, balance) • Appropriateness of the allocationand justification of the resources to be committed (budget, staff, equipment)

• Appropriateness of measures for the dissemination and/or exploitation of project results, and management ofintellectual property.

Networks ofExcellence

• Contribution to long-term integration of high qualityS/T research• Quality and effectiveness of the joint programme of activities and associated work plan

• Quality of the consortium as a whole (including ability to tackle fragmentation of the research field, and commitment towards a deep and durable integration) • Adequacy of resources for successfully carrying out the joint programme ofactivities

• Appropriateness of measures for spreading excellence, exploiting results, and disseminating knowledge, throughengagement with stakeholders and the public at large.

CA (ex Coordination& supportactions

• Contribution to the co-ordination of high quality research• Quality and effectiveness of the co-ordination mechanisms, and associated work plan

• Quality of the consortium as a whole(including complementarity, balance) [for SA: only if relevant] • Appropriateness of the allocation and justification of the resources to becommitted (budget, staff, equipment)

• Appropriateness of measures for spreading excellence, exploiting results, and dissemination knowledge, throughengagement with stakeholders, and the public at large.

Processo di valutazione VI-bis


F7 Cooperation, FP7 Capacities /FP7 People FP7 Ideas (ERC)

5: ExcellentThe proposal successfully addresses all relevant aspects of the criterion in question. Any shortcomings are minor

4: Outstanding

4: GoodThe proposal addresses the criterion well, although certain improvements are possible.

3: Excellent

3: Fair While the proposal broadly addresses the criterion, there are significant weaknesses that would need correcting.

2: Very Good

2: PoorThere are serious inherent weaknesses in relation to the criterion in question.

1: Non-fundable

1: Very poorThe criterion is addressed in a cursory and unsatisfactory manner.

0: Not relevantThe proposal fails to address the criterion under examination or cannot be judged due to missing or incomplete information

Processo di valutazione VII


Sistema di voto• Ogni progetto puo’ ricevere anche dei mezzi voti (es. 3,5)• Ci sono delle soglie per ciascun criterio (es. minimo 3 punti)• E’ richiesta una spiegazione dettagliata del voto non solosemplici voti

• C’e’ una soglia per il voto totale (puo’ essere maggiore dellasomma delle soglie dei singoli criteri)

• Si valuta anche l’entità del grant richiesto!...se è realistico, sedeve essere ridotto, se è adeguato al workplan, ecc..

• Attenzione a non sottovalutare l’organizzazione del management di progetto (di solito trascurato…fa molte vittime)

Processo di valutazione VII


Consensus Meetings• Gli esperti si riuniscono per trovare consenso sui loro voti in presenza di un moderatore (un officer).

• Ogni esperto fornisce la sua opinone • I voti piu’ alti e quelli piu’ bassi vanno giustificati

Serve un CONSENSO per ogni criterio e per le giustificazioni dei voti (che vanno riscritte di sana pianta e sottoscritte da tutti!)

Un Consensus Report (CR) è prodotto a valle del meeting da un “rapporteur” designato dal moderatore del gruppo

Se non c’e’ consenso?Si aggiungono nuovi valutatori finche’ non si raggiunge un consensoAltrimenti, si decide a maggioranza e (rarissimo) decide il panel

Processo di valutazione VIII


Il Panel Meeting• Serve a confermare e comparare i “consensus reports” delle soleproposte che eccedono la soglia

• …finalizzato a sciogliere i cosiddetti “ties”dando priorità di solito in base agli obiettivi del programma e all’impatto del progetto.

Graduatoria finale : in base ai voti e alle priorità date quando ci sono progetti con voti uguali

Il Coordinatore del progetto riceve l’ Evaluation Summary Report (ESR). Questo riflette:Il consenso ottenuto tra gli esperti indipendenti oltre ai risultati del panel in riferimento ad ogni blocco di criteri. Contiene inoltre i commenti finali e il voto finale per la proposta

Processo di negoziazione


Decisione Finale e negoziazione

la Commissione prepara:• Graduatoria delle proposte ammissibili (sopra soglia)• Lista delle proposte per cui puo’ partire il processo dinegoziazione (tenendo in conto il budget per il Panel)

• Lista di progetti di riserva (in caso di ritiro o fallita negoziazione di qualche progetto)

• Lista delle proposte fallite

Processo di valutazione


Alcune riflessioni sul processo

• Importante presentare bene le istituzioni e le persone e la loro complementarietà• Importante evidenziare l’importanza di operare a livello europeo (perche’ non si èpredisposto un progetto nazionale?)

• Formulazione chiara anche per valutatori che non lavorano specificatamente nel campo (ne vengono inseriti alcuni nei gruppi proprio per valutare cio’!)

• Uso di diagrammi e figure auto-esplicative • Tenere sempre in conto i criteri di valutazione ( riportati nella call)• Inglese chiaro e testo ben formattato.• Enfasi (ripetuta) sulle idee ritenute vincenti• Sintesi di concetti

Il tutto nell’ottica che…. I valutatori hanno un TEMPO LIMITATO per leggere e valutare le proposte assegnate loro

Grazie per l’attenzione


valutazioni di fp7 project proposals - unirc.it · come e cosa viene valutato 2-4 proposte al...

Documents