la valutazione delle proposte in horizon2020la valutazione delle proposte in horizon2020 criteri di...
TRANSCRIPT
La valutazione delle proposte in Horizon2020Criteri di valutazione e suggerimenti per una
proposta di successo
Gabriella LeoCNR – ISMN, Area della Ricerca Roma I
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
Valutazione & Valutatori
CHI SONO I VALUTATORI Non solo scienziati
Anche dipendenti o titolari di aziende
Anche end-user
Anche stakeholders
Anche consulenti di aziende (marketing) o di enti di indirizzo
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
E COME VENGONO SCELTI:• Banca dati: Ricerca per
Keyword
• CV
• Equilibrio di area geografica, competenze e genere
• Valutatori esperti e generalistiNon tutti i valutatori sono esperti nel tema del progetto
IL SISTEMA DI VALUTAZIONE È TRASPARENTE E CORRETTO
Per Informazioni e registrazione come esperto/ valutatore: http://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html
Le caratteristiche di un valutatore Indipendenza: il valutatore è un individuo indipendente, non
rappresenta nessun ente/gruppo/società
Imparzialità: ogni proposta viene valutata sullasola base del merito (non dei partecipanti, nazioni, simpatie, etc...)
Obiettività: la proposta viene valutata solo sulla base di quanto scritto
Accuratezza: giudizio riguardo solamente ai principi della call
Consistenza: stesso standard di giudizio per tutte le proposte
Assenza di conflitto di interessi Riservatezza: valutazione discussa solo gli altri membri del
panel (non per i corridoi, al telefono, con altri colleghi...) documenti mantenuti riservati, valutatori anonimi per i proponenti
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
La valutazione: IndividualEvaluation Report (IER) Criterion 1 – Excellence max 5 punti Criterion 2 – Impact max 5 punti Criterion 3 - Quality and efficiency of the
implementation max 5 punti
Operational Capacity Y / N Overall comments
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
Istruzioni per i valutatorihttp://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html
• Calls are challenge-based, and open to innovativeproposals
• Greater emphasis on impact, through 'Expectedimpact statements'
• Applicants asked to explain how work will bring aboutdescribed impacts
• During the evaluation, you are asked to assess this potentialcontribution
• More emphasis on innovation• Horizon2020 supports all stages in R&I chain including non-
technological, social innovation and activities closer to the market
• Proposals may bring together different disciplines, sectors and actors to tackle specific challenges
• e.g.scientists,industry,SMEs,societalpartners,end-users...
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
I Sottocriteri: una guida alla scrittura della proposta progettuale (RIA, IA, SME instr.)
Gli aggettivi usati nella valutazione POOR
Insufficient, minimal, fails to describe, unacceptable, inadequate, very generic, not
evident, unfocused, very weak, bad, does not meet criteria, no information,
inappropriate, limited, unclear, not sound enough, not specified, no significant
impact, not been followed, unjustified, overestimated, does not fit
EXCELLENT
Extremely relevant, credible, very clear, precisely specified, realistic, very
innovative, extremely well suited, very good, timely, convincing, comprehensive,
high quality, justified, very well identified, strong, highly effective, thoughtful, very
promising, evidence, well-formulated, carefully-prepared, very professionally
prepared, fully in line, looks great, very profound, sound, very convincingly
integrated, clearly articulated, coherent, well balanced, very plausible, ambitious,
clear advances, well above average
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
… dai commenti dei valutatoriThe idea is not new or is onlyincremental or the proposal failsto demonstrate its novelty
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
There is no credible business case
There are no KPIs, baseline, measurable
objectivesDoes not demonstrateinnovation potential
There is not an industrial partner or a path thatleads to possible concrete market introduction
Task are not describedin sufficient details
There is missing expertise or
unjustified overlapping competences
There is no detailed riskassessment with concrete mitigation measures
Cosa serve per una propostacompetitiva:Idea scientifica eccellente ma anche:
• Ricerca indirizzata a raggiungere gli obiettivi e l’impact richiesto
• Forte e credibile impegno ed interesse dell’industria
• Dimostrare il focus sull’innovazione
RIA (R&I Actions) Be driven by user needs Concrete business cases
supported by strong exploitation strategies,
Cover the value/supply chain as appropriate
Not expected to commit for commercialization
IA (Innovation Actions): Ideally target medium volume
markets (no niche markets) Provide evidence of strong
commitment to bring the technology to the market(s)
Industrialise/manufacture targeted products in Europe
Business plan
I par
tner
indu
stria
liso
noes
senz
iali
Raccomandazioni: IMPACT
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
• CONOSCERE IL CONTESTO POLITICO• QUANTIFICARE IMPACT, EPLOITATION POTENTIAL: indicare KPI• IMPACT VS S&T AND IPR STATE OF THE ART
Attenta lettura del bando
L’ IMPATTO si riferisce sia allo sviluppo, che alla diffusione ed all’utilizzo dei risultati. i punti relativi a questa voce vanno considerati tenendo conto delle ricadute dei risultati sia a livello europeo, che internazionale.
Come controllare l’impatto Cosa ti attendi dal tuo progetto? Chi necessita i risultati della ricerca? Perchè vogliono utilizzare i risultati? Come pensi di comunicare agli interessati i risultati? Quale disseminazione pensi di fare ? Quali sviluppi ulteriori ti attendi ?
IMPLEMENTATION
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
Exploitation plan con riferimenti quantitativi ai WP relativi alla validazione del prototipo/assessmentincludendo anche il commitment dei partner industriali
Obiettivi quantificabili e coerenti con quelli (sempre quantificabili) presentati in EXCELLENCE
Innovation manager/ Board, monitorare l’innovazione (ex. Innovation questionnaire)
Strategia per gestione del IPR e della sua protezione (Existing patents, how handle / share background information and expected project results, clearly outline the expected IPRs from the project)
Raccomandazioni Scrittura della proposta ‘dalla parte’ del valutatore
Un progetto non è un articolo: scrivere la propria parte come «pezzo originale» e
leggere sempre in maniera critica anche quello che scrivono gli altri partner.
Non trascurare IMPACT e IMPLEMENTATION
Conoscenza del bando e della comunità di riferimento- Partecipare a
Call-INFODay per ICT30 27 gennaio a Bruxelles
https://ec.europa.eu/digital-single-market/en/news/h2020-info-day-ict30-photonics-key-enabling-
technologies
Conoscenza delle politiche Europee correnti in tema di R&I (comunicazioni EC, linee guida del FP, introduzione allo specifico WP ed al FP)
L’INNOVAZIONE è importante: prevedere innovation manager/partner dedicato agli
aspetti d’innovazione, KPI per monitorare innovazione
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
DOMANDE
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
REGISTRATEVI ALLA BANCA DATI DEI VALUTATORI DELLA COMMISSIONE EUROPEA:
http://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html
EVALUATION FORMS PER AUTOVALUTAZIONE:http://ec.europa.eu/research/participants/portal/desktop/en/funding/reference_docs.html#h2020-call_ptef-pt
Istruzioni per i valutatori:http://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html
La mia esperienza con i progetti Europei: Valutatore dal 1999:◦ FP5: Marie Curie, INCO
◦ Fp6: Marie Curie, IP&NoE programma IST, FET-OPEN
◦ Fp7: NMP, Marie Curie ITN
◦ H2020: Research Infrastructures
Reviewer: FP5 ESPRIT Long Term Research & FET-IST, FP6 IST- NoE
Esperto Nazionale Distaccato (END): PhotonicsUnit, EC DG CNECT dal 2008 al 2013
Partecipazione a diversi progetti
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017
Photonics KET- ICT 2014-15
SMEs 28%
Big companies
24%Universities18%
Research Institutes
20%
Cluster 7%
Public Entities 3%
Participation
44 projects362 partners
Funding scheme
59%
34%
4% 3%
RIA
IA
CSA
ERA-NET
29
1
6
2
RIA-IA project coordinators
research
consultant
large company
sme
Istruzioni per i valutatorihttp://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html
Come valutare l’Innovazione'Excellence’ - potenziale d’innovazione del lavoro proposto.
'Impact’ contributo dei risultati del progetto agli expected impacts descritti
nella call;
aumentare le capacità d’innovazione e d’integrazione delle nuove conoscenze e a rafforzare la competitività delle industrie attraverso innovazione che incontra le necessità del mercato.
Indicatori dell’efficacia delle misure proposte (KPI)
Barriere/Ostacoli o regolamenti/standards che influenzano la realizzazione dell’impatto
Draft plan per disseminazione ed uso dei risultati del progetto: ex. strategy for knowledge management and protection (IPR)
’Implementation’ - IMPORTANTE: efficacia dell’innovationmanagement nella management structure del work plan
APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017