r1 ”mecanism de monitorizare și evaluare de...
Post on 15-Jan-2020
11 Views
Preview:
TRANSCRIPT
R1 ” Mecanism de monitorizare și evaluare de
impact”, R1.1. ”Metodologii de evaluare de impact
proiectate și testate”
iulie 2019
PROIECT:
"Dezvoltarea capacităţii administrative a M.C.I. de implementare
a unor acţiuni stabilite în Strategia Naţională de Cercetare, Dezvoltare
tehnologică şi Inovare, 2014-2020 - SIPOCA 27"
Contract nr. 21 / 03.08.2016 / Act adițional nr. 6/03.05.2018
SCOP SI REZULTAT
R1 - ”Mecanism de monitorizare și evaluare de impact” - R1.1. ”Metodologii de evaluare de impact proiectate și testate”
SISTEM DE MONITORIZARE:
Lista și catalog de indicatori de
context, input, output, out
come și de impact – în
responsabilitatea INCSMPS;
Colectarea și procesarea datelor se va
face de către autoritățile de
implementare programe care au
responsabilitate cu specializarea
inteligentă, la nivelul fiecărui instrument
de finanțare/nivel de domeniu și de
obiectiv. Se vor concretiza într-un raport
de progres.
Procesul de descoperire antreprenorială,
în responsabilitatea UEFISCDI, furnizează
informații privind evoluția / schimbare a
celor 4 domenii de specializare
inteligentă stabilite.
SISTEM DE EVALUARE DE IMPACT
INCSMPS a avut de realizat următoarele:
proiectarea, testarea si validarea a două categorii de
metodologii de impact:
cinci metodologii de evaluare de impact, din care:
4 pentru cele 4 domenii de specializare
inteligentă (1. bioeconomie, 2. tehnologia
informației și a comunicațiilor, spațiu și
securitate, 3. Energie, mediu și schimbări
climatice și 4. Eco-nanotehnologii și materiale
avansate);
una pe domeniul de prioritate publică Sănătate;
6-a metodologie de evaluare la nivel național a
impactului agregat al SNCDI 2020.
Implementarea metodologiilor la mid term, rezultând studii
de evaluare de impact pe cele 5 domenii și studiul la nivel
național al impactului agregat al SNCDI 2020.
IPOTEZE ALE EVALUĂRII DE IMPACT LA MID-TERM Evaluarea de impact s-a făcut numai pentru PNCDI III, instrumentul principal de implementare a SNCDI 2020;
A fost măsurat impactul net, adică contribuția efectivă a intervențiilor PNCDI III asupra obiectivelor generale ale SNCDI 2020;
Evaluările de impact ale celorlalte instrumente de implementare strategică în domeniul CDI (POC; POCU, PODR etc.) sunt în responsabilitatea autorităților de implementare a acestor programe, și nu pot fi folosite la evaluarea mid term pentru că nu sunt realizate;
Aplicarea metodologiilor de impact s-a realizat pe baza unor informații și date colectate prin mecanismul de monitorizare, aflat în practică la momentul evaluării, pe care îl are în administrare instituția care implementează intervențiile Planului Național (UEFISCDI).
Alături de aceste informații au fost necesare date statistice de context, oferite de Sistemul Național de Statistică și date colectate la momentul evaluării de la beneficiarii finanțării și de la cei din grupurile de control, prin instrumente de colectare specifice (anchete pe bază de chestionar, interviuri și focus grupuri) elaborate de INCSMPS.
Metodologiile au fost adaptate pentru aplicarea lor la ”mid-term”, rezultatele oferite se referă doar la instrumentele/ proiectele finanțate în această perioadă și finalizate, numai cele din cadrul Programului P2, care se referă la obiectivul OG1 al Strategiei cu referire directă la contribuția Specializărilor inteligente la creșterea competitivității prin inovare
Metodele de evaluare de impact utilizate sunt un mix de metode de tip cantitativ-calitativ:
- Cantitative: metode microeconometrice contrafactuale, metode de agregare pe baza de cost eficacitate și metode macro-econometrice, etc.
- Calitative: interviuri , focus grupuri și studii de caz.
Remarcă:
Aceste rezultate deși parțiale, oferă însă o bună imagine asupra probabilității de a se atinge obiectivele/rezultatele preconizate, dar este însă necesar să fie interpretate ținând cont de ipotezele și limitările precizate.
OBIECTIVE GENERALE ȘI SPECIFICE ALE SNCDI 2020 ȘI INSTRUMENTE ALE PNCDI III
Obiective generale
OG1. Creşterea competitivităţii economiei româneşti prin inovare.
OG2. Creşterea contribuţiei româneşti la progresul cunoaşterii de frontieră.
OG3. Creşterea rolului ştiinţei în societate
3. Obiective specifice
OS1. Crearea unui mediu stimulativ pentru iniţiativa sectorului privat
OS2. Susţinerea specializării inteligente,
OS3. Concentrarea unei părţi importante a activităţilor CDIpe probleme societale,
OS4. Susţinerea aspiraţiei către excelenţă în cercetarea la frontieracunoaşteri
Obiective specifice transversale
OS5. Atingerea până în 2020 a masei criticede cercetători
OS6. Dezvoltarea unor organizaţii de cercetare performante,
CONTEXTUL IMPLEMENTĂRII SNCDI 2020 ȘI A PNCDI III
FINANȚAREA IMPLEMENTĂRII – PLANIFICAT - REALIZAT
2016 2017 2018 2019(p) 2020(p) 2021(p)
PIB (prețuri curente)-
mil. lei635459,4 668590,1 712587,8 765135,4 856726,6 944220,2
GBERD –Fond publice
alocate CDI (% din PIB) –
planificat –prețuri
curente*)
0,57 0,63 0,73 0,83 0,97 1
GERD cheltuieli totale
CDI CA % PIB, realizat 0,45 0,58 0,62 0,68 0,75
GBERD –Fond publice
alocate CDI (% din PIB)-
realizat-prețuri
curente**)
0,38 0,30 0,27 0,28 0,26 0,19
Fonduri alocate M.C.I.,
% din PIB –realizat –
prețuri curente***)
0,28 0,21 0,20 0,20 0,22 0,16
Fonduri alocate PNCDI
III- , %PIB prețuri
curente –realizat****)
0,10 0,09 0,08 0,08 0,09
(p) –prognoză
*) date din SNCDI 2020
**) date calculate pe baza datelor din bugetele naționale consolidate
***) date calculate pe baza datelor execuției bugetului a M.C.I., publicată pe situl: www
****) date calculate pe baza datelor execuției bugetului M.C.I., publicată pe situl www
CONTEXTUL NAȚIONAL
Implementarea SNCDI III s-a realizat într-un context economic favorabil, de creștere economică
susținută
Deficit bugetar în 2018 la 3% din PIB (față de 2,9% în 2014 și 2,7% în 2016), acesta fiind cu 2,4 puncte
procentuale mai mare față de media UE în 2018
Datoria publică s-a redus, ajungând în anul 2018 la 35,1%
Piața muncii mai puțin favorizantă - șomaj mic ( rata șomajului BIM 5% ); deficite mari de ofertă,
migrație mare, spor natural negativ
Sursa: Economic Research Division, Federal Reserve
Bank of St. Louis https://alfred.stlouisfed.org
REZULTATELE SISTEMULUI NAȚIONAL DE INOVARE
ROMÂNIA ESTE UN INOVATOR MODEST
Sursa: European Innovation
Scoreboard 2019
PROGRESUL ÎN IMPLEMENTARE
Distribuția proiectelor depuse pe domenii de specializare
inteligentă
Denumire
instrument Total
D1
Bioeconomie
D2 TIC,
spațiu,
securitate
D3 -
Energie,
mediu
shimbari
climatice
D4 – Eco
nano
tehnologii
si
materiale
avansate
D5
Sănătate
D6
Patrimoniu,
identitate
culturala
BG 463 113 100 98 73 66 13
PED 2074 361 353 426 507 360 67
PTE 217 35 59 38 59 24 2
Cecuri
inovare
2017 323 147 57 54 40 20 5
TOTAL 3077 656 569 616 679 470 87
Distribuția proiectelor eligibile pe domenii de specializare inteligentă
Denumire
instrument Total
D1
Bioeconomie
D2
TIC, spațiu,
securitate
D3
Energie,
mediu
schimbări
climatice
D4
Eco-nano
tehnologii si
materiale
avansate
D5
Sănătate
D6
Patrimoniu
identitate
culturala
BG 453 111 98 96 71 64 13
PED 2064 358 351 423 506 359 67
PTE 208 34 57 35 57 23 2
Cecuri
inovare
2017 304 138 53 50 38 20 5
TOTAL 3029 641 559 604 672 466 87
% Proiecte eligibile
în total proiecte depuse
Denumire
instrumentTotal
D1
Bioeconomie
D2
TIC,
spațiu,
securitate
D3
Energie,
mediu
schimbări
climatice
D4
Eco-nano
tehnologii
si
materiale
avansate
D5
Sănătate
D6
Patrimoniu,
identitate
culturala
BG 97,8 98,2 98,0 98,0 97,3 97,0 100,0
PED 99,5 99,2 99,4 99,3 99,8 99,7 100,0
PTE 95,9 97,1 96,6 92,1 96,6 95,8 100,0
Cecuri
inovare 201794,1 93,9 93,0 92,6 95,0 100,0 100,0
PROGRESUL ÎN IMPLEMENTARE
continuare
Distribuția proiectelor finanțate pe domenii de specializare inteligentă
Denumire
instrument
TotalD1 Bioeconomie
D2 TIC, spațiu,
securitate
D3 - Energie,
mediu schimbări
climatice
D4 - Econano
tehnologii si
materiale
avansate
D5 Sănătate
D6 Patrimoniu,
identitate
culturala
BG 126 33 27 24 20 19 3
PED 252 48 59 44 48 46 7
PTE 57 12 15 11 15 3 1
Cecuri
inovare 2017147 54 33 29 21 6 4
TOTAL 582 147 134 108 104 74 15
% finanțate în proiecte eligibile
Denumire
instrument
Total D1 Bioeconomie
D2 TiC, spațiu,
securitateD3 - Energie,
mediu schimbări
climatice
D4 - Econano
tehnologii si
materiale
avansate
D5
Sănătate
D6 Patrimoniu,
identitate culturală
BG27.8 29.7 27.6 25.0 28.2 29.7 23.1
PED 12.2 13.4 16.8 10.4 9.5 12.8 10.4
PTE 27.4 35.3 26.3 31.4 26.3 13.0 50.0
Cecuri inovare
2017
48.4 39.1 62.3 58.0 55.3 30.0 80.0
REZULTATELE EVALUĂRII DE IMPACT
Întrebările de evaluare urmărite în metodologia de evaluare de impact pe domenii:
1.Care este progresul ce poate fi observat la nivelul domeniului de specializare inteligentă / prioritate publică din perspectiva rezultatelor așteptate, de la momentul adoptării intervenției?
2.În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce poate fi atribuit? La nivelul căror grupuri țintă efectul atribuit intervenției este mai important?
3.Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în ce context?
4.Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor de finanțare?
5. În ce măsură și cum ar fi putut lucrurile fi făcute mai bine?
6. Ce factori au influențat progresul la nivelul domeniului de specializare inteligentă?
REZULTATELE EVALUĂRII DE IMPACT
Mixul de metode cantitativ - calitativ
Imaginea sintetică a abordărilor metodologice pentru evaluarea de impact se prezintă astfel:
REZULTATELE EVALUĂRII DE IMPACT
Datele utilizate în evaluarea de impact la nivelul domeniilor:Tip date Sursa date Întrebare de
evaluare
Metodă de evaluare a impactului/ Metodă
de analiză
Date administrative privind implementarea
PNCDI III
UEFISCDI I1, I4 Analiza datelor administrative
Date administrative privind implementarea
POC
AM POC I1, I4 Analiza datelor administrative
Microdate privind indicatorii de rezultat
obținuți de beneficiarii instrumentelor de
finanțare
UEFISCDI I1, I2 Analiza datelor – profil beneficiari și analiză
ezultate obținute
Analiza de rețea
Date primare colectate prin anchetă
sociologică în întreprinderi (de la beneficiari,
respectiv non-beneficiari pentru grupurile de
control)
Date colectate
prin anchetă
I2, I3, I4 Metode de evaluare contrafactuală a
impactului
Analiza cost-eficacitate
Date primare colectate prin anchetă
sociologică în organizațiile de cercetare
beneficiare
Date colectate
prin anchetă
I1, I4 Analiza rezultatelor
Analiza factorilor care au contribuit la
efectele obținute
Microdate secundare privind întreprinderile
beneficiare și non-beneficiare ale intervențiilor
ONRC I2, I3 Metode de evaluare contrafactuală a
impactului
Date macroeconomice privind contextul
implementării
INS, EUROSTAT I1 Analiza datelor
Date primare colectate prin interviuri în rândul
beneficiarilor
Date colectate
prin interviuri
I2, I3, I4, I5,
I6
Interviul individual pentru stabilirea lanțului
causal
Studii de caz
Analiza bunelor practici
Date colectate prin focus-grup I4, I5, I6 Focus-grupuri
Analiza bunelor practice
ABORDAREA CANTITATIVĂ
1. Coordonate metodologice ale metodelor contrafactuale
Metoda evaluării contrafactuale de impact permite cuantificarea măsurii și a
direcției legăturii în care un anumit instrument de finanțare produce efectul
dorit.
Scenariul contrafactual permite estimarea a ce s-ar fi întâmplat în absența
intervenției. Prin intermediul construcției a două grupuri de unități similare în
caracteristici observabile, cu diferența că unitățile grupului de tratament au avut
acces la intervenție, în timp ce unitățile grupului de control nu au beneficiat de
tratament, se va putea măsura impactul net al intervenției.
Principalele metode de evaluare contrafactuală sunt:
Metoda Propensity Score Matching (PSM)
Metoda diferenței-în-diferențe (DID)
Metoda regresiei discontinue (RD)
Modelul Heckman de regresie în doi pași (RH)
ABORDAREA CANTITATIVĂ
Selecția instrumentelor de finanțare pentru evaluarea contrafactuală:
In cadrul evaluării mid-term au fost identificate următoarele instrumente de finanțare
din cadrul PNCDI III pentru aplicarea metodelor contrafactuale:
Proiect Bridge Gant - Transfer de cunoaștere la agentul economic (BG)PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare
Cecuri de inovare (CI)PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare
Transfer la operatorul economic (PET) PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare
Proiect experimental demonstrativ (PED)PNCDI III, Programul 2, Subprogram 2.1.Competitivitate prin cercetare, dezvoltare şi inovare
Limitări metodologice:
Disponibilitatea datelor:
numărul limitat de proiecte finanțate și finalizate până la momentul evaluării de
impact al intervențiilor;
limitările procesului de colectare a datelor;
limitarea numărului instrumentelor de finanțare pentru care ar fi posibilă
aplicarea tehnicilor contrafactuale.
Grad diferit de generalitate al impactului estimat al instrumentului de finanțare in
funcție de metoda contrafactuală aplicată.
ABORDAREA CANTITATIVĂ
ABORDAREA CANTITATIVĂ
2. Coordonate metodologice privind analiza cost-eficacitate
Pentru integrarea rezultatelor cantitative produse de evaluările de impact realizate la
nivelul instrumentelor de finanțare propunem o analiză de tip cost-eficacitate, ce
permite compararea instrumentelor de finanțare cu obiective similare.
Etapele analizei de tip cost-eficacitate:
Etapa 1. Identificarea programelor care au obiective comune
Etapa 2. Stabilirea costurilor totale ale fiecărei intervenții
Etapa 3. Măsurarea impactului fiecărei intervenții
Etapa 4. Calcularea raportului cost-eficacitate si ierarhizarea instrumentelor relevante
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Întrebările de evaluare la care a răspuns abordarea cantitativă:
I1. Care este progresul ce poate fi observat la nivelul domeniului de specializare
inteligentă din perspectiva rezultatelor așteptate, de la momentul adoptării
intervenției?
I2. În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce
poate fi atribuit? La nivelul căror grupuri țintă efectul atribuit intervenției este
mai important?
I3. Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în
ce context?
I4. Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor de finanțare?
I5. În ce măsură și cum ar fi putut lucrurile fi făcute mai bine?
Informații privind colectarea datelor prin anchete față în față în rândul întreprinderilor:
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Tip
cercetare
Populația pentru
aplicarea sondajelor
Metode de
construire a
eșantionului
Metode de
organizare
a
sondajelor
Categorie
grup și
metoda ECI
vizată
Cercetare
statistică
exhaustivă
Întreprinderi care au
beneficiat de finanțare și
întreprinderi care au
aplicat, dar nu au obținut
finanțare în cadrul
intervențiilor PNCDI III
Exhaustiv Chestionar
față în față
Grup tratament
(beneficiari)
Grup control
(non-
beneficiari)
(RD, DID)
Cercetare
statistică
prin
anchetă
socilogică
Întreprinderi active care nu
au beneficiat de finanțare
PNCDI III – pe baza
datelor de la Reg. Com
Eșantion
probabilist
stratificat
Chestionar
față în față
Grup control
(PSM, RD,
DID)
Cercetare
statistică
prin
anchetă
sociologică
Organizații de cercetare
care au beneficiat de
finanțare PNCDI III prin
Programul 2 - Proiect
experimental demonstrativ
Exhaustiv Chestionar
față în față
n/a
Principalele dimensiuni/ variabilele de
interes pentru culegerea datelor în rândul
întreprinderilor: coordonate ale activității de cercetare
sursa finanțărilor cheltuielilor de CDI: fonduri publice
naționale, fonduri externe, fonduri private
rezultate obținute din activitatea de cercetare
(publicații, produse/ tehnologii/ servicii, etc.)
colaborări cu organizații de cercetare/ universități
participări la competiții pentru accesarea de fonduri
destinate cercetării
venituri din vânzarea de produse de CDI proprii
nivelul si evoluția cifrei de afaceri, a activelor, a
datoriilor
nivelul și evoluția numărul mediu anual de salariați
și a personalului (echivalent) direct implicat in CDI
nivelul si evoluția cheltuielilor de CDI
achiziția de produse de CDI de la terți, etc.
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Distribuția pe programe și instrumente de finanțare a firmelor finanțate prin PNCDI
III care au răspuns la chestionarele aplicate :
Program/
acțiune
Instrument de
finanțare
Nr. firme
investigate
TOTAL
Nr. firme
investigate
Bioeconomie
Nr. firme
investigate
TIC
Nr. firme
investigate
Energie
Nr. firme
investigate
Eco-nano-
tehnologii
Nr. firme
investigate
Sănătate
PNCDI III
Program 2.
Creșterea
competitivită
ții economiei
românești
prin CDI
Cecuri de inovare
(CI)94 36 21 19 15 3
Bridge Grant (BG)63 17 20 15 10 7
Transfer la
operatorul
economic (PTE)
36 10 13 7 10 3
Proiect
experimental
demonstrativ (PED)
17 3 4 5 4 2
TOTAL FIRME INVESTIGATE 210 66 58 46 39 15
Întrucât anumite firme au beneficiat de finanțări multiple în cadrul Programului 2 PNCDI III și pe
domenii distincte, se obține un total de 224 de cazuri, pe baza unui eșantion de 192 firme distincte.
Grupul de control de firme care nu au beneficiat de finanțare prin PNCDI III a fost constituit din 1650
de firme, dintre care 342 aplicante nefinanțate la Programul 2 din cadrul PNCDI III și 1308
neaplicante.
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Progresul observat la nivelul domeniilor de specializare inteligentă/prioritate
publică din perspectiva rezultatelor așteptate:
Instrument de finantare Nr. proiecte depuseNr. proiecte
finantate
Suma finantata
(mil.lei)
BG 463 126 55.7
CI 323 147 7.3
PTE 217 57 113.0
PED 2074 252 138.1
BG1.
Bioeconomie
2.
TIC3. Energie
4. Eco-nano-
tehnologii
5.
SănătateTOTAL
Nr. proiecte finantate 33 27 24 20 19 126
Sume finantate (mil. lei) 14.4 12.0 10.9 8.7 8.4 55.7
Brevete 8 1 4 0 2 15
Produse-tehnologii 7 16 1 32 2 58
Articole ISI si BDI 56 29 40 14 35 190
CI1.
Bioeconomie
2.
TIC3. Energie
4. Eco-nano-
tehnologii
5.
SănătateTOTAL
Nr. proiecte finantate 54 33 29 21 6 147
Sume finantate (mil. lei) 2.7 1.6 1.4 1.0 0.3 7.3
Brevete 23 4 15 7 1 53
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Progresul observat la nivelul domeniilor de specializare inteligentă/prioritate
publică din perspectiva rezultatelor așteptate:
PTE1.
Bioeconomie
2.
TIC3. Energie
4. Eco-nano-
tehnologii
5.
SănătateTOTAL
Nr. proiecte finantate 12 15 11 15 3 57
Sume finantate (mil. lei) 21.5 31.1 21.4 30.5 6.9 113.0
Brevete 3 0 2 3 0 8
Produse-tehnologii 5 31 4 27 0 69
Articole ISI si BDI 21 12 8 23 2 66
PED1.
Bioeconomie
2.
TIC3. Energie
4. Eco-nano-
tehnologii
5.
SănătateTOTAL
Nr. proiecte finantate 48 59 44 48 46 252
Sume finantate (mil. lei) 23.7 29.4 26.7 29.3 24.8 138.1
Brevete 2 2 2 10 3 19
Produse-tehnologii 8 13 9 22 27 87
Articole ISI si BDI 34 30 53 56 20 198
POC Axa 11.
Bioeconomie
2.
TIC3. Energie
4. Eco-nano-
tehnologii
5.
SănătateTOTAL
Nr. proiecte finantate 3 22 4 9 8 46
Sume finantate (mil.
lei) 7.6 162.3 17.7 29.8 41.7 259
Brevete 2 8 1 4 1 16
Total echipamente de
CD 0 55 10 0 19 84
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Măsura în care progresul observat poate fi atribuit intervenției
Tabel. Rezultatele impactului net global măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH
Instrument de
finanțare
OG1 OG2
Produse/ Tehnologii/
Metode/ Servicii noi
sau semnificativ
îmbunătăţite
realizate
Brevete solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice public-
private
Colaborări în
scopul obținerii de
servicii sau
produse de CD
Ritmul de
creștere al
cifrei de
afaceri
Publicaţii
ştiinţifice
internaționale
BG 0,88 0,04 0,41-0,52 0,51-0,56 0.67
CI 0,9 – 1,14 0,38 0,39-0,66 2,52
PTE 1,85 0,68 1,22 0,41-0,79 0,71 1,12
PED 1.07 0,66-1,08
Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net)
Instrument de
finanțare
OG1 OG2
Produse/ Tehnologii/
Metode/ Servicii noi
sau semnificativ
îmbunătăţite realizate
Brevete solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice public-
private
Colaborări în
scopul obținerii
de servicii sau
produse de CD
Ritmul de
creștere al cifrei
de afaceri
Publicaţii
ştiinţifice
internaționaleCostul finanțării
(mil. lei)
BG63,3 1391,5 119,7 104,0 83,1 55,7
CI7,1 18,9 13,9 2,9 7,3
PTE61,1 166,2 92,6 188,3 159,1 100,9 113,0
PED 125,1 153,8 133,8
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Măsura în care progresul observat poate fi atribuit intervenției - Bioeconomie
Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH
Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net)
Instrument
de finanțare
OG1 OG2
Produse/
Tehnologii/
Metode/ Servicii
noi sau
semnificativ
îmbunătăţite
realizate
Brevete
solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice
public-private
Colaborări în
scopul
obținerii de
servicii sau
produse de
CD
Ritmul de
creștere al cifrei
de afaceri
Publicaţii
ştiinţifice
internaționale
Costul
finanțării
aferent
domeniului
Bioeconomie
(mil. lei)
BG 10,3 12,3 29,7 7,4 14,4
CI 2,2 3,3 5,2 2,7
PTE 10,8 12,1 10,8 38,5 21,5
Instrument
de finanțare
OG1 OG2
Produse/
Tehnologii/
Metode/ Servicii
noi sau
semnificativ
îmbunătăţite
realizate
Brevete
solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice
public-private
Colaborări în
scopul
obținerii de
servicii sau
produse de
CD
Ritmul de
creștere al cifrei
de afaceri
Publicaţii
ştiinţifice
internaționale
BG 0,96-1,82 0,43-1,91 0,33-0,64 1,01-2,90
CI 1,21 0,79-0,84 0,46-0,57
PTE 2 1,78 2 0,56
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Măsura în care progresul observat poate fi atribuit intervenției - TIC
Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH
Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net)
Instrument de
finanțare
OG1 OG2
Produse/ Tehnologii/
Metode/ Servicii noi
sau semnificativ
îmbunătăţite realizate
Brevete
solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice public-
private
Colaborări în
scopul obținerii
de servicii sau
produse de CD
Ritmul de creștere
al cifrei de afaceri
Publicaţii ştiinţifice
internaționale
Costul finanțării
(mil. lei)
BG 17,65 17,91 12,0
CI 1,12 2,42 2,05 1,6
PTE 100,32 43,80 59,81 81,84 31,1
Instrument de
finanțare
OG1 OG2
Produse/
Tehnologii/
Metode/ Servicii
noi sau
semnificativ
îmbunătăţite
realizate
Brevete solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice public-
private
Colaborări în
scopul obținerii
de servicii sau
produse de CD
Ritmul de creștere
al cifrei de afaceri
Publicaţii ştiinţifice
internaționale
BG 0,43-0,93 0,67
CI 1,31-1,54 0,57-0,75 0,78
PTE 0,31 0,71 0,49-0,55 0,38
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Măsura în care progresul observat poate fi atribuit intervenției - Energie
Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH
Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net)
Instrument de
finanțare
OG1 OG2
Produse/
Tehnologii/
Metode/ Servicii
noi sau
semnificativ
îmbunătăţite
realizate
Brevete solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice
public-private
Colaborări în
scopul obținerii
de servicii sau
produse de CD
Ritmul de
creștere al cifrei
de afaceri
Publicaţii
ştiinţifice
internaționale
Costul
finanțării (mil.
lei)
BG 18,8 18,8 10,9
CI 2,5 1,8 0,5 1,4
Instrument
de finanțare
OG1 OG2
Produse/ Tehnologii/
Metode/ Servicii noi
sau semnificativ
îmbunătăţite realizate
Brevete
solicitate/
obținute la
nivel naţional
şi
internaţional
Co-publicaţii
ştiinţifice
public-
private
Colaborări în
scopul obținerii
de servicii sau
produse de
CD
Ritmul de
creștere al cifrei
de afaceri
Publicaţii
ştiinţifice
internaționale
BG 0,58 0,58
CI 0,57 0,71-0,87 2,94
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Măsura în care progresul observat poate fi atribuit intervenției – Eco-nano-tehnologii
Tabel. Rezultatele impactului net măsurat la nivelul instrumentelor de finanțare prin metodele PSM, RD și RH
Tabel. Raportul cost-eficacitate (cheltuială exprimată în mil. lei per efect net)
Instrument de
finanțare
OG1 OG2
Produse/
Tehnologii/
Metode/ Servicii
noi sau
semnificativ
îmbunătăţite
realizate
Brevete
solicitate/
obținute la
nivel naţional
şi
internaţional
Co-publicaţii
ştiinţifice
public-private
Colaborări în
scopul
obținerii de
servicii sau
produse de
CD
Ritmul de
creștere al
cifrei de
afaceri
Publicaţii
ştiinţifice
internaționale
Costul finanțării
(mil. lei)
BG17,3 8,7
CI0,7 1,7 1,0
PTE85,8 12,7 30,5
Instrument
de finanțare
OG1 OG2
Produse/
Tehnologii/
Metode/ Servicii
noi sau
semnificativ
îmbunătăţite
realizate
Brevete
solicitate/
obținute la nivel
naţional şi
internaţional
Co-publicaţii
ştiinţifice
public-private
Colaborări în
scopul
obținerii de
servicii sau
produse de
CD
Ritmul de
creștere al cifrei
de afaceri
Publicaţii
ştiinţifice
internaționale
BG 0,5
CI 1,46 0,62
PTE 0,33-0,38 2,39
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Analiza rețelei de parteneriate pentru proiectele derulate prin Programul 2
Fig. Rețeaua PTE
Se distinge: Universitatea Politehnică din București (U10)
Fig. Rețeaua PEDSe disting: Universitatea București (U11) și
Universitatea Politehnică București (U25).
Fig. Rețeaua BG
Se disting: Universitatea Politehnica din București-U25, Universitatea
Tehnică din Cluj-Napoca-U29 și Universitatea București-U13
Fig. Rețeaua CI
Se distinge: Universitatea de științe agricole
și Medicină veterinară Cluj-Napoca (U13)
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor de finanțare?”
Tabel. Rezultate obținute din anchetele în rândul firmelor, respectiv organizațiilor de cercetare
ASPECTE POZITIVE ASPECTE NEGATIVE
FIRME • Modul de redactare a pachetului de
informații (clar formulat, fără informații
redundante, cu informații bine structurate)
• Procesul de contractare
Durata evaluării
ORGANIZAȚII
DE CERCETARE
Modul de redactare a pachetului de informații
(clar formulat, fără informații redundante, cu
informații bine structurate)
Procesul de contractare
Comunicarea cu reprezentanții instituției
finanțatoare
Calitatea monitorizării proiectului
• Durata evaluării
• Calitatea evaluării (criterii de evaluare
adecvate, transparența evaluării, calitatea
comentariilor evaluatorilor, etc.)
• Predictibilitatea finanțării
• Birocrația asociată implementării proiectului
(birocrația asociată raportărilor tehnice și
financiare, birocrația asociată proceselor de
achiziție, etc.)
REZULTATELE EVALUĂRII DE IMPACT LA NIVEL NAȚIONAL
Metodele propuse pentru evaluarea impactului SNCDI 2014-2020
Metoda propusă Nivel de evaluare a impactului
Național Domeniu de
specializare
inteligentă (+prioritate
publică Sănătate)
Instrument de
finanțare
1 Metodă de evaluare contrafactuală - Diferență-
în-diferență (DID)X
X
2 Metodă de evaluare contrafactuală – Propensity
score matching (PSM)X
X
3 Metodă de evaluare contrafactuală – Regresia
discontinuă (RD)X
X
4 Modele Heckman de regresie în doi pași X X
5 Analiza cost-eficacitate X X
6 Interviul individual pentru stabilirea lanțului
cauzal
X
7 Studii de caz X X
8 Focus grupuri X X
9 Modele logice pentru evaluarea efectelor de
spillover
X
10 Analiza multicriterială X
11 Analiza bunelor practici X X
12 Model macroeconomic Input-Output X
13 Analiza rețelelor de colaborare X
14 Integrare rezultate de la nivelul
Instrumentelor de finanțare
X X
15 Integrare rezultate de la nivelul domeniilor de
specializare inteligentă
X
16 Analiza indicatorilor de rezultat X X X
17 Analiza evoluției indicatorilor țintă ai SNCDI X
REZULTATELE EVALUĂRII DE IMPACT LA NIVEL NAȚIONAL
Datele care au stat la baza evaluării impactului SNCDI 2014-2020 de impact
Tip date Sursa date Metodă de evaluare a impactului/ Metodă de
analiză
Date administrative privind implementarea PNCDI III UEFISCDI Analiza datelor administrative
Date administrative privind implementarea POC AM POC Analiza datelor administrative
Date statistice din Conturile naționale cu privire la
fluxurile dintre activitățile economice (input-output)
INS Modelul input-output
Date statistice cu privire la indicatorii țintă ai SNCDI INS, Eurostat Analiza progresului în raport cu țintele
Microdate privind indicatorii de rezultat obținuți de
beneficiarii instrumentelor de finanțare
UEFISCDI Analiza datelor – profil beneficiari și analiză
ezultate obținute
Analiza de rețea
Date primare colectate prin anchetă sociologică în
întreprinderi (de la beneficiari, respectiv non-
beneficiari pentru grupurile de control)
Date colectate prin
anchetă
Metode de evaluare contrafactuală a impactului
Analiza cost-eficacitate
Date primare colectate prin anchetă sociologică în
organizațiile de cercetare beneficiare
Date colectate prin
anchetă
Analiza rezultatelor
Analiza factorilor care au contribuit la efectele
obținute
Microdate secundare privind întreprinderile
beneficiare și non-beneficiare ale intervențiilor
ONRC Metode de evaluare contrafactuală a impactului
Date macroeconomice privind contextul implementării INS, EUROSTAT Analiza datelor
Date primare colectate prin interviuri în rândul
beneficiarilor
Date colectate prin
interviuri
Interviul individual pentru stabilirea lanțului causal
Studii de caz
Analiza bunelor practici
Date colectate prin focus-grup Focus-grupuri
Analiza bunelor practice
REZULTATELE EVALUĂRII DE IMPACT LA NIVEL NAȚIONAL
Contribuția SNCDI 2014-2020 la evoluția PIB-ului
S-au estimat efectele directe, indirecte și induse pe care activitatea de CD și cheltuielile pentru
CD prin SNCDI le-au produs asupra formării PIB.
Pentru estimarea acestor efecte s-a utilizat modelul statistic dezvoltat de V. Leontief care pe baza
relațiilor inter-sectoriale în cadrul unei economii, descrie modul în care o unitate de output (ieșire)
dintr-un anumit sector poate deveni input (intrare) într-un alt sector, prin estimarea unor
multiplicatori.
Natura contribuției (%) Programe 2015 2016 2017 2018TOTAL
2015-2018
Contributia directa
TOTAL PNCDI3 +
NUCLEU+POC
0.05 0.52 0.18 0.09 0.21
Contributia directa+indirecta
TOTAL PNCDI3 +
NUCLEU+POC
0.06 0.64 0.22 0.11 0.25
Contributia
directa+indirecta+indusa
TOTAL PNCDI3 +
NUCLEU+POC
0.07 0.81 0.27 0.14 0.32
PRINCIPALELE REZULTATE
ALE EVALUARILOR DE IMPACT LA NIVELUL DOMENIILOR
DE SPECIALIZARE INTELIGENTĂ/ PRIORITATE PUBLICA
Concluziile desprinse din analiza cantitativă
În urma analizei contrafactuale de impact la nivelul domeniilor de specializare inteligentă/
prioritate publică, se constată, în general, efecte pozitive, dar modeste, ce pot fi atribuite
instrumentelor de finanțare analizate asupra indicatorilor de impact.
Totuși, pentru anumiți indicatori și anumite instrumente de finanțare, impactul estimat s-a
dovedit a fi mai important la nivel de domeniu de specializare inteligentă/ prioritate publică
decât per total domenii.
Cu toate acestea, semnalăm faptul că dimensiunea redusă a eșantioanelor de întreprinderi
finanțate investigate prin anchetă statistică a limitat gradul de aplicabilitate a tehnicilor
contrafactuale de impact, care să poată permite estimarea unor efecte nete statistic
semnificative.
În acest sens, spre exemplu, amintim faptul că în cazul domeniului Sănătate sau respectiv în
cazul instrumentului de finanțare PED nu au putut fi estimate efectele nete ale intervenției, ca
urmare a numărului redus de observații colectate.
O altă problemă semnalată de echipa de evaluare vizează procesul dificil de selectare și de
contactare a beneficiarilor intervențiilor, cauzate de lipsa informațiilor cu privire la datele de
contact ale acestora.
Obiectivele abordării calitative
1. Investigarea efectelor instrumentelor de finanțare
2. Identificarea factorilor care au influențat rezultatele instrumentelor de
finanțare, inclusiv factorii contextuali
3. Identificarea mecanismelor instituționale care au frânat sau care au facilitat
atingerea rezultatelor intervențiilor
4. Identificarea efectelor neintenționate pozitive și negative ale intervențiilor
5. Identificarea unor recomandări de îmbunătățire a instrumentelor de finanțare
Metode utilizate
Focus grup – 5 focus grupuri, câte unul pentru fiecare domeniu de specializare inteligentă
5-11 participanți dintre beneficiari (universități, institute de CDI, firme)
Interviuri cu reprezentanți ai instituțiilor responsabile cu implementarea și monitorizarea PNCDI III și POC
5 interviuri UEFISCDI
4 interviuri MCI
Studiu de caz asupra proiectelor de cercetare – 50 de proiecte finalizate finanțate prin PNCDI III și POC
Avantajele metodelor:
oferă informații complementare abordării cantitative, care pot susține construirea explicațiilor
culeg de informații cu privire la context
permit explorarea altor efecte
Limitele metodei:
Număr relativ scăzut de proiecte care pot fi studiate (metodă costisitoare)
Selecția cazurilor (se face pe baza considerentelor teoretice, dar și practice – accesibilitatea proiectelor)
Metode utilizate
Studiu de caz asupra proiectelor finanțate (finalizate)
S-au în vedere unități de analiză multiple: organizații (instituții coordonatoare, organizații
partenere) și cercetători
Tehnici utilizate pentru colectarea datelor sunt următoarele:
Interviuri semi-structurate cu reprezentanți ai organizațiilor coordonatoare / instituțiilor
gazdă
Interviuri semi-structurate cu directori de proiect și responsabili științifici ai partenerilor
Analiza surselor administrative de date: rapoarte de activitate ale organizațiilor care au
implementat proiectul de cercetare, documente organizaționale, informații privind proiectul
de cercetare.
Au fost studiați factori de influență: 1) caracteristici ale organizațiilor, 2) caracteristici ale
instrumentelor de finanțare și 3) condiții de context
Distribuția studiilor de caz pe programe,
instrumente de finanțare și domenii
Program Sub-program/acțiune Instrument de finanțare Nr. proiecte
PNCDI
III
Program 2. Creșterea
competitivității economiei
românești prin CDI
Proiect experimental
demonstrativ (PED)
12
Cecuri de inovare (CI) 5
Bridge Grant (BG) 9
Transfer la operatorul
economic (PTE)
9
Program 3. Cooperare
europeană și internațională
Proiecte mobilități RO-MD 4
Proiecte Eurostars 1
Program 4. Cercetare
fundamentala si de frontiera
ERC-LIKE 1
POC Acțiunea 1.1.1. A. Investiții pentru
departamentele de CD
ale întreprinderilor
1
Acțiune 1.2.1. C. Întreprinderi inovatoare
de tip start-up și spin-off
3
Acțiune 1.2.1. D. Întreprinderi nou-
înființate inovatoare
5
TOTAL STUDII DE CAZ 50
Bioeconomie; 8
TIC, spațiu și securitate ; 11
Energie, mediu și schimbări climatice; 11
Eco-nano-tehnologii și
materiale avansate; 8
Sănătate; 11
alta; 1
Efecte la nivelul organizațiilor și cercetătorilor
Cele mai importante beneficii:
obținerea de noi cunoștințe
creșterea vizibilității prin publicații internaționale
atragerea unor tineri cercetători
obținerea unor rezultate de CD (materializate prin cereri de brevete)
deschiderea unor noi direcții de cercetare și colaborare
dezvoltarea infrastructurii de CD (cu precădere prin POC)
Transferul în mediul economic
Durata redusă a proiectelor – dificultăți în realizarea transferului
Provocarea rămâne trecerea la producția de scară și promovarea produselor care rămân în sarcina mediului economic
”E foarte greu cu agenţii economici în România. Ei sunt mai degrabă interesaţi de beneficii materiale imediate, ştiţi? Ori acest tip de proiecte vizează beneficii pe termen lung, prin implementarea rezultatelor cercetării.” (Interviu Director de proiect)
Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor
de finanțare?
Puncte TARI:
Tipul parteneriatelor finanțate prin diferitele instrumente a fost considerat adecvat și cuprinzător
Complementaritatea expertizei partenerilor – a permis cercetări interdisciplinare
Colaborarea cu reprezentanții instituțiilor care asigură implementarea programelor a fost apreciată favorabil
Puncte SLABE
Discontinuități în finanțarea proiectelor, mai ales în prima parte a anului
Dificultăți pentru organizațiile fără venituri proprii
Realizarea cheltuielilor absolut necesare
Evaluarea proiectelor:
Durata prea lungă a evaluării
Imposibilitatea contestării
Criterii de evaluare neclare, aplicate neunitar
Lipsa specialiștilor pe unele sub-domenii evaluate
Disonanțe între punctaje și comentariile de justificare
Comentarii vagi, nespecifice
Timpul prea lung de la depunerea propunerii până la implementarea proiectului (modificarea condițiilor)
Ce ”a mers” și ce ”nu a mers” în implementarea instrumentelor
de finanțare?
Puncte SLABE
Durata prea scurtă a proiectelor în raport cu timpul necesar atingerii obiectivelor,
dezvoltării produselor și realizării testelor specifice
Probleme deosebite s-au înregistrat în cadrul proiectelor cu aplicație în sectorul
medical și agricol (Bioeconomie, Sănătate)
Inadecvarea unor indicatori de rezultat solicitați de proiect la durata proiectului și la
specificul instrumentului de finanțare
Atragerea tinerilor cercetători a fost afectată de faptul că procedurile de recrutare și
angajare în organizațiile de cercetare necesită o perioadă de timp care influențează
negativ desfășurarea proiectului
Lipsa de flexibilitate în ceea ce privește modificarea salariilor, creșterea numărului de
cercetători pe parcursul proiectului, modificarea timpului de lucru alocat posturilor sau
comasarea unor poziții
În ce măsură și cum ar fi putut lucrurile
fi făcute mai bine?
Pregătirea cercetătorilor pentru elaborarea propunerilor de proiecte
Îmbunătățirea calității pachetelor de competiție, clarificarea condițiilor de depunere și
implementare a proiectelor
Reducerea birocrației asociată depunerii proiectelor
Simplificarea procedurilor birocratice asociate achizițiilor și a riscurilor de nerambursare
a cheltuielilor
Simplificarea procedurilor de recrutare și angajare în proiecte
Mărirea perioadei în care se poate face raportarea finală, astfel încât să poată fi
raportate și articolele care sunt acceptate și publicate după finalizarea proiectului
Îmbunătățirea procesului de înregistrare a rezultatelor în Registrul rezultatelor; în
prezent, acesta nu răspunde obiectivelor sale și nu oferă o evidență adecvată.
”Reducerea numărului de declaraţii pentru etapa de aplicaţie. Semnam declaraţii. Du-teacolo, dincolo, aleargă fiecare partener să îşi semneze declaraţiile. La contractare semnezidin nou declaraţiile” (Interviu Director de proiect)
Ce factori au influențat progresul la nivelul
domeniilor de specializare inteligentă ?
Factori externi organizațiilor- Nivelul general scăzut al finanțării pentru cercetare
- Lipsa de continuitate a competițiilor de proiecte la nivel național, perioade
lungi de timp în care nu a existat oportunitatea de a aplica pentru finanțare
- Acces redus la sursele de finanțare internaționale din cauza lipsei de
vizibilitate a organizațiilor românești
- Gradul de dezvoltare a eco-sistemului de cercetare la nivel local/regional
Factori interni organizațiilor- Pierderi de personal, pe fondul discontinuităților din finanțare
- Criteriile de promovare favorizează publicațiile în defavoarea transferului,ceea ce a inhibat activitatea de transfer tehnologic
- Infrastructura de cercetare învechită
Concluzii
Există intenția și interesul ca cercetările derulate în proiecte să fie continuate pentru a fi atins un nivel TLR superior
Continuarea cercetărilor este frânată de lipsa oportunităților de finanțare
Accesarea unor alte surse de finanțare care să permită continuarea cercetărilor a fost extrem de dificilă pentru că nu au mai existat competiții naționale în domeniu
Acces redus la finanțările externe ca urmare a finanțărilor reduse de la nivel național
Activitatea echipelor de cercetare a fost afectată de lipsa continuității surselor de finanțare și dificultatea de a susține activitatea profesională exclusiv din proiecte
Atragerea tinerilor cercetători (masteranzi, doctoranzi) s-a realizat în multe cazuri doar pe perioadă determinată, angajarea lor neputând fi susținută după finalizarea proiectelor
Domeniile de specializare inteligentă prezintă un potențial foarte mare, însă, deocamdată, transferul tehnologic nu este facil în România deoarece numărul de producători este extrem de mic
Transferul în mediul economic ar fi mai bine sprijinit dacă și agenții economici ar primi sprijin financiar consistent în acest sens
Recomandări
Creșterea nivelului general de finanțare a activităților de cercetare
Dezvoltarea unui cadru de finanțare multi-anuală, conștientizat ca nevoie a mediului de cercetare de multă vreme și neimplementat până în prezent
O mai bună conectare a cercetării la mediul economic - Facilitarea unor întâlniri între instituțiile de cercetare și mediul economic pe durata pregătirii aplicațiilor pentru competiții
Reducerea duratei de evaluare a proiectelor și îmbunătățirea modalității de organizare a evaluării
Creșterea duratei maxime de implementare a proiectelor pentru a permite atingerea nivelului de TLR propus și asigurarea unor mai bune premise pentru transferul rezultatelor de CD
Asigurarea predictibilității competițiilor și a continuității oportunitățilorde fiananțare
top related