! ! Proiect: "Dezvoltarea capacităţii administrative a MCI de implementare a unor acţiuni stabilite in Strategia Naţională de Cercetare, Dezvoltare tehnologica şi Inovare 2014-2020" - SIPOCA 27 Contract nr. 21/03.08.2016 Acord de parteneriat nr. 1/19.07.2016 ACTIVITATEA 1.1.2. Testarea și validarea metodologiilor de evaluare de impact pe cele 4 domenii de specializare inteligentă (1.bioenonomie, 2.tehnologia informației și a comunicațiilor, spațiu și securitate, 3. Energie, mediu și schimbări climatice și 4. Eco- nano-tehnologii și materiale avansate), pe domeniul de prioritate publică Sănătate, și pe instrumente de finanțare REZULTAT INTERMEDIAR: RAPORT DE TESTARE SI VALIDARE (Instrumente de evaluare testate, metodologii validate de experți independenți) LUNA 15 DE IMPLEMENTARE (OCTOMBRIE 2017) Elaborat - Echipa tehnică INCSMPS: Vasilica Ciucă, expert senior, Speranţa Pîrciog – expert senior, Eva Militaru – expert senior
Transcript
!
!
Proiect: "Dezvoltarea capacităţii administrative a MCI de implementare a unor acţiuni stabilite in Strategia Naţională de Cercetare, Dezvoltare tehnologica şi Inovare 2014-2020" - SIPOCA 27 Contract nr. 21/03.08.2016 Acord de parteneriat nr. 1/19.07.2016 ACTIVITATEA 1.1.2. Testarea și validarea metodologiilor de evaluare de impact pe cele 4 domenii de specializare inteligentă (1.bioenonomie, 2.tehnologia informației și a comunicațiilor, spațiu și securitate, 3. Energie, mediu și schimbări climatice și 4. Eco-nano-tehnologii și materiale avansate), pe domeniul de prioritate publică Sănătate, și pe instrumente de finanțare REZULTAT INTERMEDIAR: RAPORT DE TESTARE SI VALIDARE (Instrumente de evaluare testate, metodologii validate de experți independenți) LUNA 15 DE IMPLEMENTARE (OCTOMBRIE 2017)
1.3 Adecvarea modalităților de colectare a datelor (FTF, on-line, telefonic) .......................................... 15
1.4 Adecvarea tehnicilor de eșantionare propuse .................................................................................. 15
1.5 Adecvarea datelor colectate pentru calculul indicatorilor de impact ................................................. 17
1.6 Probleme întâmpinate în procesul de colectare a datelor ................................................................ 18
2. Aplicabilitatea metodelor de evaluare contrafactuală a impactului ......................................................... 21
2.1. Aplicabilitatea metodei PSM (în cazul întreprinderilor) .................................................................... 21
2.2. Aplicabilitatea metodei DID (în cazul întreprinderilor, în cazul cercetătorilor) ................................. 22
2.3.Aplicabilitatea metodei RD (în cazul întreprinderilor, în cazul cercetătorilor) ................................... 23
2.4. Aplicabilitatea modelului Heckman de regresie în doi pași (în cazul întreprinderilor, în cazul cercetătorilor) .......................................................................................................................................... 24
3. Relevanța metodologiilor în raport cu întrebările de evaluare ................................................................ 25
2. Testarea metodelor calitative propuse pentru evaluarea impactului .................................................. 35
2.1. Studii de caz asupra proiectelor de cercetare finanțate .............................................................. 35
2.1.1. Descrierea colectării datelor pentru testare ........................................................................ 35
2.1.2. Relevanța datelor colectate pentru întrebările de evaluare ................................................ 41
2.1.3. Relevanța datelor culese pentru evaluarea efectelor la nivelul domeniilor ......................... 44
2.2. Interviuri cu responsabili implementare și monitorizare PNCSDI2&POSCEE / autorități publice 46
2.2.1. Descrierea colectării datelor pentru testare ........................................................................ 46
2.2.2. Relevanța datelor colectate pentru întrebările de evaluare ................................................ 48
2.3. Focus gropuri pentru analiza instrumentului de finanțare PCCA la nivel de arii tematice / domenii de specializare inteligentă ....................................................................................................................... 50
2.3.1. Descrierea colectării datelor pentru testare ........................................................................ 50
2.3.2. Relevanța datelor colectate pentru întrebările de evaluare ................................................ 51
1. Aspecte generale ............................................................................................................................ 54
2.1 Validarea metodologiei pentru domeniul de specializare inteligentă ”Bioeconomie” ....................... 58
2.2. Validarea metodologiei pentru domeniul de specializare inteligentă ”Eco-nanotehnologii și materiale avansate”................................................................................................................................................. 61
2.3. Validarea metodologiei pentru domeniul de specializare inteligentă ”Energie, mediu și schimbări climatice” ................................................................................................................................................. 64
2.4. Validarea metodologiei pentru domeniul de specializare inteligentă ”TIC, spațiu și securitate” 66
- Proiecte de cercetare exploratorie (PNCDI II - Programul Idei) – competiția 2012
- Proiecte colaborative de cercetare aplicativă (PNCDI II Programul Parteneriate) –
competiția 2011, proiecte tip 2
În vederea aplicării analizei cantitative au fost selectate următoarele instrumente de finanțare
pentru testarea evaluării contrafactuale:
Proiecte colaborative de cercetare aplicativă, tip 2, competiția 2011:
Abordarea cantitativă a urmărit în special să răspundă la întrebarea privind măsura în care
programul PCCA a produs efectele intenționate la dimensiunea estimată. Scopul întrebării a fost
de a afla dacă intervenția a condus la un efect semnificativ mai mare decât ar fi fost oricum fără
intervenție, identificând direcția legăturii și valoarea impactului intervenției asupra atingerii
obiectivelor generale ale SNCDI.
În vederea aplicării metodelor contrafactuale s-a avut în vedere colectarea de informații prin
intermediul unei anchete sociologice pe bază de chestionar față în față într-un eșantion de firme
cu cod CAEN 72 (firme cu activitate de cercetare-dezvoltare inclusă în statut, ca activitate
principală sau secundară) de la:
(1) firmele participante la intervenție,
(2) firmele care au aplicat la intervenție ca și parteneri/ coordonatori într-o propunere de
proiect, dar nu au obținut finanțare
(3) firme care nici nu au participat la intervenție, nici nu au aplicat, dar ar fi fost eligibile să o
facă
Proiecte de cercetare postdoctorală, competiția 2012:
Abordarea cantitativă a urmărit în special să răspundă la întrebarea privind măsura în care
programul Proiecte de cercetare postdoctorală a produs efectele intenționate la dimensiunea
estimată. Scopul întrebării a fost acela de a afla dacă intervenția a condus la un efect semnificativ
mai mare decât ar fi fost oricum fără intervenție.
În vederea aplicării metodelor contrafactuale s-a avut în vedere colectarea de informații prin
intermediul unei anchete sociologice pe bază de chestionar față în față aplicat pe un eșantion de
indivizi cu următoarele caracteristici:
(1) directorii de proiect participanți la intervenție
(2) directorii de proiect care au aplicat la intervenție, dar nu au obținut finanțare
Întrucât analiza cantitativă are un grad limitat de aplicabilitate, cauzat de restricțiile metodologice
asociate, metodologia de evaluare de impact a avut în vedere completarea rezultatelor obținute
prin componenta cantitativă cu o evaluare calitativă.
În continuare, vor fi prezentate rezultatele testării metodologiei de evaluare cantitativă a
impactului SNCDI pentru fiecare din instrumentele propuse.
Rezultate ale testării metodologiei de evaluare a impactului
1. Colectarea datelor
1.1 Adecvarea instrumentelor de colectare Ancheta pe bază de chestionar față în față în firme Pentru ancheta în firme a fost propus un chestionar care a fost aplicat următoarelor trei categorii
de firme care au în statut activitate de cercetare-dezvoltare (ca activitate principală sau
secundară):
- firme cu domeniu CAEN principal sau secundar de cercetare-dezvoltare (72) finanțate în
cadrul proiectelor de tipul Proiecte colaborative de cercetare aplicativă, tip 2 din PNCDI 2
(competiția 2011)
- firme cu domeniu CAEN principal sau secundar de cercetare-dezvoltare (72) care au
aplicat în proiectele de tipul Proiecte colaborative de cercetare aplicativă, tip 2 din PNCDI
2 (competiția 2011), dar nu au fost finanțate ca urmare a obținerii unor punctaje inferioare
la cererile de finanțare
- firme cu domeniu CAEN principal sau secundar de cercetare-dezvoltare (72), active la
finele anului 2011, respectiv la momentul colectării datelor, și care nu au aplicat în
proiectele de tipul Proiecte colaborative de cercetare aplicativă, tip 2 din PNCDI 2
(competiția 2011)
Durata de completare a chestionarului a fost în medie de 15-20 minute.
Informațiile colectate prin chestionar (a se vedea Anexa) au vizat:
- activitatea de cercetare-dezvoltare a firmelor în general, respectiv cea finanțată din
fonduri publice
- participarea la competiția Proiecte colaborative de cercetare aplicativă, tip 2 din PNCDI 2
(competiția 2011)
- date financiare și de personal (inclusiv informații care nu se găsesc în bazele de date
administrative, ex. ale Oficiului Național al Registrului Comerțului).
Având în vedere caracterul informațiilor solicitate considerăm că ancheta bazată pe chestionar
este cea mai adecvată modalitate de colectare a datelor.
Ancheta pe bază de chestionar față în față în rândul cercetătorilor
Pentru ancheta față în față în rândul indivizilor participanți la proiecte de cercetare post-doctorală
(PNCDI 2 - Competiția 2012) s-a utilizat un chestionar care a fost aplicat următoarelor categorii
de respondenți:
indivizi care au participat în program și
indivizi care au aplicat la programul de cercetare post-doctorală și nu au fost finanțați.
Modul de culegere a datelor a presupus interviuri față în față cu operator de teren, iar în cazul
persoanelor aflate definitiv sau temporar în afara României s-a permis ca ancheta să poată fi
realizată și online.
Durata de completare a chestionarului a fost în medie de 15-20 minute.
Informațiile colectate prin chestionar (a se vedea Anexa) au vizat:
- date socio-demografice
- locul de muncă actual
- activitatea de cercetare-dezvoltare a cercetătorilor
Având în vedere caracterul informațiilor solicitate considerăm că ancheta bazată pe chestionar
este cea mai adecvată modalitate de colectare a datelor.
Anchetele online în rândul indivizilor beneficiari de finanțare în Programe de cercetare
exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de
cercetare independente (PNCDI 2- competiția 2012)
Cele două anchete s-au realizat pe bază de chestionar online în rândul indivizilor beneficiari de
finanțare în Programe de cercetare exploratorie şi în rândul participanților la Proiecte de cercetare
pentru tinere echipe de cercetare independente - (PNCDI 2- Competiția 2012).
Durata de completare a chestionarului a fost în medie de 12 - 15 minute.
Informațiile colectate prin chestionar (a se vedea Anexa) au vizat:
- informaţii socio-demografice referitoare la directorul de proiect şi informaţii despre
echipa de cercetare din cadrul proiectului finanţat.
- informaţii cu privire la impactul şi beneficiile proiectului finanţat.
- informaţii referitoare la locul de muncă actual şi la activităţile actuale şi viitoare de CDI ale
directorului de proiect beneficiar de finanţare (PNCDI 2- Competiția 2012).
Având în vedere numărul redus al respondenţilor (mai puţin de 50% dintre cei propuşi în
eşantion), lipsa răspunsurilor la unele întrebări, dar şi răspunsurile necorelate cu întrebările din
chestionar, considerăm că ancheta pe bază de chestionar online nu este o modalitate adecvată
de colectare a datelor în aceste cazuri.
Propunem ca metodă de colectare a datelor interviul în profunzime pentru obţinerea de informaţii
corecte, complete, detaliate și relevante.
1.2 Formularea întrebărilor Ancheta pe bază de chestionar față în față în firme În ceea ce privește formularea întrebărilor din cadrul chestionarului, testarea a urmărit gradul de
relevanța întrebărilor pentru problematica studiată, precum și identificarea unor întrebări
suplimentare relevante. Au fost constatate următoarele aspecte.
Întrebarea 1: Comentarii:
Întrebarea are rol de filtru, firmele care răspund că nu au desfășurat activitate de CD în
perioada 2011-2016 fac salt la întrebarea 10. S-a constatat faptul că un număr important
de firme care răspund NU la întrebarea 1, completează secțiunea legată de cheltuielile
de CD realizate în aceeași perioadă (întrebările 18 și 19) cu date pozitive. Prin urmare,
există o neconcordanță între răspunsurile date de respondenți la cele două întrebări. O
cauză posibilă a celor constatate este legată de cantitatea și tipul informațiilor solicitate
la întrebările 4 și 9, care este posibil să contribuie la creșterea numărului de răspunsuri
NU la întrebarea 1. Având în vedere rezultatele testării, recomandăm eventual
modificarea ordinii întrebărilor în chestionar. De asemenea, tot în cazul întrebării 1,
propunem ca saltul să fie modificat la întrebarea 5, în locul întrebării 10, deoarece în
cadrul secțiunii legată de finanțarea activității de CD din fonduri publice există întrebări
care se pot adresa și firmelor care nu au avut activitate de CD (întrebările 5-6).
Întrebarea 2: Comentarii:
La întrebările 2 și 3 considerăm că ar fi utilă definirea domeniilor în care se încadrează
activitatea de CD, deoarece s-a constatat faptul că anumiți respondenți au bifat 10. Alt
domeniu, deși răspunsurile se încadrau în domeniile specificate în chestionar.
Întrebarea 4: Comentarii:
A fost constatat faptul că pentru anii mai recenți numărul non-răspunsurilor este mai
redus comparativ cu anii mai îndepărtați față de momentul culegerii datelor. O
recomandare în scopul creșterii numărului de răspunsuri valide ar fi reducerea numărului
de ani pentru care se solicită informația, eventual începutul, sfârșitul și mijlocul perioadei.
Întrebarea 5:
1. În perioada 2011-2016, întreprinderea a desfășurat activitate de cercetare-dezvoltare în cadrul unui departament de cercetare-dezvoltare sau a unei echipe de cercetare-dezvoltare?
1. Da 2. Nu ---- mergi la întrebarea 10
2. În ce domeniu/domenii/arii tematice se încadrează activitatea de CD desfășurată în perioada
2011-2016? (Răspuns multiplu)
1. Tehnologia Informației si Comunicații
2. Energie
3. Mediu
4. Sănătate
5. Agricultura, siguranța si securitate alimentară
6. Biotehnologii
7. Materiale, procese si produse inovative
8. Spațiu si securitate
9. Cercetare socio-economică si umanistă
10. Alt domeniu. Care? ___________________
4. Vă rugăm să completați informațiile următoare cu privire la rezultatele activității de CD pe
care întreprinderea dvs. le-a obținut în perioada 2011-2016.
5. În perioada 2011-2016, ați aplicat pentru a beneficia de finanțare din fonduri publice pentru desfășurarea activităților de CD?
1. Da ---- mergi la întrebarea 7 2. Nu
Comentarii:
S-au constatat inadvertențe în ceea ce privește răspunsurile la această întrebare din
partea firmelor care au beneficiat de finanțare prin Proiecte colaborative de cercetare
aplicativă, tip 2 din PNCDI 2 (competiția 2011), care deși au fost finanțate (au fost
preluate din lista furnizată de UEFISCDI), răspund cu NU la întrebarea 5. Deoarece o
bună parte dintre firmele respondente care au fost finanțate prin PCCA au fost partenere
și nu coordonatoare ale proiectului realizat, este posibil ca din formularea întrebării să
se înțeleagă că de fapt doar firmele care au coordonat proiecte (coordonatorul fiind cel
care depune aplicația) ar trebui să răspundă cu DA. Propunem modificarea formulării în
așa fel încât să fie evitată această posibilă neînțelegere a întrebării.
Întrebarea 9: Comentarii:
Răspunsurile la întrebarea de mai sus constau în completarea unui tabel în care sunt
detaliate rezultatele (pe principalele tipuri) obținute în proiectele cu finanțare din fonduri
publice, pentru fiecare tip de proiect în parte. S-a constatat faptul că solicitarea unor
informații atât de detaliate îngreunează procesul de colectare a datelor, prin creșterea
numărului refuzurilor, respectiv a non-răspunsurilor pentru acești itemi. Prin urmare,
propunem reducerea acestui tabel în vederea colectării informațiilor doar pentru tipurile
de proiect care fac obiectul evaluării de impact. De asemenea, sugerăm specificarea
perioadei la care se referă întrebarea, deoarece au existat cazuri când perioadele la care
s-au referit respondenții nu au coincis cu perioada de interes având în vedere obiectivele
cercetării.
Întrebarea 10:
Comentarii:
Anumite firme răspund cu NU, deși au fost finanțate sau au depus o cerere de finanțare
care nu a fost acceptată la respectiva competiție. Aceeași observație ca și în cazul
întrebării 5, este posibil ca din formularea întrebării să se înțeleagă că de fapt doar
firmele care au coordonat proiecte (coordonatorul fiind cel care depune aplicația) ar
trebui să răspundă cu DA. Similar, propunem modificarea formulării în așa fel încât să
fie evitată această posibilă neînțelegere a întrebării.
Întrebarea 17:
Comentarii:
9. Vă rugăm completați informațiile următoare pentru fiecare proiect de CD finanțat din fonduri publice (naționale și/sau externe) la care a participat întreprinderea dvs.
10. În 2011 ați participat în cadrul competiției Parteneriate - Proiecte Colaborative de cercetare
aplicativă (competiția 2011 tip 2)
1. Da 2. Nu ---- mergi la întrebarea 12
17. Date financiare și de personal (în lei)
O observație importantă se referă la faptul că în anumite situații, datele financiare și de
personal raportate de respondenți nu corespund cu informațiile similare extrase din baza
de date a ONRC.
Întrebarea 19:
Comentarii:
S-a constatat faptul că nivelul cheltuielilor de CD este mai ușor identificabil în structură
pe tipuri de cheltuieli (personal, material, etc.) și mai dificil în funcție de tipul cercetării
(fundamentală, aplicată, experimentală). Dificultatea în a estima acest tip de informație
rezidă din faptul că aceasta nu este înregistrată ca atare în documentele financiare ale
firmei. Eventual, se poate renunța la această întrebare.
Ancheta pe bază de chestionar față în față în rândul cercetătorilor
În ceea ce privește formularea întrebărilor din cadrul chestionarului adresat cercetătorilor, s-a
urmărit testarea gradului de înțelegere a termenilor utilizați, claritatea întrebărilor, ordinea
acestora, plasarea întrebărilor filtru, relevanța întrebărilor pentru problematica studiată, precum
și identificarea unor întrebări suplimentare relevante. Au fost constatate următoarele aspecte ce
necesită ajustări.
Întrebarea 1: Comentarii:
Întrucât nu a existat o formă standard de înregistrare a numelui directorilor de proiecte (ex. nume,
prenume), se recomandă introducerea a două câmpuri distincte pentru colectarea numelui de
familie, respectiv a prenumelui respondenților. Acest lucru va permite sortarea alfabetică a
respondenților după nume.
Întrebările 16 și 18: Comentarii:
Având în vedere posibilitatea unei uniformizări a răspunsurilor în vederea utilizării respectivei
informații privind ocupația cercetătorilor în evaluarea de impact prin intermediul metodelor
19. Cheltuieli cu activitatea de CD după tipul cercetării (în lei)
1. Numele Directorului de Proiect ________________________________
16. Ocupația/profesia la locul dvs. principal de muncă ________________________________
18. Ocupația/profesia avută la locul de muncă unde ați avut cea mai lungă ședere ________________________________ 9999. este același cu locul de muncă actual
Comentarii:
Întrucât nu a existat o înțelegere corectă uniformă a solicitării de completare a numărului de ani
de vechime în activități de CD, respectiv echivalentul vechimii în luni, se recomandă renunțarea
la întrebarea cu privire la echivalentul numărului de luni și reformularea întrebării pentru a solicita
numărul de ani împliniți de vechime în activități de CD.
Întrebarea 24: Comentarii:
Întrucât au existat cazuri care au declarat că au beneficiat de mai multe tipuri de burse post-
doctorale cu cuantumuri diferite în intervalul 2012-2016, propunem reformularea întrebării prin
solicitarea cuantumului bursei medii lunare primite (exprimată/ echivalată în RON).
Întrebarea 31:
Comentarii:
17. Cumulat, câți ani considerați că aveți vechimea în activități de cercetare-dezvoltare? (exclusiv stagiile de pregătire doctorală sau postdoctorală)
Nr. ani __ sau nr. luni __
25. Care a fost aproximativ cuantumul bursei/remunerației lunare primite? __ __ __ __ RON
31. Vă rog să estimați toate rezultatele activității dvs. de cercetare din perioada 2012-2016, inclusiv cele postdoctorale:
Număr Factorul de impact al celui mai prestigios dintre ele (se aplică doar pentru articole ISI)
Sursa finanțării 1. programul postdoctoral 2. surse proprii 3. alte surse ale angajatorului 4. competiție realizată de ANCSI 5. altă sursă. Care anume?
Domeniul științific 1. Matematică și
informatică 2. Chimie 3. Fizică 4. Științe inginerești 5. Știința materialelor 6. Științele pământului 7. Biologie și Ecologie 8. Medicină 9. Științele vieții aplicate și
biotehnologii 10. Științe sociale și
economice 11. Științe umaniste 12. Alt domeniu. Care?
______________
Articole ISI
Din care:
Articole ISI co-autorate cu coordonatorul de doctorat
Articole ISI realizate în colective internaționale
Articole ISI realizate în colective naționale
Articole BDI în țară
Articole BDI în străinătate
Carte / capitol publicat la editură națională
Carte / capitol publicat la editură internațională
Brevete naționale
Brevete internaționale
În urma analizei răspunsurilor s-a constatat faptul că o parte din respondenți au marcat utilizarea
simultană a mai multor tipuri de surse de finanțare în vederea atingerii acelorași rezultate ale
activității de cercetare. De aceea propunem o simplificare a tabelului propus spre completare
inițial și renunțarea la coloanele 4 și 5. Informațiile corespunzătoare acestor coloane pot fi obținute
prin intermediul unor întrebări adiționale mai simplificate de tipul:
În vederea atingerii rezultatelor activității dvs. de cercetare din perioada 2012-2016 ați beneficiat
de următoarele surse de finanțare? (răspuns multiplu)
1. programul postdoctoral
2. surse proprii
3. alte surse ale angajatorului
4. competiție realizată de ANCSI/ UEFISCDI
5. altă sursă. Care anume?
Rezultatele activității dvs. de cercetare din perioada 2012-2016 pot fi asociate următoarelor
domenii științifice: (răspuns multiplu)
1. Matematică și informatică
2. Chimie
3. Fizică
4. Științe inginerești
5. Știința materialelor
6. Științele pământului
7. Biologie și Ecologie
8. Medicină
9. Științele vieții aplicate și biotehnologii
10. Științe sociale și economice
11. Științe umaniste
12. Alt domeniu. Care?
Întrebarea 33: Comentarii:
Întrucât au existat discordanțe între răspunsurile înregistrate la întrebările q21 privind
desfășurarea activității de cercetare post-doctorală, q22 privind sursa finanțării și întrebarea q33
s-a identificat ca posibilă sursă de neînțelegere acronimul PCP – 2012 utilizat la întrebarea q33.
Prin urmare, se recomandă ca în locul utilizării acronimelor să se opteze pentru denumirea
integrală a tipului competiției (în acest caz PN2-UEFISCDI-Programul de Cercetare Postdoctorală
– Competiția 2012).
Anchetele online în rândul indivizilor beneficiari de finanțare în Programe de cercetare
exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de
cercetare independente (PNCDI 2- competiția 2012)
33. La competiția PCP – 2012 ați primit finanțare? 1. Da ------ mergi la 35 2. Nu ------ mergi la 34
În ceea ce privește formularea întrebărilor din cadrul chestionarului, testarea a urmărit gradul de
relevanța întrebărilor pentru problematica studiată, precum și identificarea unor întrebări
suplimentare relevante. Au fost constatate următoarele aspecte.
Întrebarea 6: Comentarii:
În cadrul acestei întrebări ar trebui explicat termenul de “echivalent normă întreagă”
deoarece există confuzii între numărul de persoane participante la proiect şi numărul de
poziţii normă întreagă. Neînţelegerea terminologiei a determinat lipsa de răspunsuri sau
oferirea unor răspunsuri care nu sunt în corelaţie cu întrebarea 7.
Întrebarea 8: Comentarii: S-a observat o lipsă de corelare între răspunsurile date la întrebarea 8 faţă de
răspunsurile date la întrebarea 7. Este posibil să nu se fi înţeles noţiunea de “poziţie de
cercetare”. În mod evident în cadrul unui interviu în profunzime toate aceste neclarităţi
pot fi depăşite printr-o explicare în detaliu a întrebărilor şi prin posibilitatea completării
acestora cu informaţii suplimentare astfel încât să se obţină răspunsurile corecte de la
cel chestionat.
Întrebarea 14: Comentarii:
6. Câte poziții echivalent normă întreagă au fost incluse în echipa de cercetare a proiectului?
Categorie Nr. poziții echivalent normă întreagă
Director de proiect
Cercetători seniori
Cercetători postdoctorali
Doctoranzi, masteranzi, studenți
Tehnicieni
Alte categorii
Total
14. Ce pondere din rezultatele de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite) realizate prin proiect nu ar fi fost obținute în absența proiectului? ______ %
7. În total, câte persoane au ocupat aceste poziții echivalent normă întreagă?
Nr. persoane ________
8. Câte dintre persoanele care au ocupat pozițiile de cercetare au fost nominalizate în oferta de
proiect?
Nr. persoane ________
La această întrebare ar trebui explicaţi termenii de produse, tehnologii, metode, servicii noi
sau semnificativ îmbunătățite, pentru a nu exista neclarităţi şi pentru obţinerea de răspunsuri
corecte.
Întrebările 13, 14 şi 15 Comentarii:
Întrebările ar trebui reformulate în sensul de a fi pe înţelesul clar al respondenţilor. Ar
trebui evitată formularea “nu ar fi fost obținute în absența proiectului”.
Întrebarea 16: Comentarii:
În cadrul acestei întrebări ar trebui să fie descrise domeniile de specializare inteligentă pentru a
creşte numărul de răspunsuri. La această întrebare s-au înregistrat destul de multe răspunsuri
lipsă (aprox. 15%), dar şi răspunsuri de tipul Nu ştiu (aprox. 20%). Este posibil ca această situaţie
să fie determinată de anumite neclarităţi legate de domeniile de specializare inteligentă.
Întrebarea 21:
Comentarii:
La această întrebare există confuzie între numărul de luni şi numărul de ani. Propunem ca să
avem o singură variantă de răspuns, şi anume numărul de ani. Ar trebui explicat faptul că această
întrebare se referă la vechimea de la locul principal de muncă şi nu la întreaga vechime în muncă.
În plus trebuie făcută distincţia, acolo unde este cazul, între întrebarea 21 şi întrebarea 32.
Comentarii:
16. În ce măsură considerați că rezultatele de CD (produse, tehnologii, metode, servicii noi sau
semnificativ îmbunătățite) obținute prin proiect au potențial de a influența pozitiv competitivitatea
din următoarele domenii de specializare inteligentă ….? În foarte
mare măsură
În mare măsură
În mică măsură
În foarte mică măsură/Deloc
Nu știu
Bioeconomie 4 3 2 1 9
Tehnologia informației și a comunicațiilor, spațiu și securitate
4 3 2 1 9
Energie, mediu și schimbări climatice 4 3 2 1 9
Eco-nano-tehnologii și materiale avansate 4 3 2 1 9
Sănătate 4 3 2 1 9
Patrimoniu și identitate culturală 4 3 2 1 9
21.Vechimea la locul dvs. principal de muncă
Nr. ani __ / __ sau Nr. luni __ / __
32. Cumulat, câtă vechime considerați că aveți în activități de cercetare-dezvoltare?
Nr. ani __ / __ sau Nr. luni __ / __
13.Ce pondere din publicațiile realizate prin proiect nu ar fi fost obținute în absența proiectului? ______ % 999. Nu au fost realizate publicații
14.Ce pondere din rezultatele de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite) realizate prin proiect nu ar fi fost obținute în absența proiectului? ______ %
15. Ce pondere din brevetele realizate prin proiect nu ar fi fost obținute în absența proiectului? ______ % 999. Nu au fost realizate brevete
Şi la întrebarea 32 există confuzie între numărul de luni şi numărul de ani. Propunem să avem o
singură variantă de răspuns, şi anume numărul de ani împliniți.
1.3 Adecvarea modalităților de colectare a datelor (FTF, on-line, telefonic) Ancheta pe bază de chestionar față în față în firme
Având în vedere caracterul informațiilor solicitate, considerăm adecvată aplicarea chestionarelor
față în față. Orice altă modalitate de colectare poate să pericliteze obținerea informațiilor necesare
evaluării impactului SNCDI.
Ancheta pe bază de chestionar față în față în rândul cercetătorilor
În cazul programului PN2-UEFISCDI-Programul de Cercetare Postdoctorală – Competiția 2012,
dată fiind natura informațiilor necesare a fi colectate se consideră adecvată și indicată modalitatea
de colectare a datelor prin intermediul anchetei bazate pe chestionar față în față în rândul
cercetătorilor. O aplicare a chestionarelor on-line sau telefonică se poate accepta doar în cazul
persoanelor aflate definitiv sau temporar în afara României.
Anchetele online în rândul indivizilor beneficiari de finanțare în Programe de cercetare
exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de
cercetare independente (PNCDI 2- competiția 2012)
Propunem ca anchetele realizate pe bază de chestionar online în rândul indivizilor beneficiari de
finanțare în Programe de cercetare exploratorie şi în rândul participanților la Proiecte de cercetare
pentru tinere echipe de cercetare independente - (PNCDI 2- Competiția 2012) să fie înlocuite cu
interviuri în profunzime pentru a putea obţine informaţii complete, detaliate, țintite, corelate între
ele şi pentru a creşte gradul de răspuns la întrebări printr-o mai bună înţelegere a acestora şi a
scopului chestionarului.
1.4 Adecvarea tehnicilor de eșantionare propuse
Ancheta pe bază de chestionar față în față în firme
Eșantionarea s-a realizat pe următoarele populații:
1) firmele beneficiare de finanțare prin Proiecte colaborative de cercetare aplicativă, tip 2 din
PNCDI 2 (competiția 2011)
2) firmele aplicante la Proiecte colaborative de cercetare aplicativă, tip 2 din PNCDI 2
(competiția 2011), care nu au obținut finanțare
3) firme cu domeniu CAEN principal sau secundar de cercetare-dezvoltare (72), active la
finele anului 2011, respectiv la momentul colectării datelor, și care nu au aplicat în
proiectele de tipul Proiecte colaborative de cercetare aplicativă, tip 2 din PNCDI 2
(competiția 2011)
În cazul populațiilor 1) și 2) cercetarea și-a propus să fie exhaustivă, fiind considerată cea mai
bună variantă pentru obținerea unui număr cât mai mare de chestionare completate, având în
vedere și faptul că numărul beneficiarilor, respectiv al aplicanților non-beneficiari este relativ
redus. Pentru evaluarea impactului SNCDI propunem aceeași abordare.
În ceea ce privește categoria 3) – populația de firme cu CAEN de cercetare-dezvoltare în statut
(care ar fi fost eligibile pentru a depune cerere de finanțare la competiția în cauză), eșantionarea
a fost realizată aleatoriu stratificat. Rezultatele obținute în cadrul testării arată însă foarte clar
faptul că un număr important de firme cu activitate de CD în secundar, nu au realizat și nu
realizează activități de CD. Acest fapt a avut implicații asupra gradului de participare la cercetare
(interes scăzut pentru problematica abordată), precum și asupra utilității datelor colectate pentru
calculul indicatorilor de impact. Ca urmare, o variantă alternativă ar fi restrângerea populației la
firmele care au realizat efectiv activitate de CD în perioada supusă analizei, pe baza datelor de
la ONRC. Viabilitatea alternativei este însă condiționată de calitatea datelor ONRC. O a doua
variantă ar putea fi restrângerea populației la firmele care au în statut cercetarea-dezvoltarea ca
activitate principală.
Ancheta pe bază de chestionar față în față în rândul cercetătorilor
În cazul anchetei pe bază de chestionar față în față în rândul cercetătorilor se consideră necesară
și adecvată cercetarea exhaustivă în rândul tuturor beneficiarilor de finanțare prin intermediul
programului PN2-UEFISCDI-Programul de Cercetare Postdoctorală – Competiția 2012. Acest
lucru este condiționat de faptul că numărul total de beneficiari de finanțare în cadrul acestei
competiții a fost redus. În ceea ce privește selecția grupului de non-beneficiari de finanțare prin
programul PN2-UEFISCDI-Programul de Cercetare Postdoctorală – Competiția 2012 se
consideră adecvată tehnica de eșantionare propusă în rândul indivizilor care au aplicat la
programul de cercetare post-doctorală și nu au fost finanțați. De altfel, identificarea populației
totale de indivizi care ar fi fost eligibili pentru finanțare, dar care nu au fost finanțați în vederea
eșantionării nu ar fi fost altfel posibilă.
Anchetele online în rândul indivizilor beneficiari de finanțare în Programe de cercetare
exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de
cercetare independente (PNCDI 2- competiția 2012)
În cazul anchetelor online realizate în rândul indivizilor beneficiari de finanțare în Programe de
cercetare exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de
cercetare independente, eșantioanele de indivizi selectați pentru aplicarea chestionarelor online
s-au extras din bazele de date ale instituțiilor responsabile cu implementarea și monitorizarea
programelor PNCDI 2.
Având în vedere că în cadrul acestor instrumente de finanțare (intervenții) se propune ca datele
să fie culese prin aplicarea interviului în profunzime în rândul directorilor de proiecte finanțate
considerăm că selecția acestora se poate realiza din aceleași baze de date. Interviul în
profunzime va permite obținerea de informații complete, evitându-se un grad ridicat de non-
răspunsuri datorate interesului scăzut pentru problematica abordată și a neînțelegerii utilității
datelor oferite pentru efectuarea evaluării conform obiectivelor SNCDI.
1.5 Adecvarea datelor colectate pentru calculul indicatorilor de impact
Ancheta pe bază de chestionar față în față în firme
Datele colectate prin chestionar sunt adecvate pentru calculul indicatorilor de impact propuși în
cadrul metodologiei de evaluare a impactului SNCDI. S-au avut în vedere următorii indicatori de
impact:
- Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătățite
- Număr produse noi transferate în mediul economic
- Brevete naționale și internaționale solicitate
- Brevete naționale și internaționale obținute
- Articole ISI/ BDI publicate
- Co-publicații public-privat
- Studii de necesitate publică
- Venituri din vânzarea de produse CDI proprii (din brevete, licențe sau altele) pe piață
- Productivitatea muncii (calculată ca raport între cifra de afaceri și numărul mediu de
salariați)
- Personal (echivalent normă întreagă) direct implicat în activitățile de CD
Pentru îmbunătățirea instrumentului, propunem introducerea unei sub-întrebări suplimentare (în
cadrul întrebării 17), referitoare la numărul de locuri de muncă nou create în cercetare-dezvoltare
în perioada în care firma a beneficiat de finanțare.
Ancheta pe bază de chestionar față în față în rândul cercetătorilor
În cazul programului PN2-UEFISCDI-Programul de Cercetare Postdoctorală – Competiția 2012,
în ceea ce privește posibilii indicatori de impact, s-au colectat informații pentru perioada 2012-
2016 cu privire la :
Articole ISI
Articole ISI co-autorate cu coordonatorul de doctorat
Articole ISI realizate în colective internaționale
Articole ISI realizate în colective naționale
Articole BDI în țară
Articole BDI în străinătate
Carte / capitol publicat la editură națională
Carte / capitol publicat la editură internațională
Brevete naționale
Brevete internaționale
Întrucât aceste informații reprezintă principalele rezultate ale activității de cercetare prestată în
intervalul 2012-2016, se consideră adecvate datele colectate pentru calculul indicatorilor de
impact.
Anchetele online în rândul indivizilor beneficiari de finanțare în Programe de cercetare
exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de
cercetare independente (PNCDI 2- competiția 2012)
În cadrul anchetelor online în rândul indivizilor beneficiari de finanțare în Programe de cercetare
exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de cercetare
independente (PNCDI 2- competiția 2012) s-au colectat informații despre ponderea
publicațiilor/rezultatelor de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite/ brevete) care nu ar fi fost obținute în absența proiectului.
În vederea evaluării impactului SNCDI propunem înlocuirea acestor întrebări cu întrebări în care
să se precizeze numărul exact de publicații/produse de CD/brevete obținute ca urmare a finanțării
proiectului. Aceste informații pot fi obținute ca urmare a aplicării interviurilor în profunzime.
1.6 Probleme întâmpinate în procesul de colectare a datelor
Ancheta pe bază de chestionar față în față în firme
A fost completat un număr de 373 de chestionare valide din 1000 de chestionare planificate.
Principalele motive ale nerealizării numărului planificat de chestionare au fost următoarele:
- incorectitudinea datelor de contact. Semnalăm faptul că baza de date ONRC din care au
fost extrase datele de contact ale firmelor nu este actualizată în acord cu ultimele
modificări ale acestor date. Acest aspect a îngreunat foarte mult sau chiar a împiedicat în
multe cazuri contactarea potențialilor respondenți.
- perioada de derulare a cercetării, lunile august și septembrie (perioadă de concedii)
- lipsa de interes a firmelor pentru problematica cercetată.
În acest context, a fost remarcat refuzul unor firme care au beneficiat de finanțare din fonduri
publice de a oferi informații legate de acest aspect, în ciuda faptului că solicitarea a fost însoțită
de o scrisoare din partea UEFISCDI (partener în proiect) prin care le sunt aduse la cunoștință
participanților la cercetare scopul și obiectivele acesteia, respectiv utilitatea informațiilor solicitate
și modul în care vor fi folosite acestea ulterior. Pentru îmbunătățirea monitorizării și evaluării
programelor finanțate din fonduri publice, propunem introducerea în contractul de finanțare a
obligativității organizațiilor beneficiare de a răspunde la solicitările Ministerul Cercetării și Inovării
cu privire la desfășurarea și rezultatele acestor proiecte, atât pe parcursul derulării, cât și după
finalizarea acestora, ori de câte ori finanțatorul o cere.
Remarcăm și o pondere destul de importantă a non-răspunsurilor pentru anumiți itemi, în special
în cazul întrebărilor care fac referire la situații aferente anilor mai îndepărtați față de momentul
aplicării chestionarului, care necesită un efort de rememorare sau consultare a unor documente.
De asemenea, în multe cazuri un singur reprezentant al firmei nu a putut să ofere toate informațiile
necesare.
Pentru remedierea acestor aspecte constatate, propunem următoarele:
- planificarea culegerii datelor pe cât posibil ( în funcție de planificarea activităților
proiectului) în perioade neafectate de concedii
- transmiterea chestionarelor către firme pentru a putea pregăti din timp informațiile
necesare sau/ și completarea chestionarelor în mai multe vizite în cazul în care
respondentul nu dispune de toate informațiile la momentul vizitei.
Ancheta pe bază de chestionar față în față în rândul cercetătorilor
În cazul programului PN2-UEFISCDI-Programul de Cercetare Postdoctorală – Competiția 2012,
sinteza datelor colectate prin intermediul anchetei sociologice pe bază de chestionar față în față
în rândul directorilor de proiect participanți la intervenție și a celor care au aplicat la intervenție,
dar nu au obținut finanțare, se prezintă astfel:
Persoane chestionate Număr estimat
Număr realizat
Observații
Directori de proiect participanți la intervenție
91 34 S-a propus chestionarea exhaustivă a populației de directori de proiect participanți la intervenție pentru a asigura șanse mai mari de aplicabilitate cu succes a tehnicilor contrafactuale. Numărul redus de cazuri coroborat cu numărul ridicat de non-răspunsuri a limitat gradul de aplicabilitate a metodelor contrafactuale.
Directori de proiect care au aplicat la intervenție, dar nu au obținut finanțare:
49 18
TOTAL 140 52
În ceea ce privește problemele întâmpinate în procesul de colectare a datelor s-a constatat în
principal un grad redus de participare de doar 37% la ancheta în rândul cercetătorilor eșantionați.
Acest lucru s-a datorat în principal numărului ridicat de cazuri pentru care nu s-a reușit
contactarea responsabililor de proiecte după încercări succesive sau din cauza datelor de contact
incomplete/ incorecte. Acest lucru poate fi datorat și perioadei de vară în care s-a realizat ancheta.
În plus, la aceasta a contribuit, totodată, și numărul refuzurilor de participare la anchetă. Mai
exact, au fost înregistrate 24 de cazuri de refuzuri sau amânări succesive (refuz mascat) din total
indivizi contactați.
Dat fiind numărul redus de participanți la anchetă, se dovedește absolut necesară chestionarea
exhaustivă a populației de directori de proiect participanți la intervenție pentru a asigura șanse
mai mari de aplicabilitate cu succes a metodelor cantitative de evaluare de impact. În ceea ce
privește gradul de non-răspunsuri la întrebările referitoare la rezultatele activității de cercetare din
perioada 2012-2016, doar 8,8% dintre respondenții beneficiari de finanțare nu au completat
aceste informații, ceea ce reprezintă o pondere relativ redusă.
În vederea îmbunătățirii monitorizării și evaluării programelor finanțate din fonduri publice,
propunem introducerea în contractul de finanțare a obligativității organizațiilor beneficiare de a
răspunde la solicitările Ministerul Cercetării și Inovării cu privire la desfășurarea și rezultatele
acestor proiecte, atât pe parcursul derulării, cât și după finalizarea acestora, ori de câte ori
finanțatorul o cere.
În vederea eficientizării procesului de colectare a datelor adecvate, se recomandă, totodată, ca
informațiile cu privire la perioada de finanțare (exprimată în ani calendaristici), vechimea în muncă
și în activitatea de CD (exprimată în ani), respectiv cuantumul bursei lunare pentru studiile post-
doctorale să fie înregistrate în bază sub forma unor variabile numerice și nu de tip string, care au
permis introducerea unor valori eronate, nenumerice.
Anchetele online în rândul indivizilor beneficiari de finanțare în Programe de cercetare
exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de
cercetare independente (PNCDI 2- competiția 2012)
În cazul Programelor de cercetare exploratorie și a Programelor de cercetare pentru tinere Echipe
- PNCDI 2- competiția 2012, situația datelor colectate prin intermediul anchetei pe bază de
chestionar online în rândul directorilor de proiecte finanțate, se prezintă astfel:
Denumire Program Persoane
chestionate
Număr
subiecți
contractați
Număr
subiecți la
care s-a
încercat
contactarea
Număr
subiecți la
care s-a
realizat
ancheta
Cercetare exploratorie-
PNCDI 2- competiția
2012
Directori de
proiect
50 91 26
Tinere echipe de
cercetare
independente - PNCDI
2- competiția 2012
Directori de
proiect
50 67 20
TOTAL 100 158 46
În cadrul anchetelor online se observă că a existat un grad redus de participare. Chiar dacă s-a
încercat contactarea unui număr mai mare de subiecți decât cel propus în eșantionul inițial,
numărul respondenților a rămas destul de scăzut.
În cazul Programelor de cercetare exploratorie - PNCDI 2- competiția 2012 din cei 91 de subiecți
la care s-a încercat contactarea doar 26 au răspuns la chestionar. Astfel gradul de participare a
fost de doar 23,6%. În această anchetă s-au înregistrat și 17 cazuri de refuzuri sau amânări
succesive (refuz mascat) din total indivizi contactați.
În cazul Programelor tinere echipe - PNCDI 2- competiția 2012 din cei 67 de subiecți la care s-a
încercat contactarea au răspuns la chestionarul online 20 de indivizi. Și în cadrul acestei anchete
gradul de participare a fost redus, doar 29,8%. Numărul cazurilor de refuzuri sau amânări
succesive (refuz mascat) a fost de 14 indivizi din total celor contactați.
Gradul redus de participare, dar și lipsa unor răspunsuri pot să fie determinate de perioada de
vară (de concediu) în care s-a realizat ancheta, de existența unor date de contact
inexacte/incomplete, de lipsa de interes și implicare a directorilor de proiect contactați, dar și de
neînțelegerea unor termeni și noțiuni utilizate în chestionar. Pentru reglarea acestei situații
propunem înlocuirea chestionarelor online cu interviul în profunzime, prin care să fie evitate
situațiile mai sus menționate și prin care să se obțină informații corecte și complete pentru
realizarea evaluărilor impactului investițiilor realizate conform SNCDI.
2. Aplicabilitatea metodelor de evaluare contrafactuală a impactului
Abordarea cantitativă a urmărit să testeze dacă și în ce măsură instrumentele și metodele
propuse pot să răspundă la întrebarea privind măsura în care programul a produs efectele
intenționate la dimensiunea estimată și de a afla direcția legăturii și valoarea impactului
intervenției asupra atingerii obiectivelor generale ale SNCDI.
În cadrul Proiectelor colaborative de cercetare aplicativă, tip 2, competiția 2011 s-a avut în
vedere aplicarea metodelor de evaluare contrafactuală de tip Propensity score matching (PSM),
Difference-in-differences (DID) și regresia discontinuă (RD).
În cadrul Proiectelor de cercetare postdoctorală, competiția 2012 s-a avut în vedere aplicarea
metodelor de evaluare contrafactuală de tip regresie discontinuă (RD) și Difference-in-differences
(DID).
S-a avut în vedere testarea metodelor de evaluare contrafactuală a impactului pentru indicatorii
de impact pentru care au fost colectate informații suficiente și acurate care să permită acest gen
de estimări (se vor detalia mai jos pentru fiecare metodă și instrument în parte). Menționăm că
testarea metodologiei a pornit de la premisa corectitudinii datelor culese prin cele două anchete
(firme/ indivizi) și a ținut seama de restricțiile legate de mărimea grupurilor analizate (grupul de
tratament/ de control), respectiv cantitatea și calitatea informațiilor culese.
În cele ce urmează, pentru fiecare metodă și instrument în parte, vor fi prezentate aspecte ce țin
de aplicabilitatea acestora, respectiv propuneri pentru îmbunătățirea calității rezultatelor obținute
ca urmare a aplicării acestora.
2.1. Aplicabilitatea metodei PSM (în cazul întreprinderilor)
În cadrul Proiectelor colaborative de cercetare aplicativă, tip 2, competiția 2011, au fost
colectate informații cu privire la principalele rezultate ale activității de CD înregistrate în
întreprindere în perioada 2011-2016. Din cauza numărului redus de observații înregistrate în bază
cu privire la activitatea de CD a întreprinderilor (atât în rândul firmelor beneficiare de finanțare,
cât și în rândul firmelor care au aplicat la intervenție ca și parteneri/ coordonatori într-o propunere
de proiect, dar nu au obținut finanțare și respectiv a celor care nici nu au participat la intervenție,
nici nu au aplicat, dar ar fi fost eligibile să o facă), aplicabilitatea metodei PSM s-a dovedit a fi
extrem de limitată în a conduce la rezultate statistic semnificative.
Astfel, din cauza numărului redus de observații disponibile atât pentru grupul țintă, cât și pentru
cel de control, metoda PSM a fost testată pentru următorii indicatori de impact:
Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătățite
Productivitatea muncii
Personal (echivalent norma întreagă) direct implicat în activități de CD
Principalele co-variate utilizate în procesul de matching a firmelor beneficiare cu cele non-
beneficiare au fost următoarele:
Cifra de Afaceri (2011)
Nivelul activelor totale (2011)
Nivelul datoriilor totale (2011)
Numărul mediu anual de salariați (2011)
CAEN principal (1 digit)
Regiunea de dezvoltare
Singurele rezultate semnificative s-au obținut însă în cazul studierii impactului intervenției asupra
personalului (echivalent norma întreagă) direct implicat în activități de CD.
2.2. Aplicabilitatea metodei DID (în cazul întreprinderilor, în cazul cercetătorilor)
În cadrul Proiectelor colaborative de cercetare aplicativă, tip 2, competiția 2011, prin
intermediul anchetei desfășurate față în față în rândul firmelor s-au colectat informații pre- și post-
intervenție cu privire la principalele rezultate ale activității de CD înregistrate în întreprindere în
perioada 2011-2016.
Principalii indicatori de impact utilizați în analiza de impact pentru care au fost colectate informații
și pentru care s-a putut aplica metoda DID au fost următorii:
Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătățite
Număr produse noi transferate in mediul economic
Brevete naționale și internaționale solicitate
Brevete naționale și internaționale obținute
Articole BDI/ISI publicate
Co-publicații public-privat
Studii de necesitate publica
Productivitatea muncii
Personal (echivalent norma întreagă) direct implicat in activități de CD
Metoda DID s-a aplicat atât pentru perioada 2016 vs. 2011, cât și pentru perioada 2014 vs. 2011
(considerată mid-term) pentru toți indicatorii de impact ce au vizat rezultate ale activității de CD
înregistrate în întreprindere, în timp ce pentru indicatorii privind productivitatea muncii în
întreprindere (calculată ca raport între Cifra de Afaceri și număr mediu de salariați), respectiv
personalul (echivalent norma întreagă) direct implicat în activități de CD metoda DID s-a aplicat
doar pentru perioada 2016 vs. 2011.
În cadrul Proiectelor de cercetare postdoctorală, competiția 2012, întrucât informațiile cu
privire la rezultatele activității de cercetare au fost colectate cumulat pentru perioada 2012-2016,
în absența identificării rezultatelor existente la un moment pre-intervenție, nu s-a putut efectua
diferența pre- și post-intervenție. Întrucât nu s-a putut determina decât diferența rezultatelor
activității de cercetare între beneficiari și non-beneficiari, metoda DID nu a putut fi aplicată. În
vederea aplicării metodei DID ar fi necesară colectarea indicatorilor de rezultat/ impact cel puțin
la un moment pre-intervenție și unul post-intervenție.
2.3.Aplicabilitatea metodei RD (în cazul întreprinderilor, în cazul cercetătorilor)
În cadrul Proiectelor colaborative de cercetare aplicativă, tip 2, competiția 2011, din cauza
numărului redus de observații disponibile atât pentru grupul țintă, cât și pentru cel de control cu
privire la rezultatele activității de CD înregistrate în întreprinderi în 2016, metoda RD a fost testată
pentru următorii indicatori de impact:
Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătățite
Productivitatea muncii
Personal (echivalent norma întreagă) direct implicat in activități de CD
Principalele variabile explicative utilizate în modelele de regresie au fost următoarele:
Cifra de Afaceri (2011)
Nivelul activelor totale (2011)
Nivelul datoriilor totale (2011)
Numărul mediu anual de salariați (2011)
CAEN principal (1 digit)
Regiunea de dezvoltare
Nu în ultimul rând, conform specificului metodei RD, s-a inclus în model și variabila binară de
tratament, care a luat valoarea 1 dacă firma a beneficiat de finanțare prin intermediul intervenției
și 0 dacă nu.
Rezultatele obținute au fost statistic semnificative, confirmând aplicabilitatea metodei RD. De
semnalat însă ca limită a acestei metode, faptul că impactul intervenției este surprins prin
intermediul unui model econometric ce depinde de numărul final de observații incluse în model,
precum și de numărul de factori explicativi considerați. De asemenea, un număr mai mare de
observații atât în rândul beneficiarilor, cât și al non-beneficiarilor aflați sub linie ar putea permite
o analiză mai detaliată și comparativă, pe sub-intervale de valori ale punctajelor de selecție.
În cadrul Proiectelor de cercetare postdoctorală, competiția 2012, metoda RD a fost aplicată
asupra celor mai relevanți indicatori de impact colectați pentru perioada 2012-2016 cu privire la :
Articole ISI realizate în colective internaționale
Articole ISI realizate în colective naționale
Articole BDI în țară
Articole BDI în străinătate
Carte / capitol publicat la editură națională
Carte / capitol publicat la editură internațională
Brevete naționale
Brevete internaționale
Factorii explicativi utilizați în modelarea econometrică au vizat: sexul, vârsta, vechimea în muncă,
vechimea în activități de CD, ocupația principală, domeniul tezei de doctorat, domeniul temei de
cercetare, sursele de finanțare (program post-doctoral, surse proprii, alte surse ale angajatorului,
competiție realizată de ANCSI/UEFISCDI, sau alte surse), precum și răspunsul la întrebarea q15
referitoare la desfășurarea de activități de CD la locul principal de muncă. De asemenea, conform
specificului metodei, în explicarea rezultatelor de cercetare s-a considerat și variabila binară care
să cuantifice măsura în care finanțarea prin intermediul programului de cercetare postdoctorală,
competiția 2012 a contribuit la atingerea rezultatelor înregistrate în perioada 2012-2016.
Rezultatele obținute au fost statistic semnificative pentru o mare parte dintre modelele studiate,
confirmând aplicabilitatea metodei RD. De semnalat, însă necesitatea unui număr cât mai mare
de observații atât în rândul beneficiarilor, cât și al non-beneficiarilor aflați sub linia de finanțare
pentru a permite o analiză mai detaliată pe sub-intervale de valori ale punctajelor de selecție.
2.4. Aplicabilitatea modelului Heckman de regresie în doi pași (în cazul întreprinderilor, în
cazul cercetătorilor)
În cadrul Proiectelor colaborative de cercetare aplicativă, tip 2, competiția 2011, din cauza
numărului redus de observații disponibile atât pentru grupul țintă, cât și pentru cel de control cu
privire la rezultatele activității de CD înregistrate în întreprinderi în 2016, metoda Heckman de
regresie în doi pași a fost testată pentru următorii indicatori de impact:
Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătățite
Productivitatea muncii
Personal (echivalent norma întreagă) direct implicat in activități de CD
S-au utilizat aceleași variabile explicative precum în cazul metodei RD, iar rezultatele au fost
statistic semnificative doar pentru cazul primilor doi indicatori de impact testați.
În cadrul Proiectelor de cercetare postdoctorală, competiția 2012, metoda Heckman de
regresie în doi pași a fost testată pentru toți indicatorii de impact selectați similar ca în cazul
aplicării metodei RD. Același set de factori explicativi a fost și aici considerat în modelare, urmând
a se obține rezultate statistic semnificative pentru 50% din cazurile testate.
Întrucât estimările econometrice sunt dependente de numărul final de observații considerate în
analiză, se recomandă asigurarea unui număr cât mai mare de cazuri (atât în rândul cercetătorilor
care au beneficiar de finanțare prin programul Proiecte de cercetare postdoctorală, competiția
2012, cât și în rândul celor care au aplicat dar nu au beneficiat de finanțare) pentru a crește
șansele de aplicabilitate a metodelor cantitative de evaluare de impact.
În final considerăm adecvate metodele de evaluare contrafactuală de impact în scopul de a
răspunde de întrebarea privind direcția legăturii și valoarea impactului intervenției asupra atingerii
obiectivelor generale ale SNCDI. Gradul de aplicabilitate al metodelor de evaluare de impact este
însă relativ redus, generat de numărul mic de observații culese la nivel de grupuri țintă și respectiv
grupuri de control.
În vederea îmbunătățirii gradului de aplicabilitate a metodelor contrafactuale de impact se
recomandă asigurarea colectării unui număr cât mai mare de observații, stimularea participării la
anchete a firmelor/ indivizilor și o mai bună planificare a etapei de desfășurare a anchetelor,
evitând perioadele de concedii.
3. Relevanța metodologiilor în raport cu întrebările de evaluare
Un alt aspect vizat în cadrul testării metodologiilor de evaluare a impactului s-a referit la relevanța
metodologiilor pentru a răspunde întrebărilor de evaluare, având în vedere datele colectate și
metodele aplicate.
Ca o concluzie generală a testării metodologiilor de evaluare, s-a constatat faptul că prin aplicarea
metodelor cantitative de evaluare a impactului se pot emite concluzii pertinente cu privire la
următoarele întrebări de evaluare:
- Care este progresul ce poate fi observat din perspectiva obiectivelor specifice, de la
momentul adoptării intervenției?
- În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce poate fi
atribuit? La nivelul căror grupuri țintă efectul atribuit intervenției este mai important?
- Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în ce
context?
- Există efecte la nivelul altor sectoare sau a altor grupuri țintă nevizate de intervenție
(potențiale efecte de ”spillover”)?
- Ce mecanisme au facilitat/împiedicat efectele?
- Cât de durabile sunt efectele intervenției?
3.1. Relevanța datelor colectate
Anchetă pe bază de chestionar față în față în firme
Datele colectate prin ancheta pe bază de chestionar față în față în firme sunt relevante pentru a
răspunde la întrebările de evaluare enumerate mai sus. În continuare, se va detalia și modul în
care prin prelucrarea datelor colectate se obțin răspunsuri pentru fiecare întrebare în parte.
Întrebare de evaluare
Prin răspunsul la această întrebare se poate cuantifica schimbarea observată din perspectiva
obiectivelor specifice ale intervenției, de la momentul adoptării intervenției, sau altfel spus, efectul
brut al intervenției (rezultatele observate nu pot fi atribuite în totalitate intervenției, fiind cel mai
probabil cauzate și de alți factori de natură socio-economică, instituțională, legislativă, etc.).
Această întrebare facilitează răspunsul la întrebarea următoare care se referă la estimarea
impactului net al intervenției.
Concret, s-a avut în vedere cuantificarea și analiza progresului pe termen scurt și mediu a
indicatorilor de rezultat ai intervenției pe parcursul derulării proiectelor de tip PCCA față de
momentul de referință 2011 (înainte de momentul intervenției). Schimbarea observată a fost
cuantificată pentru următorii indicatori de rezultat (întrebarea 4, întrebarea 9):
- Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătățite
- Număr produse noi transferate în mediul economic
- Brevete naționale și internaționale solicitate
- Brevete naționale și internaționale obținute
Care este progresul ce poate fi observat din perspectiva obiectivelor specifice, de la momentul adoptării intervenției?
- Articole ISI/ BDI publicate
- Co-publicații public-privat
- Studii de necesitate publică
Grupurile țintă vizate au fost cele trei categorii de firme cuprinse în cercetare, și anume:
(1) firmele participante la intervenție,
(2) firmele care au aplicat la intervenție ca și parteneri/ coordonatori într-o propunere de proiect,
dar nu au obținut finanțare
(3) firme care nici nu au participat la intervenție, nici nu au aplicat, dar ar fi fost eligibile să o facă
La aplicarea metodologiilor de evaluare a impactului SNCDI, pentru a răspunde la această
întrebare, datele din ancheta în firme vor trebui completate cu date de monitorizare la nivel de
proiect (UEFISCDI, MCI), respectiv date din surse administrative (ONRC) și date statistice oficiale
(INS, EUROSTAT).
Întrebare de evaluare Răspunsul la această întrebare cuantifică impactul net al intervenției, prin stabilirea legăturii de
cauzalitate (direcția, mărimea și gradul de incertitudine) dintre intervenție și efecte. Abordarea
răspunsului la această întrebare prin aplicarea de metode contrafactuale necesită colectarea de
date pre, din timpul, și post intervenție atât de la beneficiari ai intervenției, cât și de la non-
beneficiari. Pentru aceasta, în cazul de față, cea mai potrivită abordare este realizarea unei
anchete în firmele beneficiare și non-beneficiare.
Testarea metodologiilor susține această idee, astfel că informațiile colectate sunt relevante atât
pentru calculul indicatorilor de impact, cât și pentru caracterizarea participanților, respectiv a non-
participanților la intervenție din prisma atributelor care pot să diferențieze efectele intervenției.
Indicatorii de impact care au putut fi estimați pe baza datelor colectate sunt următorii (întrebările
4, 9, 17):
- Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătățite
- Număr produse noi transferate în mediul economic
- Brevete naționale și internaționale solicitate
- Brevete naționale și internaționale obținute
- Articole ISI/ BDI publicate
- Co-publicații public-privat
- Studii de necesitate publică
- Venituri din vânzarea de produse CDI proprii (din brevete, licențe sau altele) pe piață
- Productivitatea muncii (calculată ca raport între cifra de afaceri și numărul mediu de
salariați)
- Personal (echivalent normă întreagă) direct implicat în activitățile de CD
Covariatele (variabilele explicative) utilizate pentru testarea modelelor sunt următoarele:
- Cifra de Afaceri (2011) (întrebarea 17 din chestionar)
- Nivelul activelor totale (2011) (întrebarea 17 din chestionar)
În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce poate fi atribuit? La
nivelul căror grupuri țintă efectul atribuit intervenției este mai important?
- Nivelul datoriilor totale (2011) (întrebarea 17 din chestionar)
- Numărul mediu anual de salariați (2011) (întrebarea 17 din chestionar)
- CAEN principal (1 digit)
- Regiunea de dezvoltare (construită după județul firmei)
La aplicarea metodologiilor de evaluare a impactului SNCDI, pentru a răspunde la această
întrebare, datele din ancheta în firme vor trebui completate cu date de monitorizare la nivel de
proiect (UEFISCDI, MCI), date din surse administrative (ONRC), informații extrase din interviurile
în profunzime în rândul beneficiarilor, respectiv focus-grupurile în rândul beneficiarilor și factorilor
interesați.
Întrebare de evaluare În etapa de testare, evaluarea efectelor neintenționate ale intervenției a fost destul de limitată,
având în vedere doar evoluția cifrei de afaceri (între 2011 și 2016), dar rezultatele nu au fost
concludente. Pentru evaluarea impactului SNCDI, se propune introducerea unor întrebări
suplimentare pentru a surprinde mai bine acest aspect.
Întrebare de evaluare Întrebarea cuantifică răspândirea efectelor intervenției înspre grupuri nevizate de aceasta. Datele
colectate în rândul firmelor beneficiare pot să contribuie la estimarea acestor efecte din prisma
achiziției/ subcontractării de servicii de CD (întrebarea 15). De asemenea, grupurile către care
este posibil să se fi răspândit efectele pot fi observate din răspunsurile la întrebarea 16
(universități, institute de cercetare, întreprinderi, alți furnizori de servicii de CD).
La aplicarea metodologiilor de evaluare a impactului SNCDI, pentru a răspunde la această
întrebare, datele culese de la firmele beneficiare vor fi completate cu informații extrase din
interviurile în profunzime în rândul beneficiarilor, respectiv focus-grupurile în rândul beneficiarilor
și factorilor interesați.
Întrebare de evaluare Întrebarea are în vedere analiza mecanismelor care au influențat efectele intervenției, de la modul
de organizare a competiției, procesul de evaluare, calitatea monitorizării și a procesului de
implementare, etc. În acest context, sunt relevante datele colectate în rândul beneficiarilor de
finanțare prin PCCA, respectiv a aplicanților nefinanțați cu privire la aceste aspecte (întrebările
11-14, respectiv întrebarea 6 din chestionar).
Pentru evaluarea impactului SNCDI, datele culese de la firmele beneficiare și non-beneficiare
aplicante vor fi completate cu informații extrase din interviurile în profunzime în rândul
beneficiarilor, respectiv focus-grupurile în rândul beneficiarilor și factorilor interesați.
Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în ce context?
Există efecte la nivelul altor sectoare sau a altor grupuri țintă nevizate de intervenție (potențiale
efecte de ”spillover”)?
Ce mecanisme au facilitat/împiedicat efectele?
Întrebare de evaluare Prin această întrebare se estimează măsura în care efectele sunt sustenabile și după finalizarea
intervențiilor și se identifică factorii care pot asigura durabilitatea efectelor.
În cazul datelor colectate prin ancheta în firme, estimările legate de durabilitatea efectelor au în
vedere informațiile colectate pentru anul 2016, care în majoritatea cazurilor reprezintă un moment
post-intervenție. Semnalăm totuși ca limitare a testării faptul că anul 2016 este foarte apropiat de
momentul încheierii intervenției și recomandăm ca la aplicarea metodologiei să se încerce pe cât
posibil, estimarea durabilității cel puțin pe termen mediu.
Anchetă pe bază de chestionar față în față în rândul cercetătorilor Datele colectate prin ancheta pe bază de chestionar față în față în rândul cercetătorilor sunt
relevante pentru a răspunde la întrebările de evaluare enumerate mai sus. În continuare, se va
detalia și modul în care prin prelucrarea datelor colectate se obțin răspunsuri pentru fiecare
întrebare în parte.
Întrebare de evaluare
Întrebarea cuantifică schimbarea observată din perspectiva obiectivelor specifice ale intervenției,
de la momentul adoptării intervenției. Această întrebare facilitează răspunsul la întrebarea
următoare care se referă la estimarea impactului net al intervenției.
Prin testarea realizată s-a avut în vedere cuantificarea și analiza progresului pe termen scurt și
mediu a indicatorilor de rezultat ai intervenției pe parcursul derulării proiectelor de tip cercetare
postdoctorală față de momentul de referință 2012 (înainte de momentul intervenției). Schimbarea
observată a fost cuantificată pentru următorii indicatori de rezultat (întrebarea 31):
- Articole ISI
- ISI co-autorate cu coordonatorul de doctorat
- Articole ISI realizate în colective internaționale
- Articole ISI realizate în colective naționale
- Articole BDI în țară
- Articole BDI în străinătate
- Carte / capitol publicat la editură națională
- Carte / capitol publicat la editură internațională
- Brevete naționale
- Brevete internaționale
Grupurile țintă vizate au fost cele două categorii de cercetători cuprinși în cercetare, și anume:
(1) cercetătorii participanți la intervenție,
(2) cercetătorii care au depus o propunere de proiect în cadrul competiției, dar nu au obținut
finanțare
Cât de durabile sunt efectele intervenției?
Care este progresul ce poate fi observat din perspectiva obiectivelor specifice, de la momentul adoptării intervenției?
La aplicarea metodologiilor de evaluare a impactului SNCDI, pentru a răspunde la această
întrebare, datele din ancheta în rândul cercetătorilor vor fi completate cu date de monitorizare la
nivel de proiect (UEFISCDI, MCI), respectiv date din surse statistice oficiale (INS, EUROSTAT).
Întrebare de evaluare Răspunsul la această întrebare cuantifică impactul net al intervenției, prin stabilirea legăturii de
cauzalitate (direcția, mărimea și gradul de incertitudine) dintre intervenție și efecte. Testarea
metodologiilor susține ideea necesității colectării de date prin anchetă în rândul cercetătorilor,
informațiile colectate fiind relevante atât pentru calculul indicatorilor de impact, cât și pentru
caracterizarea participanților, respectiv a non-participanților la intervenție din prisma atributelor
care pot să diferențieze efectele intervenției.
Indicatorii de impact care au putut fi estimați pe baza datelor colectate sunt următorii (întrebarea
31):
- Articole ISI
- ISI co-autorate cu coordonatorul de doctorat
- Articole ISI realizate în colective internaționale
- Articole ISI realizate în colective naționale
- Articole BDI în țară
- Articole BDI în străinătate
- Carte / capitol publicat la editură națională
- Carte / capitol publicat la editură internațională
- Brevete naționale
- Brevete internaționale
Covariatele (variabilele explicative) utilizate pentru testarea modelelor sunt următoarele: sexul
(întrebarea 20), vârsta (întrebarea 19), vechimea la locul actual de muncă (întrebarea 14),
vechimea în activități de CD (întrebarea 17), ocupația principală (întrebarea 18), domeniul tezei
de doctorat (întrebarea 6), domeniul temei de cercetare (întrebarea 4), sursele de finanțare
(program post-doctoral, surse proprii, alte surse ale angajatorului, competiție realizată de
ANCSI/UEFISCDI, sau alte surse) (întrebarea 31), desfășurarea de activități de CD la locul
principal de muncă (întrebarea 15).
Evaluarea subiectivă a efectului net se poate realiza prin intermediul întrebării cu numărul 36 din
chestionar (Care dintre rezultatele menționate mai sus nu puteau fi obținute în absența finanțării
post-doctorale?).
La momentul evaluării impactului SNCDI, pentru a răspunde la această întrebare, datele din
ancheta în rândul cercetătorilor vor fi completate cu date de monitorizare la nivel de proiect
(UEFISCDI, MCI), informații extrase din interviurile în profunzime în rândul beneficiarilor,
respectiv focus-grupuri în rândul beneficiarilor și factorilor interesați.
Întrebare de evaluare
În ce măsură progresul observat poate fi atribuit intervenției? Cum și de ce poate fi atribuit? La
nivelul căror grupuri țintă efectul atribuit intervenției este mai important?
Există efecte neintenționate pozitive și negative ale intervenției, pentru cine și în ce context?
Evaluarea efectelor neintenționate are în vedere cuantificarea unor efecte care nu au fost
planificate a se obține prin intervenție, care nu sunt dintre rezultatele așteptate ale intervenției. În
cadrul testării, efectele neintenționate care au fost explorate sunt cele legate de:
- beneficiile stagiilor de mobilitate realizate de cercetătorii post-doctorali (întrebarea 29: Care au
fost principalele beneficii ale stagiilor de mobilitate realizate?),
- beneficiile la care au condus rezultatele proiectului (întrebarea 35: Rezultatele realizate în cadrul
proiectului de cercetare postdoctorală au condus la…)
La evaluarea impactului SNCDI, pentru a răspunde la această întrebare, datele din ancheta în
rândul cercetătorilor vor fi completate cu informațiile extrase din interviurile în profunzime în rândul
beneficiarilor, respectiv din focus-grupurile în rândul beneficiarilor și factorilor interesați.
Întrebare de evaluare Evaluarea efectelor de spillover a fost testată prin intermediul răspunsurilor obținute la întrebarea
26 din chestionar: În ce măsură considerați că rezultatele cercetării realizate în programul
postdoctoral au potențial de a influența pozitiv competitivitatea din următoarele domenii de
specializare inteligentă?
La evaluarea impactului SNCDI, pentru a răspunde la această întrebare, datele din ancheta în
rândul cercetătorilor vor fi completate cu informațiile extrase din interviurile în profunzime în rândul
beneficiarilor, respectiv din focus-grupurile în rândul beneficiarilor și factorilor interesați.
Întrebare de evaluare Analiza mecanismelor care au facilitat/ împiedicat efectele intervenției are în vedere următoarele
aspecte: modul de organizare a competiției, procesul de evaluare, calitatea monitorizării și a
procesului de implementare, etc. În acest context, sunt relevante datele colectate în rândul
beneficiarilor de finanțare prin Programul de cercetare postdoctorală, respectiv a aplicanților
nefinanțați cu privire la aceste aspecte (întrebările 32 și 34 din chestionar).
Pentru evaluarea impactului SNCDI, datele din ancheta în rândul cercetătorilor vor fi completate
cu informațiile extrase din interviurile în profunzime în rândul beneficiarilor, respectiv din focus-
grupurile în rândul beneficiarilor și factorilor interesați.
Întrebare de evaluare Prin această întrebare se estimează măsura în care efectele sunt sustenabile și după finalizarea
intervențiilor și se identifică factorii care pot asigura durabilitatea efectelor.
În cazul datelor colectate prin ancheta în rândul cercetătorilor, estimările legate de durabilitatea
efectelor au în vedere informațiile colectate pentru anul 2016, care în majoritatea cazurilor
reprezintă un moment post-intervenție. Semnalăm totuși ca limitare a testării faptul că anul 2016
Există efecte la nivelul altor sectoare sau a altor grupuri țintă nevizate de intervenție (potențiale
efecte de ”spillover”)?
Ce mecanisme au facilitat/împiedicat efectele?
Cât de durabile sunt efectele intervenției?
este foarte apropiat de momentul încheierii intervenției și recomandăm ca la aplicarea
metodologiei să se încerce pe cât posibil, estimarea durabilității cel puțin pe termen mediu.
3.2. Relevanța metodelor aplicate Metodele aplicate sunt în primul rând cele de evaluare contrafactuală a impactului (PSM, DID,
RD, plus regresia Heckman în doi pași), iar descrierea detaliată a modului în care au fost aplicate
acestea se găsește în secțiunea 2.
O altă metodă care a fost avută în vedere în cadrul testării este analiza statistică a datelor
colectate atât prin ancheta în rândul firmelor, cât și prin ancheta în rândul cercetătorilor.
Pentru a răspunde întrebărilor de evaluare propuse, au fost aplicate, pentru fiecare întrebare, una
sau mai multe din metodele menționate mai sus. A fost testată și complementaritatea metodelor
de evaluare. Procesul de testare a evidențiat faptul că aplicarea metodelor este relevantă în
contextul întrebărilor de evaluare propuse.
4. Concluzii Principalele concluzii ale testării metodologiei de evaluare a impactului SNCDI sunt prezentate
sintetic mai jos.
Observații Recomandări pentru îmbunătățirea metodologiei
Colectarea datelor
Adecvarea instrumentelor de colectare
Sunt adecvate Propunem doar ca anchetele realizate pe bază de chestionar online în rândul indivizilor beneficiari de finanțare în Programe de cercetare exploratorie şi în rândul participanților la Proiecte de cercetare pentru tinere echipe de cercetare independente - (PNCDI 2- Competiția 2012) să fie înlocuite cu interviuri în profunzime pentru a putea obţine informaţii complete, detaliate, țintite, corelate între ele şi pentru a creşte gradul de răspuns la întrebări printr-o mai bună înţelegere a acestora şi a scopului chestionarului
Formularea întrebărilor În mare proporție adecvate. Au fost semnalate câteva probleme.
Pentru problemele semnalate au fost propuse soluții de îmbunătățire/ reformulare.
Adecvarea modalităților de colectare a datelor (FTF, on-line, telefonic)
Sunt adecvate
Adecvarea tehnicilor de eșantionare propuse
Sunt adecvate O variantă alternativă de eșantionare a firmelor eligibile dar care nu au participat la intervenție, o constituie restrângerea populației la firmele care au realizat efectiv activitate de CD în perioada supusă analizei, pe baza datelor de la ONRC. Viabilitatea alternativei este însă condiționată de calitatea datelor ONRC. O a doua variantă ar putea fi restrângerea populației la firmele care au în statut cercetarea-dezvoltarea ca activitate principală.
Adecvarea datelor colectate pentru calculul indicatorilor de impact
Datele sunt adecvate pentru calculul indicatorilor de impact propuși
Probleme întâmpinate în procesul de colectare a datelor
Număr redus de respondenți chestionați și grad relativ mare de non-răspunsuri la anumite întrebări
Au fost formulate propuneri de creștere a gradului de răspuns la anchete. Astfel, pentru îmbunătățirea monitorizării și evaluării programelor finanțate din fonduri publice, propunem introducerea în contractul de finanțare a obligativității organizațiilor beneficiare de a răspunde la solicitările MCI cu privire la desfășurarea și rezultatele acestor proiecte, atât pe parcursul derulării, cât și după finalizarea acestora, ori de câte ori finanțatorul o cere. În plus, se propun următoarele: - planificarea culegerii datelor pe cât posibil
(în funcție de planificarea activităților proiectului) în perioade neafectate de concedii
- transmiterea chestionarelor către firme pentru a putea pregăti din timp informațiile necesare sau/ și completarea chestionarelor în mai multe vizite în cazul în care respondentul nu dispune de toate informațiile la momentul vizitei
Aplicabilitatea metodelor de evaluare contrafactuală a impactului
Aplicabilitatea metodei PSM în cazul întreprinderilor
Grad redus de aplicabilitate generat de numărul relativ scăzut de observații colectate
Se recomandă creșterea gradului de răspuns la chestionare (a se vedea mai sus).
Aplicabilitatea metodei DID - Întreprinderi - Cercetători
Metoda DID este aplicabilă pentru cazul întreprinderilor, dar pentru cercetători nu s-a putut realiza dubla diferență
Gradul în care cerințele metodologiilor propuse pe cele 4 domenii de specializare inteligentă și sănătate corespund cu cerințele evaluării de
impact a politicilor publice de cercetare
în foarte mică măsură în mică măsură în mare măsură în foarte mare măsură
- metodele de evaluare cantitativă propuse a se utiliza în evaluare sunt printre metodele
utilizate pe plan European pentru evaluarea de impact a programelor (opinie unanim
favorabilă)
- metodele de evaluare calitativă surprind aspectele relevante pentru evaluarea de impact
(opinie unanim favorabilă)
- metodele de evaluarea calitativă sunt printre cele utilizate la nivel european pentru
evaluările de impact (opinie unanim favorabilă).
- metoda de integrare a rezultatelor la nivel de domeniu de specializare inteligentă este
corect aleasă.
Prin urmare, putem concluziona că metodologiile supus evaluării întrunesc condițiile de
calitate pentru a putea fi utilizate în evaluarea de impact a instrumentelor de finanțare din
PNCDI-3.
Observațiile și recomandările vor fi luate în considerare în reviziuirea metodologiilor, în cadrul
activității A1.1.3.
În cele ce urmează vom detalia aprecieri, concluzii, comentarii și recomandări pe fiecare din
domeniile de specializare inteligentă și pe domeniul de interes public sănătate.
2.1 Validarea metodologiei pentru domeniul de specializare inteligentă ”Bioeconomie”
Metodologia de evaluare de impact a fost supusă evaluării de către 5 experți, din care 4 naționali
și unul internațional. Experții evaluatori ai domeniul de specializare inteligentă au fost: Liviu
George Maha, Monica Roman, Alexandrina Sîrbu (naționali) și Paul F. Langer (internațional).
Aprecierile generale cu privire la metodologia de evaluare a impactului instrumentelor de
finanțare PNCDI-3 sunt pozitive, dar și realiste. Astfel:
” Întrucât SNCDI este fragmentată într-un număr ridicat de intervenții financiare, care sunt
eterogene ca obiective și ca surse de finanțare, obiectivul analizei impactului global al
instrumentelor de finanțare asupra atingerii obiectivelor strategiei este deosebit de provocator.”
Experții evaluatori au făcut următoarele remarci:
”Cadrul metodologic este corect conceput și oferă indicații clare privind modul derulare a evaluării
de impact, astfel încât echipa de evaluatori să realizeze un produs de o maximă utilitate pentru
fundamentarea viitoare a politicilor Cercetare, Dezvoltare și Inovare (CDI) în România. ”
”Cadrul metodologic descrie într-o manieră clară: obiectivele evaluării, întrebările de evaluare,
metodele și etapele evaluării, produsele de evaluare. Sunt analizate efectele de sinergie între mai
multe programe de finanțare și efectele de spillover. ”
S-au formulat observații ca de exemplu:
” Întrucât apar deja în documentele de programare ale PNCD, SNCDI, POC etc., acești indicatori
sunt cei care vor constitui punctul de plecare al oricărei evaluări ad-interim sau ex-post în
domeniul CDI. Ar fi util pentru echipa de evaluare viitoare sa aibă informații privind metadatele
acestor indicatori (definiție, sursă de raportare, nivel de agregare, metodologie de colectare).
Pentru aceasta se pot indica aceste informații într-o anexă a Cadrului metodologic sau, preferabil,
se poate indica direct referința către documentele sursă.”
”...indicatorii propuși, ”Productivității muncii în întreprinderi”, sau ”Numărul de angajați” sunt
extrem de utilizați în evaluările de impact și adecvați pentru analiza impactului SNCDI, fiind prin
urmare bineveniți. Pe de altă parte, din categoria indicatorilor de rezultat economic, aș recomanda
includerea Valorii adăugate în întrepinderi/unități de cercetare și Valoarea cifrei de afaceri.1 De
asemenea, se poate considera ca indicator de impact Cheltuielile cu cercetare dezvoltare inovare
la nivelul firmelor.”
1 A se vedea Daniele Bondonio, Federico Biagi and Juraj Stancik (2016), Counterfactual Impact Evaluation of Public Funding of Innovation, Investment and R&D. Joint Research Centre. JRC Technical Report EUR 27931 EN; doi:10.2791/240240.
”Metodele sunt clar dar succint descrise, așa cum este cazul într-un asemenea document. Totuși,
este recomandabilă precizarea inclusiv în text a celor mai relevante referințe in domeniu, inclusiv
ghidul EVALSED (a se vedea http://www.evaluare-structurale.ro/ro).”
”Apreciez faptul că s-au menționat limitele metodologice mai ales în ceea ce privește evaluarea
prin metoda contrafactuală. Totuși, trebuie menționate riscurile evaluării de impact a SNCDI.
Riscurile pe care le anticipez și care ar trebui menționate sunt legate de:
Numărul redus de aplicații pentru anumite intervenții;
Numărul redus de proiecte finalizate la momentul evaluării;
Accesul limitat la date, datorită unei potențiale lipse de actualizare a bazelor
de date (de exemplu MySMIS sau bazele UEFISCDI);
Dificultăți în constituirea grupului de control.”
În ce privește recomandările experților naționali și internaționali, acestea se referă atât la formă,
cât și la conținut:
1. Includerea unei Secțiuni introductive sau a unui Sumar executiv care sa precizeze:
contextul documentului, scopul acestuia, cui se adresează si cine va utiliza metodologiile
descrise, care este structura/conținutul documentului.
2. Secțiunea 2, Context național/ regional relevant pentru domeniul de specializare
inteligentă, conține o succesiune de indicatori cu caracter general, iar rolul acestei secțiuni
trebuie precizat clar – și anume că evaluează cadrul de politiciă CDI nu domeniul de
specializare. Ar fi de dorit si o caracterizare a domeniului, deși identificarea unor indicatori
care să permită aceasta pare o misiune imposibila
3. Adăugarea de referințe bibliografice și completarea listei bibliografice cu materiale de
referință în domeniul evaluării politicilor de CDI, pentru o mai extinsă documentare.
4. includerea unei liste de acronime la începutul Cadrului Metodologic poate fi utilă unor
utilizatori mai puțin familiarizați cu domeniul.
5. Se poate adăuga la lista indicatorilor de impact si a unor indicatori de rezultate economic,
de tipul Valorii adăugate sau a Cifrei de afaceri, sau Cheltuieli cu CDI. Ar asigura astfel
un cadru comun de indicatori, exprimați valoric, care să fie comparabili între mai multe
categorii de beneficiari.
6. Considerarea bazelor de date rezultate din procesul de evaluare drept produse ale
evaluării. Se va preciza cine este proprietarul lor (de exemplu, UEFISCDI sau Ministerul
cercetării) și cum vor fi stocate.
7. sunt situații în care poate fi pusă în discuție luarea în considerare a unor indicatori, cum
este cazul, doar cu titlu de exemplu, al indicatorului de rezultat (luat în calcul și ca indicator
cheie de impact) „co-publicații public-privat (nr.)”, utilizat în cazul proiectelor Bridge Grant
(PNCDI III, Programul 2, Subprogramul 2.1.). Atât timp cât acest tip de intervenție nu își
propune așa ceva (realizarea de publicații în comun), ar fi putut fi mai relevantă folosirea
altor indicatori de genul „co-publicații științifice” (realizate de cercetătorii din universități
care au acces la infrastructura agentului economic și fără a exclude o eventuală
colaborare cu persoane din mediul privat) sau „inovații de produs/ serviciu/ proces”
realizate la nivelul agentului economic, acestea putând fi rezultate ale intensificării
cooperării dintre universități și agenți economici și ale transferului de cunoaștere către
mediul industrial (inclusiv continuarea acestora după implementarea proiectului și
„rezolvarea” problemei punctuale care a făcut obiectul proiectului). Folosirea acestei
sintagme „public-privat” poate constitui o problemă în cazul mai multor instrumente de
finanțare, atât timp cât agenții economici care sunt beneficiari ai proiectelor sau fac parte
dintr-un parteneriat eligibil nu au ca obiect de activitate cercetarea științifică, deci e puțin
probabil ca resursa lor umană să aibă competențe adecvate elaborării de lucrări științifice
8. crearea unei platforme online pentru postarea rezultatelor evaluării.
2.2. Validarea metodologiei pentru domeniul de specializare inteligentă ”Eco-
nanotehnologii și materiale avansate”
Metodologia de evaluare de impact a fost supusă evaluării de către 5 experți, din care 4 naționali
și unul internațional. Experții evaluatori ai domeniul de specializare inteligentă au fost: Gheorghe
Gheorghe, Roxana Radvan, Radu Vasiu (naționali) și Milanka Slavova (internațional).
Aprecierile generale cu privire la metodologia de evaluare a impactului instrumentelor de
finanțare PNCDI-3 sunt favorabile, la subiect și realiste. Astfel:
” Raportul se remarcă prin calitatea conţinutului, precum şi prin forma grafică clară, atent
construită şi care slujeşte scopului, facilitând înţelegerea discursului şi care prezintă prin scheme
simple raportul dintre instrumentele de analiză şi obiectivele domeniului de specializare
inteligentă”
” Metodologia este atent gândită pentru a conduce prin concluziile sale la îmbunătățirea
instrumentelor de finanțare, cu scopul atingerii obiectivelor SNCDI la nivelul domeniului de
specializare inteligentă”
”Consider că pașii metodologici, respectiv coordonatele metodologice care trebuie urmate în
procesul de evaluare au fost prezentate clar și detaliat, în multe cazuri cu prezentarea unor
scheme logice și a designului.”
”Se pornește de la un set de 8 întrebări de evaluare care acoperă în mod corect și cuprinzător
problemele la care trebuie să răpundă metodologia de evaluare.”
”Metodologia are obiective clare și include abordări sistematice pentru culegere de infromații și
instrumente adecvate pentru întrebările de evaluare. Abordarea naalitică este corespunzătoare
tehnicilor de culegere și metodele alesepentru evaluare sunt combinate pentru a reduce riscul
manifestprii limitărilor inerente (trad).”
Evaluatorii au făcut și observații cu privire la:
”Evaluarea cu privire la mixul de metode cantitativ-calitative și a complementarității dintre acestea
(cap.3) ... dovedește cunoașterea abordărilor teoretice internaționale și politicile naționale în
domeniu în detaliu...”
”Evident, calitatea oricărei analize depinde de volumul de date specifice fiecărui instrument
adresat în timpul derulări programelor. Totodată se impune și o judicioasă alegere a metodelor
calitative care să fie relevante pentru toate programele analizate.”
”Având în vedere că rezultatul obțuinut în fiecare pas (metodologic n.n) devine input în pasul
următor se poate sublinia necesitatea atenției maxime pentru pașii de început.... de aceea
consider că pașii de început în aplicarea metodologiei sunt extrem de importanți și vor condiționa
calitatea rezultatului final.”
”O barieră în implementarea unor metode econometrice mai sofisticate este lipsa accesului la
date sau constrângerile de timp (trad).”
Evaluatorii au formulat și recomandări:
1. introducerea unui glosar de termeni
2. stocarea și păstrarea datelor colectate deoarece au o valoare deosebita pentru studiu, dar
sunt de asemenea purtătoare de informații corelate, extrem de utile pentru cei ce urmează
să implementeze conluziile finale ale evaluării, precum și pentru evaluarea finală. Nu sunt
informații „consumabile”, ci informații care ar trebui sa intre într-o bază de date polivalentă,
fiind valoaroase și pentru studii adiacente
3. Construirea unei diagrame PERT care să prezinte metodologia de evaluare a impactului
pentru diseminarea rezultatelor si asocierea lor cu punctele esentiale ale diagramei
4. Urmărirea coerenței legislației în domeniu, în particular a celei care acționează asupra
domeniului cercetării și a celor adiacente, astfel încât calitatea impactului să fie apreciată
în context
5. Pentru un număr mare de programe și instrumente, analiza procedurii de accesare,
derulare și implementare ar putea genera cel mai valoros corector, ar îmbunătății operarea,
ar asigura calea spre impactul dorit
6. Abordarea și a unor parametrii de timp - atat în ceea ce privește timpii necesari colectării
datelor, a sincronizării unor etape - în special a celor care presupun anchete/interviuri. Sunt
date de intrare in procesul de evaluare care pot altera concluziile pentru că nu sunt
colectate în același moment/ sau cu referire la același interval de timp; precum și momentul
în care se fac anchetele este foarte important (pre/post competițional, pre/post raportare
etc.)
7. Utilizarea indicatorilor de impact al instrumentelor de finanțare vizate, care ar merita
analizat, este acela al numărului de întreprinderi inovatoare de tip start-up și spin-off
implicate în proiectele de cercetare-dezvoltare din domeniul specializării inteligente eco-
nano-tehnologii și materiale avansate, respectiv cele nou înființate în domeniu (dacă este
relevant pentru anumite instrumente de finanțare). De asemenea, consider că ar fi util de
evaluat un indicator care să evalueze numărul de parteneriate pentru transfer de cunoștințe
nou create și care se dovedesc sustenabile.
8. O prezentare a aspectelor specifice domeniului de specializare inteligentă în preambulul
metodologiilor
9. Considerarea unor indicatori suplimentar cum ar fi ”număr de întreprinderi inovatoare de
tip start-up și spin-off implicate sau nou-înființate” și ” numprul de parteneriate pentru
transfer cunoștințe nou create și care se dovedesc sustenabile”.
10. Completarea metodologiilor cu un orizont de timp necesar aplicării și a unei evaluări de
buget necesar.
2.3. Validarea metodologiei pentru domeniul de specializare inteligentă ”Energie,
mediu și schimbări climatice”
Metodologia de evaluare de impact a fost supusă evaluării de către 5 experți, din care 4 naționali
și unul internațional. Experții evaluatori ai domeniul de specializare inteligentă au fost: Georgeta
Alecu, Adriana Grigorescu, Liviu Marian Mocan (naționali) și Serban Scrieciu (internațional)
Aprecierile experților cu privire la metodologiile supuse validării au fost pozitive, astfel:
”Metodele de evaluare de tip cantitativ cu cele de tip calitativ, inclusiv metode de tip contrafactual
cu metode de tip calitativ sunt esențiale pentru înțelegerea contextului in care au funcționat
intervențiile. Totodată, este ușurata înțelegerea impactului pentru cei puși in situația de a decide
care vor fi cele mai bune politici pentru perioada viitoare: ministerele responsabile de politicile
publice, Ministerul Cercetării si Inovării, UEFISCDI, parteneri economici si sociali interesați.
....Tendința pe plan internațional este de a utiliza concomitent mai multe modele de evaluare. S-
a demonstrat că studiile și rapoartele de evaluare trebuie să răspundă atât unor întrebări privind
procesul, cât și unor întrebări privind rezultatele. In același timp, sunt de interes, atât efectele
economice, cat și cele de impact social. ”
”Apreciem că metodologia identifică și sintetizează într-o manieră foarte clară și logică toate
elementele componente, premisele și așteptările și formulează un mix de metode cantitative și
calitative menite să ofere o evaluare pertinentă a impactului, să determine zonele vulnerabile și
să permită formularea unor propuneri de ajustare și reglare a procesului.”
S-au formulat și observații:
”Pentru operaționalizarea mecanismului de monitorizare a SNCDI constat că se impune
finalizarea și aprobarea planului și metodologiei de evaluare de impact.”
”prezentarea metodologiei poate beneficia din prezentări din literatură care să ilustreze unele
afirmații (trad)”.
Recomandările vizează:
- rapoartele aferente studiilor de evaluare trebuie să fie făcute publice, fiind necesare acțiuni
pentru a asigura diseminarea corespunzătoare a acestor informații.
- Adăugarea unui glosar de termeni pentru metodologie
- O detaliere mai mare a unor informații (vezi metodele Computer Assisted Web Interview
(CAWI), Chestionarul Face To Face (FTF), Computer - Assisted Personal Interviewing
(CAPI))
- Este importantă introducerea unor instrumente de măsurare mai concretă a impactului în
economia reală a SNCDI 2014-2020 (atât a impactului financiar cât și tehnologic, de
imagine, de mediu, etc)
- o mai clară evidențiere a necesității asigurării omogenității și comparabilității datelor
utilizate și colectate și sublinierea acordării unei atenții deosebite acestor aspecte în
momentul implementării procesului de evaluare;
- utilizarea exemplelor în stabilirea întrebărilor de evaluare, a metodologiilor, metodelor de
colectare a datelor, surselor de date etc. lăsând libertatea evaluatorilor de a construi
propriile instrumente de evaluate este un ”+” și un ”-” în același timp; sugerăm completarea
cu liste exhaustive specifice domeniului;
- accentuarea rolului matriceal de integrare al rezultatelor cantitative și calitative și o mai
bună evidențiere a modului de rezolvare a caracterului neomogen pe tipuri de intervenții;
- uniformizarea modului de notare a elementelor componente care apar în cadrul
metodologiei;
- integrarea tabelului de la pg 63 la capitolul 3.4. și detalierea modului de evaluare a
efectelor spillover;
- numerotarea tabelelor și figurilor chiar dacă sunt integrate în text și utilizarea trimiterilor la
acestea;
- utilizarea anexelor pentru acele componente care nu au relevanță majoră în corpul
metodologiei
- includerea în metodologia de evaluare a unei scheme cadru de valorificare a produselor
evaluarării în ajustarea actualelor PNCDI și SNCDI, precum și proiectarea programelor
viitoare
- distingerea între principalele sub-domenii ale sectorului atunci când se colectează datele,
se identifică indicatorii si se evaluează impactul. În domeniul energie, mediu și schimbări
climatice aceasta include: diversificarea surselor de energie, eficiența energetică,
managementul resurselor de apa, orașe inteligente (trad).
2.4. Validarea metodologiei pentru domeniul de specializare inteligentă ”TIC, spațiu
și securitate”
Metodologia de evaluare de impact a fost supusă evaluării de către 5 experți, din care 4 naționali
și unul internațional. Experții evaluatori ai domeniul de specializare inteligentă au fost: Adriana
Alexandru, Violeta Domnica Poenaru, Mihai Roman (naționali) și Lopez Victor-Raul Ruiz
(internațional).
Aprecierile experților cu privire la metodologiile supuse validării au fost pozitive, astfel:
”este o metodologie inovativă, credibilă și robustă din punct de vedere matematic, utilizând un
mix adecvat de metode cantitative și calitative pentru a depăși constrângerile sistemului de date„.
”Metodologia de evaluare a impactului este întocmită corect, prezintă în detaliu atât domeniile de
intervenție, ierarhizarea pe tipuri de instrumente de finanțare cât și metodele de evaluare de
impact din punct de vedere al decidenților politici, de program și al comunității academice. De
asemena, ea se încadrează în liniile metodologice similare la nivel european, corespunde
contextului național și este conformă cu cerințele de evaluare de impact. ”
”Metodologia de evaluare a impactului SNCDI a ținut cont de programele care vizează
dezvoltarea unui ecosistem competitiv de afaceri centrat pe inovare și pe transfer tehnologic la
beneficiar, de obiectivele generale ale strategiei CDI, de actorii implicați, de indicatorii de rezultat
și realizare și de metodologia existentă la nivel European.”
”a fost sursprinsă în mod corespunzător complementaritatea cu alte politici și strategii publice, iar
instrumentele de finanțare au fost associate corespunzător obiectivelor SNCDI. Metodele de
evaluare cantitativă și calitativă au fost alese în mod fericit, fiind compatibile cu cele existente pe
plan european și posibil a fi aplicate.De asemenea, au fost identificate în mod correct metodele
de integrare a rezulatelor cantitative și calitative obținute, precum și cele pentru evaluarea
efectelor de spillover.”
Unii dintre experți au fomulat și observații:
”Analiza instrumentelor de finanțare la nivelul domeniului de specializare inteligentă după nevoia
care o adresează necesită inovații metodologice care să susțină provocările tehnice ale strategiei
CDI” (trad).
Recomandările formulate se referă la:
1. Introducerea unei liste a acronimelor utilizate în text
2. Adăugarea unui sumar care să precizeze cui se adreseaza metolodologia, scopul și actorii
implicați.
3. Referirea în text a bibliografiei utilizate, în special în zona instrumentelor de analiză
cantitativă
4. Adăugarea unor estimări realiste ale duratei analizei (cu detaliere dacă se poate face
privind durata de colectare informații și prelucrare primară)
5. Utilizarea unor metode de decizie multicriterială (de tip multiatribut – ex. TOPSIS, analytic
hierarchy process – AHP, Multi-atribute utility theory) în analizele multicriteriale, precum
și dezvoltarea de metode de analiză cantitativă alternative cum ar fi de exemplu DEA –
Data Envelopment Analysis care ar permite compararea diverselor instrumente de
finanțare sau a măsurilor implementate.
6. Se recomandă informarea în mod regulat a autorităților din domeniu cu privire la
rezultatele obținute din evaluare, respectiv din activitățile actorilor implicați și asigurarea
coerenței între politicile / strategiile identificate.
7. Adăugarea la lista instrumentelor de finanțare a Programului 5 – Cercetare în domenii de
interes strategic, subprogramul 5.3. Programul de cercetare, dezvoltare și inovare pentru
tehnologie spațială și cercetare avansată pentru susținerea participării la programele și
activitățile Agenției Spațiale Europene.
8. Se pot lua în considerare metodele alternative: analiza SWOT aplicată înainte și după
intervenție, ca metodă calitativă și metoda matriceală (trad)
9. Inlocuirea pragului de 10% cu 25% la indicatoril ”publicații științifice în top 10% cele mai
citate publicații”
10. Introducerea unui nou indicator și anume ”ponderea în PIB a industriilor implicate în
domeniul de specializare inteligentă” și dinamica acestuia
11. Includerea Academiei Române în calitate de actor distinct, nu mediat prin intermediul
institutelor de cercetare din componența.
12. Includerea Institutului Național de Statistică pe lista posibililor furnizori de date.
13. Pentru agregarea indicatorilor exprimați în diferite unități de măsură în analiza cost-
eficacitate, se poate aplica metoda Lopez et al (2014)2 pentru indicatorii sintetici în care
indecși se transformă pe o scală procentuală, apoi sunt convertiți în unități monetare
multiplicate prin finanțare.Ponderra fiecărui element este atinsă printr-o metodă obiectivă
constând în aplicarea analizei componentei principale funcție de varianța pe fiecare factor
(trad).
2 Lopez-Ruiz, V.R Alfaro-Navarro, J.L. Navaro-Pena D. – Knowledge-city index constructionȘ an intellectual capital perspective. Expert Systems with aăășocations 41(12), 5560-5572
2.5. Validarea metodologiei pentru domeniul de interes public Sănătate
Metodologia de evaluare de impact a fost supusă evaluării de către 5 experți, din care 4 naționali
și unul internațional. Experții evaluatori ai domeniul de specializare inteligentă au fost: Elena
Nolica Druică, Zizi Goschin, Gabrile Ioan Prada (naționali) și Marco Ragazzi (internațional).
Aprecierile experților evaluatori au fost pozitive, astfel:
”Metodologia conține un număr important de elemente contructive ce reflectă bunele practici
internaționale din perspectiva procesului de evaluare de impact... au fost identificate corect
intervențiile și s-a evidențiat în mare măsură complementaritatea măsurilor care vizează domeniul
sănătății.... s-au asociat corect instrumentele de finanțare cu obiectivele Strategiei SNCDI. ”
”metodele propuse în cadrul acestei meto dologii de evaluare se regăsesc în literatura de
specialitate ... dar autorii nu argumentează clar considerațiile care au stat la baza alegerii acestor
metodologii din multitudinea celor disponibile....
” evaluarea efectelor de spillover este abordată în metodologie fără prezentarea clară a etapelor
de urmat pentru această analiză...
” ar fi utilă extinderea capitolului privind produsele evaluării din perspectiva domeniului de
sănătate publică care prezintă o multitudine de aspecte particulare...
S-au formulat observații ca de pildă:
”Costurile adoptării metodologiei de evaluare trebuie monitorizate pentru a se evita anomalii”.
”volumul de date ce va fi prelucrat pentru adoptarea metodologiei trebuie gestionat în termeni de
calitate, respectiv validarea datelor (trad)”
”Este de dorit realizarea evaluării de impact la 1-3 ani după finalizarea proiectelor din domeniu și
a celor din domenii conexe (trad).”
Un aspect care trebuie luat în considerare esre costul tuturor produselor de evaluare. În Italia
costul
Recomandările experților evaluatori se referă la:
- Introducerea unei secțiuni care să puncteze, în baza câtorva indicatori recunoscuți ai
eficienței sistemului de sănătate, starea de fapt la nivelul României.
- Adaptarea mai bună a indicatorilor de rezultat, realizare și impact la domeniul sănătate
- furnizarea de exemple orientative care să ofere sprijin analiștilor care vor aplica
metodologia
- Oferirea de repere concrete și criterii de verificare a comparabilității cu privire la selecția
adecvată a grupurilor de unități economice ce se supun analizei
- Informarea decidenților cu privire la soluții/metode de prioritizare a investițiilor, găsirea
unor soluții pentru asigurarea comparabilității privind efectele unor investiții
- Reformularea acelor întrebâri la care răspunsul poate fi interpretabil (dacă și în ce măsură
lucrurile ar putea fi făcute mai bine)
- Înlocuirea indicatorului de productivitate a muncii care este considerat neadecvat pentru
domeniul sănătate
- Reformularea unor întrebări de evaluare
- Utilizarea indicatorului număr de cercetători din sectorul public și privat raportat la 1 mil.
locuitori, fapt ce ar permite și o comparabilitate internațională (trad)
- Utilizarea indicatorului aplicarea pentru brevete la nivel național și internațioanl este utilizat
ca un indicator comun, dar efortul pentru a aplica pentru un brevet la nivel internațional
diferă semnificativ de cel național, deci unitățile nu sunt comparabile (trad)
3. Concluzii
Experții evaluatori au apreciat că cerințele metodologice propuse în metodologiile de evaluare de
impact corespund cu cerințele evaluării de impact a politicilor publice de cercetare în mare măsură
(55%) și în foarte mare măsură (45%).
Metodologia întocmită identifică toate instrumentele de finanțare la nivelul domeniului de
specializare inteligentă (opinii afirmative în proporție de 95%), identifică obiectivele majore în
cadrul instrumentelor (opinie unanimă), identifică obiectivele majore (opinie unanim favorabilă),
indicatorii utilizați sunt adecvați scopului evaluării (opinie unanim favorabilă), indicatorii de
evaluare a impactului corespund obiectivelor programelor (opinie unanim favorabilă), potențialii
beneficiari ai instrumentelor de finanțare au fost corect identificați (opinie unanim favorabilă),
mixul de metode de evaluare de impact propus este adecvat instrumentului de finanțare și
obiectivului programului (opinie unanim favorabilă), metodele de evaluare cantitativă propuse a
se utiliza în evaluare sunt printre metodele utilizate pe plan European pentru evaluarea de impact
a programelor (opinie unanim favorabilă), metodele de evaluare calitativă surprind aspectele
relevante pentru evaluarea de impact și sunt printre cele utilizate la nivel european pentru
evaluările de impact (opinie unanim favorabilă), metoda de integrare a rezultatelor la nivel de
domeniu de specializare inteligentă este corect aleasă.
Recomandările vizează unele aspecte formale, dar și o abordare ușor nuanțată a domeniului de
PROGRAMUL PARTENERIATE – PROIECTE COLABORATIVE DE CERCETARE APLICATIVĂ
COMPETIȚIA 2011 TIP 2
Denumirea unităţii............................................................................................................................
Cod Unic de Identificare (C.U.I.) / cod FISCAL└─┴─┴─┴─┴─┴─┴─┴─┴─┴─┘
Judeţul .............................……… Localitatea .................................................................................
Strada ………………………………….................................... Nr. ..………… Sectorul …..…………
Forma juridică3 └─┴─┘
Forma de proprietate4 └─┴─┘
Activitatea principală Cod CAEN Rev.2 └─┴─┴─┴─┘
Anul înființării └─┴─┴─┴─┘
DEFINIȚII: Activitate de CD: Cercetarea-dezvoltarea se definește ca fiind orice activitate sistematică și creatoare inițiată pentru a spori volumul de cunoștințe, inclusiv cunoștințe despre om, cultură și societate și utilizarea acestor cunoștințe pentru noi aplicații. Activitatea de cercetare-dezvoltare include proiectarea tehnologică. Nu include: activități de studiere a pieței, microproducțiaţia de tip industrial şi agricol, cu excepția activităților de execuție (prototipuri, instalaţii experimentale, staţii pilot), activități de producție și înrudite, activități de educație și formare profesională, servicii
de informare, colectare generală de date, testare și standardizare, munca de brevetare și licențiere, studii de fezabilitate, servicii medicale de specialitate, software de rutină, inovarea industrială (alta decât cea de cercetare-dezvoltare), studii referitoare la politici ca activitate de aplicare a rezultatelor cercetării-dezvoltării pentru a evalua politici guvernamentale (Institutul Național de Statistică).
I. ACTIVITATEA DE CD ÎN PERIOADA 2011-2016
3 Forma juridică de organizare a întreprinderii: R.A. - regie autonomă - cod 01; S.N.C. - societate în nume colectiv - cod 02; S.C.S. - societate în comandită simplă - cod 03; S.C.A. - societate în comandită pe acţiuni - cod 04; S.A. - societate pe acţiuni - cod 05; S.R.L. - societate cu răspundere limitată - cod 06; O.C1. – societate (cooperativă) meşteşugărească - cod 07; O.C2. – societate (cooperativă) de consum - cod 08; O.C3.- societate (cooperativă) de credit - cod 09; organizaţie cu scop lucrativ (alta decât cea cooperatistă) - cod 13; societăţi agricole (Legea 36/1991) - cod 14; alte forme juridice (unităţi economice, culturale, sociale, obşteşti fără formă juridică expresă) - cod 29 4 Forma de proprietate după tipul de capital: proprietate integrală de stat - cod 10; proprietate majoritară de stat (capital social de stat peste 50%): S.C. cu capital de stat şi capital privat/cooperatist românesc - cod 21, S.C. cu capital de stat românesc şi capital străin - cod 22, S.C. cu capital de stat şi capital privat românesc şi capital străin - cod 23; proprietate majoritară privată (capital social privat peste 50%): S.C. cu capital de stat şi capital privat/cooperatist românesc - cod 26, S.C. cu capital de stat românesc şi capital străin - cod 27, S.C. cu capital de stat şi capital privat românesc şi capital străin - cod 28; proprietate autohtonă integral privată: S.C cu capital integral privat/cooperatist românesc - cod 31, S.C cu capital privat/cooperatist românesc şi capital străin cod 32; proprietate cooperatistă - cod 40; proprietate obştească - cod 50; proprietate integral străină - cod 60; proprietate publică de interes naţional şi local - cod 70.
1. În perioada 2011-2016, întreprinderea a desfășurat activitate de cercetare-dezvoltare în
cadrul unui departament de cercetare-dezvoltare sau a unei echipe de cercetare-
dezvoltare?
1. Da
2. Nu ---- mergi la întrebarea 10
Dacă firma se regăsește în lotul 1 de eșantionare și răspunde cu ”NU”, atunci îi este reamintit respondentului că firma pe care o reprezintă a fost declarată câștigătoare în 2012 în cadrul competiției Parteneriate-Proiecte Colaborative de Cercetare Aplicativă, desfășurată în 2011 și i se mai citește 1 dată întrebarea 1. Dacă își modifică răspunsul, este considerat valid și se continuă cu întrebarea 2. Dacă își re-afirmă răspunsul negativ, se face saltul la întrebarea 10. Atenție, acest paragraf vizează doar firmele din lista 1 de eșantionare
2. În ce domeniu/domenii/arii tematice se încadrează activitatea de CD desfășurată în perioada
2011-2016? (Răspuns multiplu)
1. Tehnologia Informației si Comunicații
2. Energie
3. Mediu
4. Sănătate
5. Agricultura, siguranța si securitate alimentară
6. Biotehnologii
7. Materiale, procese si produse inovative
8. Spațiu si securitate
9. Cercetare socio-economică si umanistă
10. Alt domeniu. Care? ___________________
3. Care este domeniul/aria tematică predominant/ă în care se încadrează activitatea de CD
desfășurată în perioada 2011-2016? (Răspuns unic)
1. Tehnologia Informației si Comunicații
2. Energie
3. Mediu
4. Sănătate
5. Agricultura, siguranța si securitate alimentară
6. Biotehnologii
7. Materiale, procese si produse inovative
8. Spațiu si securitate
9. Cercetare socio-economică si umanistă
10. Alt domeniu. Care? ___________________
4. Vă rugăm să completați informațiile următoare cu privire la rezultatele activității de CD pe care
întreprinderea dvs. le-a obținut în perioada 2011-2016.
Număr produse/ tehnologii/ metode/ servicii noi/ îmbunătăţite
Număr produse noi transferate în mediul economic
Brevete naționale și internaționale solicitate
Brevete naționale și internaționale obținute
Articole (ISI/ BDI) publicate
Co-publicații public-privat
Studii de necesitate publică
2011
2012
2013
2014
2015
2016
II. ACTIVITATEA DE CD FINANȚATĂ DIN FONDURI PUBLICE ÎN PERIOADA 2011-
2016
5. În perioada 2011-2016, ați aplicat pentru a beneficia de finanțare din fonduri publice pentru
desfășurarea activităților de CD? 1. Da ---- mergi la întrebarea 7 2. Nu
6. De ce nu ați aplicat pentru a beneficia de finanțare din fonduri publice (naționale și/sau
externe) pentru desfășurarea activităților de CD? (Răspuns multiplu)
1. Nu am avut informații despre sursele și condițiile de finanțare din fonduri publice
2. Nu am avut nevoie de finanțare din fonduri publice
3. Nu am aplicat pentru că nu îndeplineam condițiile de eligibilitate
4. Nu am aplicat pentru că nu puteam realiza rezultatele care trebuiau obținute în urma
primirii finanțării
5. Nu am aplicat din cauza birocrației accesării fondurilor publice
6. Experiența anterioară de accesare a fondurilor publice nefavorabilă. Specificați pe scurt
în ce a constat _____________
7. Alt motiv. Care anume? _____________________________
7. Care au fost sursele folosite de întreprindere pentru finanțarea cheltuielilor de CD în perioada
2011-2016? (Răspuns multiplu)
1. Fonduri publice naționale (PNII sau altele)
2. Fonduri publice externe (Comisia Europeana sau altele)
3. Fonduri private (fonduri proprii, de la alte firme, ong-uri, etc.)
4. Alte surse. Care anume? _____________________________
8. La câte proiecte de CD finanțate din fonduri publice (naționale și/sau externe) a participat
întreprinderea dvs. în perioada 2011-2016 (în calitate de coordonator sau partener)? Număr ________________
9. Vă rugăm completați informațiile următoare pentru fiecare proiect de CD finanțat din fonduri publice (naționale și/sau externe) la
PROGRAMUL RESURSE UMANE – PROIECTE DE CERCETARE POSTDOCTORALĂ (COMPETIȚIA 2012)
Se aplică atât celor care au primit finanțare în cadrul PCP – 2012, cât și celor care nu au primit finanțare. Date socio-demografice
1. Numele Directorului de Proiect ________________________________
2. Numele Instituției Gazdă în numele căreia s-a realizat aplicația ________________________________
3. Titlul proiectului de cercetare depus ________________________________
4. Domeniul temei de cercetare: 1. Matematică și informatică 2. Chimie 3. Fizică 4. Științe inginerești 5. Știința materialelor 6. Științele pământului 7. Biologie și Ecologie 8. Medicină/Sănătate 9. Științele vieții aplicate și biotehnologii 10. Științe sociale și economice 11. Științe umaniste 12. Alt domeniu. Care? _____________________
5. În ce an ați obținut titlul de doctor? __ / __ / __ / __
6. Domeniul tezei de doctorat:
1. Matematică și informatică 2. Chimie 3. Fizică 4. Științe inginerești 5. Știința materialelor 6. Științele pământului 7. Biologie și Ecologie 8. Medicină 9. Științele vieții aplicate și biotehnologii 10. Științe sociale și economice 11. Științe umaniste 12. Alt domeniu. Care? _____________________
7. Numele Instituției care v-a acordat titlul de doctor ________________________________________________
79
8. Mentorul pentru programul postdoctoral cu care ați aplicat în 2012, era la momentul
aplicării pentru competiția PCP – 2012 angajat al instituției gazdă pentru care ați realizat aplicația? 1. Da 2. Nu
9. Pe o scală de la 1 la 7, unde 1=deloc, 7=în foarte mare măsură, în ce măsură
considerați că aplicația realizată pentru PCP-2012 este ca tematică în acord cu tema dezvoltată în cadrul tezei de doctorat?
1 2 3 4 5 6 7
Locul de muncă actual
10. Numele angajatorului de la locul dvs. principal de muncă din prezent este: ________________________________ 9999. nu lucrez
11. (Doar pentru cei care nu lucrează) Care este motivul pentru care în prezent nu aveți un loc de muncă? ________________________________ --- mergi la Întrebarea 17
12. Angajatorul de la locul dvs. principal de muncă este: 1. Universitate 2. Institut de cercetare 3. Firmă cu cod CAEN de cercetare 4. Firmă cu alt cod CAEN 5. Alt tip de loc de muncă. Care anume? ______________
13. Angajatorul de la locul dvs. principal de muncă este:
1. În România 2. În altă țară. Care anume? ____________
14. Vechimea la locul principal de muncă din prezent
Nr. ani __ sau nr. luni__
15. La actualul loc de muncă principal realizați activități de cercetare-dezvoltare? 1. Da, în mare măsură 2. Da, în mică măsură 3. Nu
16. Ocupația/profesia la locul dvs. principal de muncă
________________________________
17. Cumulat, câți ani considerați că aveți vechimea în activități de cercetare-dezvoltare? (exclusiv stagiile de pregătire doctorală sau postdoctorală) Nr. ani __ sau nr. luni __
18. Ocupația/profesia avută la locul de muncă unde ați avut cea mai lungă ședere ________________________________ 9999. este același cu locul de muncă actual
19. Vârsta (în ani împliniți) __ / __
20. Sexul 1. Feminin
80
2. Masculin Activitatea de cercetare dezvoltare
21. În perioada 2012-2016 ați desfășurat activități de cercetare postdoctorală? 1. Da 2. Nu ------ mergi la 27
22. Care a fost sursa de finanțare a acestei activități?
1. PN2-UEFISCDI-Programul de Cercetare Postdoctorală – Competiția __/__/__/__ 2. Fonduri structurale de tip POSDRU 3. ANCSI prin programe de mobilități. În ce țară? ___________ 4. Altă sursă de finanțare. Care anume? ____________
23. Care a fost perioada pentru care ați avut finanțare pentru activitate postdoctorală?
de la __/__/__/__ până la __/__/__/__ anul anul
24. În total care a fost durata pentru care ați beneficiat de sprijin financiar pentru studiile postdoctorale? Nr. luni __
25. Care a fost aproximativ cuantumul bursei/remunerației lunare primite? __ __ __ __ RON
26. În ce măsură considerați că rezultatele cercetării realizate în programul postdoctoral au potențial de a influența pozitiv competitivitatea din următoarele domenii de specializare inteligentă ….?
În foarte mare
măsură
În mare măsură
În mică măsură
În foarte mică măsură/Deloc
Nu știu
Biochimie 4 3 2 1 9
Tehnologia informației și a comunicațiilor, spațiu și securitate
4 3 2 1 9
Energie, mediu și schimbări climatice
4 3 2 1 9
Eco-nano-tehnologii și materiale avansate
4 3 2 1 9
Sănătate 4 3 2 1 9
Patrimoniu și identitate culturală
4 3 2 1 9
27. În perioada 2012-2016 ați realizat stagii de mobilitate?
1. Da. Câte ? __ __ 2. Nu ------ mergi la 31
28. Cum au fost finanțate stagiile de mobilitate?
Anul în care ați plecat în mobilitate
Țara în care s-a realizat stagiul de mobilitate
Durata (nr. luni)
Sursa de finanțare 1. programul postdoctoral 2. surse proprii
81
3. alte surse ale angajatorului 4. competiție realizată de ANCSI 5. altă sursă. Care anume? __________
Stagiul 1
Stagiul 2
Stagiul 3
Stagiul 4
29. Care au fost principalele beneficii ale stagiilor de mobilitate realizate? (Răspuns
multiplu) 1. Acces la bibliografie nouă 2. Acces la softuri și laboratoare 3. Colaborări cu experți/specialiști de renume internațional 4. Co-publicații cu specialiști de renume internațional 5. Aplicații de proiecte în echipe cu specialiști de renume internațional 6. Alte beneficii. Care anume? ____________ 7. Nu am avut nici un beneficiu ------ mergi la 31
30. Care dintre beneficiile menționate considerați că nu puteau fi obținute în absența
stagiilor de mobilitate? (Răspuns multiplu dar doar dintre cele bifate la întrebarea 29 ) Notează cod întrebarea 29 ____
31. Vă rog să estimați toate rezultatele activității dvs. de cercetare din perioada 2012-2016, inclusiv cele postdoctorale:
Număr Factorul de impact al celui mai prestigios dintre ele (se aplică doar pentru articole ISI)
Sursa finanțării 1. programul postdoctoral 2. surse proprii 3. alte surse ale angajatorului 4. competiție realizată de ANCSI 5. altă sursă. Care anume?
Articole ISI co-autorate cu coordonatorul de doctorat
Articole ISI realizate în colective internaționale
82
Articole ISI realizate în colective naționale
Articole BDI în țară
Articole BDI în străinătate
Carte / capitol publicat la editură națională
Carte / capitol publicat la editură internațională
Brevete naționale
Brevete internaționale
32. Pe o scală de la 1 la 7, unde 1=deloc mulțumit, 7=foarte mulțumit, cum evaluați
următoarele aspecte ale competiției PCP-2012? (se aplică tuturor)
1 2 3 4 5 6 7
Calitatea pachetului de informații (conține toate informațiile necesare redactării cererii de finanțare)
Modul de redactare al pachetului de informații (clar formulat, fără informații redundante, cu informații bine structurale)
Organizarea competiției (pre-anunț, perioada de desfășurare, formatul aplicației)
Organizarea evaluării
Calitatea evaluării și a comentariilor experților evaluatori
Calitatea procesului de contractare
Predictibilitatea finanțării
Calitatea procesului de implementare
Calitatea monitorizării
Alt aspect. Care anume? __________
33. La competiția PCP – 2012 ați primit finanțare?
1. Da ------ mergi la 35 2. Nu ------ mergi la 34
34. Dacă "nu", Intenționați să mai aplicați în viitor pentru alte programe de cercetare în cadrul PN-3? 1. Da 2. Nu ---- SE ÎNCHEIE INTERVIUL
35. Dacă ”da”, Rezultatele realizate în cadrul proiectului de cercetare postdoctorală au
condus la (Răspuns multiplu): 1. Realizarea criteriilor de promovare științifică 2. Dezvoltarea cunoștințelor și competențelor 3. Descoperiri și contribuții științifice importante 4. Obținerea unor noi finanțări 5. Obținerea unor rezultate cu potențial de transferabilitate în economie 6. Posibilitatea realizării unor stagii de mobilitate 7. Integrarea în colective de cercetare internaționale 8. Creșterea vizibilității la nivel național și internațional 9. Alt beneficiu. Care anume? ______________ 10. Nu am avut nici un beneficiu ---- SE ÎNCHEIE INTERVIUL
83
36. Dacă ”da”, Care dintre rezultatele menționate mai sus nu puteau fi obținute în
TINERE ECHIPE DE CERCETARE INDEPENDENTE (PNCDI 2- COMPETIȚIA 2012) DEFINIȚII: Activitate de CD: Cercetarea-dezvoltarea se definește ca fiind orice activitate sistematică și creatoare inițiată pentru a spori volumul de cunoștințe, inclusiv cunoștințe despre om, cultură și societate și utilizarea acestor cunoștințe pentru noi aplicații. Activitatea de cercetare-dezvoltare include proiectarea tehnologică. Nu include: activități de studiere a pieței, microproducția de tip industrial și agricol, cu excepția activităților de execuție (prototipuri, instalații experimentale, stații pilot), activități de producție și înrudite, activități de educație și formare profesională, servicii de informare, colectare generală de date, testare și standardizare, munca de brevetare și licențiere, studii de fezabilitate, servicii medicale de specialitate, software de rutină, inovarea industrială (alta decât cea de cercetare-dezvoltare), studii referitoare la politici ca activitate de aplicare a rezultatelor cercetării-dezvoltării pentru a evalua politici guvernamentale (Institutul Național de Statistică). Date socio-demografice 37. Numele Directorului de Proiect ________________________________
38. Numele Instituției Gazdă în numele căreia s-a realizat aplicația ________________________________
39. La momentul depunerii ofertei de proiect, erați angajat al instituției gazdă?
1. Da, eram angajat 2. Nu eram angajat, am avut acordul de angajare
40. În ce an ați obținut titlul de doctor și în ce țară?
Anul __ / __ / __ / __ Țara ______________
41. Domeniul tezei de doctorat: 1. Matematică și informatică 2. Chimie 3. Fizică 4. Științe inginerești 5. Știința materialelor 6. Științele pământului 7. Biologie și Ecologie 8. Medicină 9. Științele vieții aplicate și biotehnologii 10. Științe sociale și economice 11. Științe umaniste 12. Alt domeniu. Care? _____________________
Echipa de cercetare 42. Câte poziții echivalent normă întreagă au fost incluse în echipa de cercetare a
proiectului?
Categorie Nr. poziții echivalent normă întreagă
Director de proiect
Cercetători seniori
85
Cercetători postdoctorali
Doctoranzi, masteranzi, studenți
Tehnicieni
Alte categorii
Total
43. În total, câte persoane au ocupat aceste poziții echivalent normă întreagă?
Nr. persoane ________
44. Câte dintre persoanele care au ocupat pozițiile de cercetare au fost nominalizate în oferta de proiect?
Nr. persoane ________
45. Câte dintre persoanele care au fost nominalizate în echipa de cercetare a proiectului erau angajate ale instituției gazdă la momentul depunerii ofertei de proiect?
Nr. persoane ________ 999 Nu știu
46. Structura echipei de cercetare (la momentul depunerii ofertei de proiect)
Impactul proiectului 47. Ce beneficii au fost generate de proiect la nivelul echipei de cercetare? (Răspuns
multiplu) 1. dezvoltare de cunoștințe și competențe 2. descoperiri și contribuții științifice 3. vizibilitate internă și internațională 4. extinderea și consolidarea relațiilor de colaborare 5. acces la rețele și infrastructuri de cercetare 6. alte beneficii. Care anume? ________________ 7. nu au existat beneficii → mergi la 13
48. Care dintre beneficiile pe care le-ați menționat mai sus nu ar fi fost obținute în absența
proiectului? (Răspuns multiplu) 1. dezvoltare de cunoștințe și competențe 2. descoperiri și contribuții științifice 3. vizibilitate internă și internațională 4. extinderea și consolidarea relațiilor de colaborare 5. acces la rețele și infrastructuri de cercetare 6. alte beneficii. Care anume? ________________ 7. toate beneficiile ar fi fost obținute și în absența proiectului
49. Ce pondere din publicațiile realizate prin proiect nu ar fi fost obținute în absența
proiectului? ______ % 999. Nu au fost realizate publicații
Categorie Nr. persoane
Femei
Bărbați
<30 ani
30-40 ani
41-54 ani
55+ ani
86
50. Ce pondere din rezultatele de CD (produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite) realizate prin proiect nu ar fi fost obținute în absența proiectului? ______ %
51. Ce pondere din brevetele realizate prin proiectului nu ar fi fost obținute în absența
proiectului? ______ % 999. Nu au fost realizate brevete
52. În ce măsură considerați că rezultatele de CD (produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite) obținute prin proiect au potențial de a influența pozitiv competitivitatea din următoarele domenii de specializare inteligentă ….?
În foarte mare
măsură
În mare măsură
În mică măsură
În foarte mică măsură/Deloc
Nu știu
Biochimie 4 3 2 1 9
Tehnologia informației și a comunicațiilor, spațiu și securitate
4 3 2 1 9
Energie, mediu și schimbări climatice
4 3 2 1 9
Eco-nano-tehnologii și materiale avansate
4 3 2 1 9
Sănătate 4 3 2 1 9
Patrimoniu și identitate culturală
4 3 2 1 9
53. Pe o scală de la 1 la 7, unde 1=deloc mulțumit, 7=foarte mulțumit, cum evaluați
următoarele aspecte ale competiției de proiecte de cercetare pentru tinere echipe de cercetare independente (PNCDI 2- Competiția 2012)?
1 2 3 4 5 6 7
Calitatea pachetului de informații (conține toate informațiile necesare redactării cererii de finanțare)
Modul de redactare al pachetului de informații (clar formulat, fără informații redundante, cu informații bine structurale)
Organizarea competiției (pre-anunț, perioada de desfășurare, formatul aplicației)
Organizarea evaluării
Calitatea evaluării și a comentariilor experților evaluatori
Calitatea procesului de contractare
Predictibilitatea finanțării
Calitatea procesului de implementare
Calitatea monitorizării
Alt aspect. Care anume? __________
Locul de muncă actual 54. Angajatorul de la locul dvs. principal de muncă este:
1. Universitate → mergi la 20 2. Institut de cercetare → mergi la 20 3. Firmă cu activitate de cercetare → mergi la 20 4. Firmă fără activitate de cercetare → mergi la 20 5. Alt tip de angajator. Care anume? __________ → mergi la 20
87
6. Nu lucrez
55. Care este motivul pentru care în prezent nu aveți un loc de muncă? ________________________________ → mergi la 27
56. Angajatorul de la locul dvs. principal de muncă este:
1. În România 2. În altă țară. Care anume? ____________
57. Vechimea la locul dvs. principal de muncă Nr. ani __ / __ sau Nr. luni __ / __
58. Ocupația/profesia la locul dvs. principal de muncă ________________________________
59. În prezent, mai sunteți angajat în instituția gazdă a proiectului? 1. Da 2. Nu
60. Câte persoane din echipa proiectului mai sunt angajate, în prezent, în instituția gazdă a
proiectului? ________ 999. Nu știu
61. Activitatea dvs. profesională curentă poate fi încadrată în următoarele domenii de specializare inteligentă…..?
DA NU Nu știu
Biochimie
Tehnologia informației și a comunicațiilor, spațiu și securitate
Energie, mediu și schimbări climatice
Eco-nano-tehnologii și materiale avansate
Sănătate
Patrimoniu și identitate culturală
Alt domeniu. Care anume? ________________
62. În general, la locul dvs. principal de muncă realizați activități de cercetare-dezvoltare?
1. Da, în mare măsură → mergi la 28 2. Da, în mică măsură → mergi la 28 3. Nu
63. După finalizarea proiectului, ați mai desfășurat activități de cercetare-dezvoltare?
1. Da 2. Nu → mergi la 30
64. După finalizarea proiectului, care au fost sursele de finanțare a cheltuielilor specifice
activităților de CD la care ați luat parte? (Răspuns multiplu) 1. Fonduri publice naționale (PN2, PN3 sau altele) 2. Fonduri publice externe (Comisia Europeană sau altele) 3. Fonduri private (fonduri proprii, de la alte firme, ONG-uri, etc.) 4. Alte surse. Care anume? _______________________ 5. Nu știu
65. Cu câte persoane din echipa proiectului ați colaborat în activitățile de CD desfășurate
după finalizarea proiectului? Nr. _________
88
66. În următoarele 12 luni, intenționați să mai depuneți oferte de proiect spre finanțare (în
calitate de director de proiect)? 1. Da, pentru fonduri publice naționale (PN2 sau altele) 2. Da, pentru fonduri publice externe (Comisia Europeana sau altele) 3. Da, pentru fonduri private (fonduri proprii, de la alte firme, ONG-uri, etc.) 4. Da, alte surse. Care anume? _______________________ 5. Nu → mergi la 32 6. Nu știu → mergi la 32
67. Cu câte persoane din echipa proiectului intenționați să colaborați în aceste viitoare
proiecte? ___________ 999. Nu știu 68. Cumulat, câtă vechime considerați că aveți în activități de cercetare-dezvoltare?
CHESTIONAR PENTRU REALIZAREA ANCHETEI ONLINE ÎN RÂNDUL INDIVIZILOR BENEFICIARI DE FINANȚARE ÎN
PROGRAME DE CERCETARE EXPLORATORIE (PNCDI 2- COMPETIȚIA 2012) DEFINIȚII: Activitate de CD: Cercetarea-dezvoltarea se defineşte ca fiind orice activitate sistematică şi creatoare iniţiată pentru a spori volumul de cunoştinţe, inclusiv cunoştinţe despre om, cultură şi societate şi utilizarea acestor cunoştinţe pentru noi aplicaţii. Activitatea de cercetare-dezvoltare include proiectarea tehnologică. Nu include: activităţi de studiere a pieţei, microproducţia de tip industrial şi agricol, cu excepţia activităţilor de execuţie (prototipuri, instalaţii experimentale, staţii pilot), activităţi de producţie şi înrudite, activităţi de educaţie şi formare profesională, servicii de informare, colectare generală de date, testare şi standardizare, munca de brevetare şi licenţiere, studii de fezabilitate, servicii medicale de specialitate, software de rutină, inovarea industrială (alta decât cea de cercetare-dezvoltare), studii referitoare la politici ca activitate de aplicare a rezultatelor cercetării-dezvoltării pentru a evalua politici guvernamentale (Institutul Național de Statistică). Date socio-demografice
1. Numele Directorului de Proiect : ________________________________ 2. Numele Instituției Gazdă în numele căreia s-a realizat aplicația ________________________________
3. La momentul depunerii ofertei de proiect, erați angajat al instituției gazdă? 1. Da, eram angajat 2. Nu eram angajat, am avut acordul de angajare
4. În ce an ați obținut titlul de doctor și în ce țară?
Anul __ / __ / __ / __ Țara ______________
5. Domeniul tezei de doctorat 1. Matematică și informatică 2. Chimie 3. Fizică 4. Științe inginerești 5. Știința materialelor 6. Științele pământului 7. Biologie și Ecologie 8. Medicină 9. Științele vieții aplicate și biotehnologii 10. Științe sociale și economice 11. Științe umaniste 12. Alt domeniu. Care? ______________
Echipa de cercetare 6. Câte poziții echivalent normă întreagă au fost incluse în echipa de cercetare a
proiectului?
Categorie Nr. poziții echivalent normă întreagă
Director de proiect
90
Cercetători seniori
Cercetători postdoctorali
Doctoranzi, masteranzi, studenți
Tehnicieni
Alte categorii
Total
7. În total, câte persoane au ocupat aceste poziții echivalent normă întreagă?
Nr. persoane ________
8. Câte dintre persoanele care au ocupat pozițiile de cercetare au fost nominalizate în oferta de proiect?
Nr. persoane ________
9. Câte dintre persoanele care au fost nominalizate în echipa de cercetare a proiectului erau angajate ale instituției gazdă la momentul depunerii ofertei de proiect?
Nr. persoane ________ 999 Nu știu
10. Structura echipei de cercetare (la momentul depunerii ofertei de proiect)
Categorie Nr. persoane
Femei
Bărbați
<30 ani
30-40 ani
41-54 ani
55+ ani
Impactul proiectului 11. Ce beneficii au fost generate de proiect la nivelul echipei de cercetare? (Răspuns
multiplu) 1. dezvoltare de cunoștințe și competențe 2. descoperiri și contribuții științifice 3. vizibilitate internă și internațională 4. extinderea și consolidarea relațiilor de colaborare 5. acces la rețele și infrastructuri de cercetare 6. alte beneficii. Care anume? ________________ 7. nu au existat beneficii → mergi la 13
12. Care dintre beneficiile pe care le-ați menționat mai sus nu ar fi fost obținute în absența proiectului? (Răspuns multiplu) 1. dezvoltare de cunoștințe și competențe 2. descoperiri și contribuții științifice 3. vizibilitate internă și internațională 4. extinderea și consolidarea relațiilor de colaborare 5. acces la rețele și infrastructuri de cercetare 6. alte beneficii. Care anume? ________________ 7. toate beneficiile ar fi fost obținute și în absența proiectului
91
13. Ce pondere din publicațiile realizate prin proiect nu ar fi fost obținute în absența proiectului? ______ % 999. Nu au fost realizate publicații
14. Ce pondere din rezultatele de CD (produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite) realizate prin proiect nu ar fi fost obținute în absența proiectului? ______ %
15. Ce pondere din brevetele realizate prin proiect nu ar fi fost obținute în absența proiectului?
______ % 999. Nu au fost realizate brevete 16. În ce măsură considerați că rezultatele de CD (produse, tehnologii, metode, servicii noi
sau semnificativ îmbunătățite) obținute prin proiect au potențial de a influența pozitiv competitivitatea din următoarele domenii de specializare inteligentă ….?
În foarte mare
măsură
În mare măsură
În mică măsură
În foarte mică măsură/Deloc
Nu știu
Biochimie 4 3 2 1 9
Tehnologia informației și a comunicațiilor, spațiu și securitate
4 3 2 1 9
Energie, mediu și schimbări climatice
4 3 2 1 9
Eco-nano-tehnologii și materiale avansate
4 3 2 1 9
Sănătate 4 3 2 1 9
Patrimoniu și identitate culturală 4 3 2 1 9
17. Pe o scală de la 1 la 7, unde 1=deloc mulțumit, 7=foarte mulțumit, cum evaluați
următoarele aspecte ale competiției de proiecte de cercetare exploratorie (PNCDI 2- Competiția 2012)?
1 2 3 4 5 6 7
Calitatea pachetului de informații (conține toate informațiile necesare redactării cererii de finanțare)
Modul de redactare al pachetului de informații (clar formulat, fără informații redundante, cu informații bine structurale)
Organizarea competiției (pre-anunț, perioada de desfășurare, formatul aplicației)
Organizarea evaluării
Calitatea evaluării și a comentariilor experților evaluatori
Calitatea procesului de contractare
Predictibilitatea finanțării
Calitatea procesului de implementare
Calitatea monitorizării
Alt aspect. Care anume? __________
Locul de muncă actual 18. Angajatorul de la locul dvs. principal de muncă este:
1. Universitate → mergi la 20 2. Institut de cercetare → mergi la 20
92
3. Firmă cu activitate de cercetare → mergi la 20 4. Firmă fără activitate de cercetare → mergi la 20 5. Alt tip de angajator. Care anume? __________ → mergi la 20 6. Nu lucrez
19. Care este motivul pentru care în prezent nu aveți un loc de muncă? ________________________________ → mergi la 27
20. Angajatorul de la locul dvs. principal de muncă este: 1. În România 2. În altă țară. Care anume? ____________
21. Vechimea la locul dvs. principal de muncă Nr. ani __ / __ sau Nr. luni __ / __
22. Ocupația la locul dvs. principal de muncă ________________________________
23. În prezent, mai sunteți angajat în instituția gazdă a proiectului? 1. Da 2. Nu
24. Câte persoane din echipa proiectului mai sunt angajate, în prezent, în instituția gazdă a proiectului? ________ 999. Nu știu
25. Activitatea dvs. profesională curentă poate fi încadrată în următoarele domenii de
specializare inteligentă…..?
DA NU Nu știu
Biochimie
Tehnologia informației și a comunicațiilor, spațiu și securitate
Energie, mediu și schimbări climatice
Eco-nano-tehnologii și materiale avansate
Sănătate
Patrimoniu și identitate culturală
Alt domeniu. Care anume? ________________
26. În general, la locul dvs. principal de muncă realizați activități de cercetare-dezvoltare?
1. Da, în mare măsură → mergi la 28 2. Da, în mică măsură → mergi la 28 3. Nu
27. După finalizarea proiectului, ați mai desfășurat activități de cercetare-dezvoltare?
1. Da 2. Nu → mergi la 30
28. După finalizarea proiectului, care au fost sursele de finanțare a cheltuielilor specifice
activităților de CD la care ați luat parte? (Răspuns multiplu) 1. Fonduri publice naționale (PN2, PN3 sau altele) 2. Fonduri publice externe (Comisia Europeană sau altele) 3. Fonduri private (fonduri proprii, de la alte firme, ONG-uri, etc.) 4. Alte surse. Care anume? _______________________ 5. Nu știu
93
29. Cu câte persoane din echipa proiectului ați colaborat în activitățile de CD desfășurate
după finalizarea proiectului? _________
30. În următoarele 12 luni, intenționați să mai depuneți oferte de proiect spre finanțare (în calitate de director de proiect)? 1. Da, pentru fonduri publice naționale (PN2 sau altele) 2. Da, pentru fonduri publice externe (Comisia Europeana sau altele) 3. Da, pentru fonduri private (fonduri proprii, de la alte firme, ONG-uri, etc.) 4. Da, alte surse. Care anume? _______________________ 5. Nu → mergi la 32 6. Nu știu → mergi la 32
31. Cu câte persoane din echipa proiectului intenționați să colaborați în aceste viitoare proiecte? ___________ 999. Nu știu
32. Cumulat, câtă vechime considerați că aveți în activități de cercetare-dezvoltare? Nr. ani __ / __ sau Nr. luni __ / __
33. Vârsta (în ani împliniți) __ / __
34. Sexul 1. Feminin 2. Masculin
94
Instrumente de colectare de date în cadrul Studiilor de Caz
MACHETĂ DE COLECTARE A DATELOR
Instrumentul de finanțare………………………………………………….……………………………… Titlul proiectului ………………………………………………………………………………...……….. Domeniu științific/specializare inteligentă/prioritate publică…………………………………………….. Data începerii proiectului…………………….Data încheierii proiectului……………………......................
SECȚIUNEA A. INFORMAȚII DESPRE PROIECT
Valoarea proiectului, pe parteneri (dacă este cazul)
Personal de cercetare echivalent normă întreagă având cel mult 40 de ani a cărui salarii au fost finanțate prin proiect, pe parteneri (dacă este cazul)
Infrastructuri de CDI înființate / dezvoltate (îmbunătățite) prin proiect, pe parteneri (dacă este cazul)
Coordonator Partener 1 Partener 2 Partener 3
Partener 4
Partener 5
Infrastructuri înființate
Infrastructuri dezvoltate
Nr. produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite realizate în cadrul proiectului
Total
Nr. produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite
Nr. produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite transferate în mediul economic
Nr. de brevete solicitate / obținute în cadrul proiectului
Total
Număr brevete la nivel național și internațional solicitate
Număr brevete la nivel național și internațional obținute
95
Nr. publicații științifice realizate în cadrul proiectului
Total Din care:
Articole științifice publicate în reviste
ISI
Articole științifice publicate în reviste
BDI
Co-publicații științifice internaționale
SECȚIUNEA B. INFORMAȚII DESPRE COORDONATOR / INSTITUȚIE GAZDĂ5 6
Denumire……………………………………………………………Anul înființării………………… Nr. anual al proiectelor de cercetare, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
2015
2014
2013
2012
Nr. anual al proiectelor de cercetare în parteneriat public-privat, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
2015
2014
2013
2012
Volumul anual al veniturilor din CD, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
2015
2014
2013
2012
Nr. proiectelor de cercetare în domeniul proiectului studiat, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
Personal echivalent normă întreagă
An 2016 2015 2014 2013 2012
Personal
5 În cazul în care organizațiile sunt universități, informațiile colectate se vor referi exclusiv la facultatea care a participat la realizarea proiectului, cu specificarea denumirii acesteia (Universitatea …/ Facultatea………) 6 n = anul curent
96
Personal CD
Personal de CD ≤ 40 ani
Număr anual de produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite realizate
An 2016 2015 2014 2013 2012
Nr. produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite
Nr. produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite, transferate în mediul economic
Nr. de brevete obținute la nivel național și internațional
An 2016 2015 2014 2013 2012
Număr
Număr anual al publicațiilor științifice
An Total Din care:
Articole științifice publicate în reviste
ISI
Articole științifice publicate în reviste
BDI
Co-publicații științifice
internaționale
2016
2015
2014
2013
2012
Infrastructuri de CDI
Infrastructuri de CDI existente
Infrastructuri de CDI înființate în anul 2012 sau mai recent
Spin-off-uri
Spin-off-uri înființate în anul 2012 sau mai recent
Spin-off-uri înființate în anul 2012 sau mai recent cu activitate în prezent
7 În cazul în care organizațiile coordonatoare sau partenere sunt universități, informațiile colectate se vor referi exclusiv la facultatea care a participat la realizarea proiectului, cu specificarea denumirii acesteia (Universitatea …/ Facultatea………) 8 n = anul curent
97
Nr. anual al proiectelor de cercetare, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
2015
2014
2013
2012
Nr. anual al proiectelor de cercetare în parteneriat public-privat, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
2015
2014
2013
2012
Volumul anual al veniturilor din CD, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
2015
2014
2013
2012
Nr. proiectelor de cercetare în domeniul proiectului studiat, pe surse de finanțare
An PNCDI Programe operaționale
Programe internaționale
Alte finanțări
2016
Personal echivalent normă întreagă
An 2016 2015 2014 2013 2012
Personal
Personal CD
Personal de CD ≤ 40 ani
Număr anual de produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite realizate
An 2016 2015 2014 2013 2012
Nr. produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite
Nr. produse, tehnologii, metode, servicii noi sau semnificativ îmbunătățite, transferate în mediul economic
Nr. de brevete obținute la nivel național și internațional
An 2016 2015 2014 2013 2012
98
Număr
Număr anual al publicațiilor științifice
An Total Din care:
Articole științifice publicate în reviste
ISI
Articole științifice publicate în reviste
BDI
Co-publicații științifice
internaționale
2016
2015
2014
2013
2012
Infrastructuri de CDI
Infrastructuri de CDI existente
Infrastructuri de CDI înființate în anul 2012 sau mai recent
Spin-off-uri
Spin-off-uri înființate în anul 2012 sau mai recent
Spin-off-uri înființate în anul 2012 sau mai recent cu activitate în prezent
Cifra de afaceri
An 2016 2015 2014 2013 2012
Valoare
99
GHID DE INTERVIU CU REPREZENTANȚI AI ORGANIZAȚIILOR COORDONATOARE / INSTITUȚIILOR GAZDĂ9
1. Care sunt factorii externi organizației care au influențat volumul, structura și rezultatele
activității de CD în organizație în ultimii cinci ani (schimbări de context, legislative,
reglementări, schimbări în mediul economic, schimbări la nivelul partenerilor/beneficiarilor,
accesul la programe naționale și internaționale, etc.)?
2. Care sunt factorii interni organizației care au influențat volumul, structura și rezultatele
activității de CD în organizație în ultimii cinci ani (resursele umane, infrastructura,
managementul, investițiile, etc.)?
3. Cât de relevante sunt/au fost obiectivele instrumentului de cercetare în raport cu activitatea
organizației dvs.? Dar în raport cu sistemul de cercetare din România?
4. Cum apreciați beneficiile obținute de organizația dvs. prin implementarea proiectului: la
nivelul resurselor umane, la nivelul vizibilității, la nivelul infrastructurii, la nivelul relațiilor
parteneriale, la nivelul procesului de transfer tehnologic, la nivelul competitivității,
productivității, la nivelul capacității administrative, în relația cu beneficiarii/clienții, etc.?
5. Care dintre aceste beneficii obținute de organizație prin implementarea proiectului nu ar fi
fost obținute în absența proiectului? De ce?
6. Au fost create noi posturi de cercetare (ocupate de noi cercetători) în ultimii cinci ani în
organizația dvs.? Au fost create noi posturi de cercetare (ocupate de noi cercetători)
datorită derulării proiectului?
7. Ați atras cercetători din străinătate care să lucreze în organizația dvs. în ultimii cinci ani?
Dacă da, au existat cercetători din străinătate care au lucrat în cadrul proiectului? Câți
dintre aceștia mai activează în prezent în organizația dvs.?
8. Cum apreciați rolul proiectului pentru atragerea și retenția de personal în organizația dvs.?
Cât din personalul care a lucrat în cadrul proiectului mai activează, în prezent, în
organizația dvs.?
9. Ce probleme/bariere ați experimentat în….
a. Procesul de aplicare la call? (dacă este cazul)
b. Procesul de evaluare a proiectului (durata, impactul duratei evaluării asupra
conținutului proiectului, etc)?
c. Procesul de implementare a proiectului?
d. Procesul de raportare?
e. Care sunt principalele trei aspecte pe care le-ați schimba, la nivelul întregului
proces de obținere si implementare a finanțării?
10. Cum apreciați povara administrativă asociată proiectului? Au existat proceduri
administrative sau activități de raportare excesive/redundante?
11. Ați implementat alte proiecte cu rezultate similare, în ultimii cinci ani? Dacă da, care a
fost sursa de finanțare și parteneriatul din aceste proiecte?
12. În ultimii cinci ani, ați valorificat/transferat în cadrul organizației dvs. rezultate de CD
obținute în alte proiecte de cercetare la care nu ați participat?
13. Organizația dvs. a utilizat/accesat infrastructuri de CD disponibile în cadrul altor organizații
de cercetare? Puteți exemplifica?
14. Cum sunt continuate, în organizația dvs., cercetările în domeniul / tematica proiectului
(inclusiv avansarea pe lanțul valoric, niveluri TLR) după finalizarea proiectului? Ce
9 În cazul în care organizațiile coordonatoare/instituțiile gazdă sunt universități, informațiile colectate se vor referi exclusiv la facultatea care a participat la realizarea proiectului, cu specificarea denumirii acesteia (Universitatea …/ Facultatea………)
100
instrumente de finanțare au fost accesate în acest sens și care este rata de succes la
aplicare?
101
GHID DE INTERVIU CU DIRECTORII DE PROIECT / RESPONSABILII ȘTIINȚIFICI AI ORGANIZAȚIILOR PARTENERE
1. Cât de relevante sunt/au fost obiectivele instrumentului de cercetare în raport cu
activitatea dvs. de cercetare? Dar în raport cu sistemul de cercetare din România? (dacă
reprezentantul legal al instituției gazdă și directorul de proiect coincid, această întrebare
nu se adresează decât o dată)
2. Cum apreciați tipul și structura entităților eligibile în proiect?
3. Cum apreciați oportunitatea parteneriatului din cadrul proiectului dvs. -
complementaritatea parteneriatului, necesitatea altor parteneri? (dacă este cazul)
4. Cum apreciați beneficiile generate de proiect la nivelul echipei de cercetare (dezvoltare
de cunoștințe și competențe, descoperiri și contribuții științifice, vizibilitate, acces la rețele
de cercetare, extinderea și consolidarea relațiilor de colaborare, etc.)?
5. Care dintre aceste beneficii de la nivelul echipei de cercetare nu ar fi fost obținute în
absența proiectului? De ce?
6. Care dintre publicațiile obținute prin proiect nu ar fi fost realizate în absența proiectului?
De ce? (dacă este cazul)
7. Care dintre rezultatele de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite) obținute prin proiect nu ar fi fost obținute în absența proiectului? De ce?
8. Există rezultate de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite) obținute prin proiect care au fost transferate până în prezent în mediul
economic/la beneficiari?
9. Dacă există produse transferate, cum apreciați gradul de satisfacție de la nivelul
beneficiarilor cu privire la produsele de cercetare realizate prin proiect?
10. Există rezultate de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite) obținute prin proiect care au fost comercializate pe piață? Comercializarea
a fost realizată de organizația dvs. sau de către altă organizație/firmă/spin-off?
11. Există rezultate de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite) obținute prin proiect care au potențial de a fi valorificate în activitatea
organizațiilor și firmelor din următoarele domenii de specializare inteligentă*………?
12. Există rezultate de CD (produse, tehnologii, metode, servicii noi sau semnificativ
îmbunătățite) obținute prin proiect care au potențial de a îmbunătăți competitivitatea din
următoarele domenii de specializare inteligentă*………?
13. A fost dezvoltată infrastructura de CD în cadrul proiectului? Cum apreciați utilitatea
acesteia pentru următoarele domenii de specializare inteligentă*………?
14. Ce probleme/bariere ați experimentat în implementarea proiectului în diferitele sale etape:
îndeplinirea criteriilor de eligibilitate, identificarea partenerilor, scrierea și depunerea
propunerii de proiect, evaluarea propunerii, contractare, raportare, desfășurarea
activităților propuse, etc.? Care sunt principalele trei aspecte pe care le-ați schimba, la
nivelul întregului proces de obținere si implementare a finanțării?
15. Cum apreciați povara administrativă asociată proiectului? Au existat proceduri
administrative sau activități de raportare excesive sau redundante?
16. Ați valorificat în cadrul proiectului rezultate de CD obținute în alte proiecte la care
organizația dvs. nu a participat? Cunoașteți amănunte despre sursa de finanțare a acestor
proiecte și domeniul lor?
17. Cum este continuată activitatea echipei de cercetare după finalizarea proiectului? Cum
este continuată, în prezent, colaborarea dintre membri echipei de proiect?
102
18. Cum este continuată colaborarea în cadrul parteneriatului din proiect după finalizarea
acestuia? (dacă este cazul)
19. Cum sunt continuate cercetările în domeniul / tematica proiectului (inclusiv avansarea pe
lanțul valoric, niveluri TLR** ) după finalizarea proiectului? Ce instrumente de finanțare au
fost accesate în acest sens și care este rata de succes la aplicare?
20. Cum apreciați continuarea carierei dvs. profesionale după finalizarea proiectului? Ce rol
a avut proiectul realizat?
* Domenii de specializare inteligentă
- Bioeconomie (agro-alimentare, bioenergie – biogaz, biomasă, biocombustibil) - Tehnologia informației și a comunicațiilor, spațiu și securitate (tehnologii informaționale și de comunicații, spațiu, securitate) - Energie, mediu și schimbări climaterice (energie, mediu și schimbări climaterice, orașul inteligent) - Eco-nano-tehnologii și materiale avansate (eco-nano-tehnologii, tehnologii de poluare, materiale avansate) - Sănătate (inclusiv știința medicamentului) - Patrimoniu și identitate culturală **Definiții TRL : TRL – Nivel de Maturitate Tehnologică TRL 1 - Principii de bază observate TRL 2 - Formularea conceptului tehnologic TRL 3 - Demonstrarea conceptului privind funcționalitățile critice sau caracteristicile la nivel analitic sau experimental TRL 4 - Validarea componentelor și/sau a ansamblului în condiții de laborator TRL 5 - Validarea componentelor și/sau a ansamblului în condiții relevante de funcționare (mediul industrial) TRL 6 - Demonstrarea funcționalității modelului în condiții relevante de funcționare (mediul industrial) TRL 7 - Demonstrarea funcționalității prototipului în condiții relevante de funcționare TRL 8 - Sisteme finalizate și calificate TRL 9 - Sisteme a căror funcționalitate a fost demonstrată în mediul operațional
103
Grilă de interviu cu respondenții cheie identificați pentru programele/instrumentele din PNCDI 2 (2007-2013) și POSCCE (2007-2013) evaluate
Persoană intervievată/respondent
Se completează pentru fiecare persoană intervievată
Funcție
Data interviului
Locul realizării interviului
1. Contextul socio-economic și cel al problemei propuse spre rezolvare prin intervenția
finanțată 1.1. Cum au influențat criza economică și efectele acesteia prioritățile sprijinului
financiar acordat cercetării și transferului rezultatelor cercetării din România?
1.2. Cum au fost identificate prioritățile de finanțare prin PNCDI-2 / POSCCE (2007-2013)? A fost un proces de consultare de tip buttom-up sau a fost un proces de tip top-down? Au existat modificări ale priorităților finanțate pe durata de implementare a instrumentului? Dacă DA, Care au fost motivele care au condus la schimbarea parțială a priorităților de finanțare la mijlocul ciclului de implementare?(se adresează cu precădere coordonatorilor de program din lista de respondenți cheie). Considerați că au fost unele priorități care ar fi trebuit introduse în PNCDI 2 și nu s-a reușit realizarea acestui lucru? și Dacă da, care anume și de ce nu au fost introduse? (se aplică doar pentru PNCDI 2)
1.3. Au existat pe durata implementării instrumentului de finanțare … (se întreabă după caz … Parteneriate-Proiecte Colaborative de Cercetare Aplicativă [introduse abia în 2011] / Resurse Umane - Proiecte de Cercetare Postdoctorală / Resurse Umane - Proiecte de cercetare pentru stimularea constituirii de Tinere Echipe de Cercetare Independentă / Programul IDEI - Proiecte de Cercetare Exploratorie / POSCCE – Sprijin pentru start-up-uri și spin-off-uri inovative) și alte instrumente cu scop și rezultate asemănătoare cu instrumentul analizat? (ne referim la toate programele cu obiective de CD pe care le puteau accesa cercetători/echipe/instituții de CD din România/firme) Dacă DA, care este plus valoarea instrumentului de față?
1.4. Care au fost actorii interesați consultați în identificarea priorităților/problemelor din pachetul de informații aferent programului /instrumentului…. (se întreabă după caz … Parteneriate-Proiecte Colaborative de Cercetare Aplicativă [introduse abia în 2011] / Resurse Umane - Proiecte de Cercetare Postdoctorală / Resurse Umane - Proiecte de cercetare pentru stimularea constituirii de Tinere Echipe de Cercetare Independentă / Programul IDEI - Proiecte de Cercetare Exploratorie / POSCCE – Sprijin pentru start-up-uri și spin-off-uri inovative)? Considerați că prioritatea de finanțare la care răspunde acest program/instrument de finanțare rămâne valabilă pentru actualul context al CDI din România? Comparativ cu momentul prezent, care este nivelul de finanțare pe care îl considerați necesar pentru obținerea rezultatelor dorite la nivelul acestui instrument de finanțare? Este actualul nivel de finanțare suficient? Iar dacă trebuie extins, cam la ce nivel credeți că ar trebui sa se realizeze acest lucru?
1.5. Pentru întreaga perioadă 2007-2013, Pachetul a suferit modificări de la o competiție
la alta în ceea ce privește obiectivele de cercetare finanțate? Dacă da, care au fost
cauzele realizării acestor modificări? A existat o evaluare a competiției anterioare
și a modului de implementare a acesteia care a condus la operarea modificărilor
realizate? Ce efecte așteptate și neașteptate au avut aceste modificări?
1.6. Dar în ceea ce privește grupul țintă și eligibilitatea aplicantului și a partenerilor (acolo unde este cazul), pachetul a suferit modificări de la o competiție la alta? Dacă da, care au fost motivele realizării acestor modificări? Care au fost actorii
104
consultați în stabilirea acestor modificări? Ce efecte așteptate și neașteptate au avut aceste modificări asupra cerințelor call-ului și rezultatelor acestuia?
2. Procesul de evaluare 2.1. Câte aplicații au existat pentru competiția evaluată șu câte au fost finanțate? Cum
apreciați rata de succes? Care au fost principalele dificultăți identificate în procesul de evaluare? Cum apreciați costurile evaluării raportat la costul efectiv al programului finanțat? Dacă respondentul nu poate oferi un răspuns se încearcă identificarea unei persoane responsabile de gestionarea procesului de evaluare.
2.2. Au existat schimbări în cadrul procesului de organizare a evaluării, comparativ cu
competițiile precedente. Care au fost motivele care au condus la realizarea acestor
schimbări? Care au fost principalele probleme generate de organizarea evaluării ?i
care au fost modalitățile de remediere identificate?
2.3. Procesul de evaluare s-a prelungit foarte mult în anumite situații, una dintre probleme fiind legată de identificarea unor evaluatori care să răspundă cerințelor. Care credeți că a fost efectul acestor prelungiri asupra oportunității problemelor de cercetare/transfer propuse în cadrul aplicațiilor? Există posibilitatea ca aplicanții să fi identificat alte surse de finanțare? Dacă DA, Care au fost măsurile operate pentru a se asigura unicitatea și necesitatea problemei de cercetare/ transfer propuse de la momentul aplicării la momentul demarării efective a finanțării?
2.4. Din experiența dvs. care a fost tipul de parteneriat/echipă de cercetare care a avut succes la finanțare? De ce? În opinia dumneavoastră, aceasta a afectat, în mod diferit, impactul în regiunile de dezvoltare?
2.5. Care sunt cele mai frecvente tipuri de proiecte finanțate? 2.6. Au existat contestații? Câte (estimativ în % raportat la numărul de aplicații)? Care
au fost motivele care vizau aceste contestații? Aceste contestații vizau procedura sau conținutul evaluării? Cum au fost soluționate contestațiile primite?
2.7. Dacă ar fi sa schimbați trei lucruri la procesul de evaluare, care ar fi acelea? Care ar fi lecțiile învățate legate de organizarea evaluării, având în vedere că un instrument similar cu acesta se finanțează și în perioada 2013-2020?
3. Lecții învățate și dificultăți legate de procesul de contractare
3.1. Care sunt principalele dificultăți experimentate cu privire la procesul de contractare (utilizarea formularelor de aplicare, procedurile administrative de verificare a conformității, „aplicarea concretă” a criteriilor de selecție, înțelegerea criteriilor de selecție de către potențialii aplicanți, etc)?
3.2. Care sunt principalele lecții învățate pentru a fi valorificate în actuala perioadă de implementare?
4. Lecții învățate și dificultăți legate de implementare
4.1. Care sunt principalele dificultăți întâmpinate în procesul de implementare? (De exemplu: întârzierile, fluxul de numerar, dificultăți și particularități locale, întârzieri în deschiderea anului financiar, nepredictibilitatea finanțării de la an la an, etc.). Care au fost totuși cei mai importanță factori care au generat dificultățile din implementare menționate?
4.2. Au existat extinderi ale perioadei de implementare ca urmare a nepredictibilității sumelor bugetare alocate? Cum au afectat acestea rezultatele proiectului?
4.3. În ceea ce privește lecțiile învățate în procesul de implementare, care credeți că sunt cele mai importante lucruri care ar trebui să se schimbe pentru ca instrumentul să aibă succes/un succes mai mare?
105
5. Performanța și calcularea indicatorilor 5.1. Cum au fost identificați/stabiliți indicatorii de raportare? Care este din punctul dvs.
de vedere gradul de corelare al indicatorilor de raportare propuși cu obiectivul și prioritatea de finanțare stabilite în cadrul instrumentului? Credeți că alți indicatori ar fi fost mai adecvați? Care anume?
5.2. Cum estimați indicatorii de realizare raportat la indicatorii propuși în cererile de finanțare/aplicații? A fost cerut un anumit nivel de performanță al indicatorilor pe proiect pentru a primi finanțare? Au fost depășiți indicatorii realizați raportat la cei propuși? Dacă da, care credeți că au fost motivele?
5.3. Au existat indicatori a căror atingere a fost dificil de realizat? Care credeți că au fost cauzele? Ce măsuri au fost luate în acest caz?
5.4. Care au fost principalele lecții învățate cu privire la stabilirea indicatorilor de raportare?
6. Lecții învățate și dificultăți întâmpinate în colectarea datelor și în procesul de
monitorizare 6.1. Care sunt dificultățile întâmpinate în procesul de colectare a datelor? Care sunt
principalele dificultăți întâmpinate în procesul de monitorizare? Cum au fost acestea remediate?
7. Întrebări suplimentare 7.1. Având în vedere că finanțarea instrumentului continuă și în actualul ciclu de
finanțare, care sunt principalele recomandări pe care le aveți de făcut? 7.2. Există efecte ne-așteptate (pozitive sau negative) ale intervenției de care să ținem
cont în procesul de evaluare? Care sunt acestea? 7.3. Considerați că există bune practici la nivelul instrumentului de care ați fost
responsabil? Puteți să ne spuneți care sunt acestea? Care sunt motivele care stau la baza recomandărilor dvs.?
106
Focus grup de analiză și evaluare a Instrumentului de finanțare Proiecte colaborative de cercetare aplicativă din cadrul PNCDI 2
Teme Subteme/Întrebări
1. Evaluare o Ce părere aveți despre definirea și includerea domeniului prioritar de cercetare ”Materiale, procese si produse inovative” printre domeniile vizate de instrumentul de finanțare Proiecte colaborative de cercetare aplicativă din cadrul PNCDI 2?
o Care au fost principalele nevoi ale sectorului de CDI - domeniul ”Materiale, procese si produse inovative” – care au fost vizate de instrumentul de finanțare Proiecte colaborative de cercetare aplicativă din cadrul PNCDI 2”?
o Considerați că instrumentul de finanțare ”Proiecte colaborative de cercetare aplicativă din cadrul PNCDI 2” a răspuns în mod adecvat problemelor/nevoii vizate la nivelul domeniului ”Materiale, procese si produse inovative”? Dacă DA, de ce da ? dacă NU, de ce nu ?
o Dar cele mai importante oportunități? Instrumentul de finanțare a permis fructificarea acestor oportunități?
o Considerați că alte surse/instrumente de finanțare au răspuns mai adecvat nevoilor din acest domeniu? Care anume? Cum anume?
o Cum evaluați complementaritatea instrumentului ”Proiecte colaborative de cercetare aplicativă din cadrul PNCDI 2” cu alte surse/instrumente de finanțare existente la nivelul acestui domeniu?
o Care au fost principalele elemente de succes ale instrumentului de finanțare evaluat pentru domeniul ”Materiale, procese si produse inovative”?
o Considerați oportună menținerea acestui instrument de finanțare și în noul ciclu de implementare aferent PNCDI III?
2. Optimizare o Cum credeți că ar trebui modificat acest instrument de finanțare pentru ca să răspundă mai bine nevoilor din acest domeniu (eligibilitate, rezultate așteptate, structura parteneriatului, evaluare propuneri, implementare)?
o Ce condiții de eligibilitate ar trebui să fie prevăzute pe viitor pentru firmele participante la proiectele de cercetare (ex. cod CAEN de cercetare, vechime de la înființare, etc.)?
o o Ce recomandări aveți pentru îmbunătățirea procesului de transfer prin acest instrument de finanțare?
o Ce recomandări aveți pentru creșterea gradului de complementaritate între diferitele instrumente de finanțare adresate domeniului?
3. Monitorizare o Cum au fost înregistrate informațiile financiare referitoare la proiect în instituțiile participante la proiectele finanțate prin ”Proiecte colaborative de cercetare aplicativă din cadrul PNCDI 2”? De la ce nivel / structură se colectează datele financiare referitoare la proiectele de cercetare desfășurate în instituție și unde se centralizează/agregă informațiile în cadrul instituției? Care ar trebui să fie persoana/structura care poate oferi aceste informații pentru procesul de monitorizare a instrumentului de finanțare?
o Dar în cazul informațiilor referitoare la personalul care a lucrat în proiect? De la ce nivel / structură se colectează datele de personal referitoare la proiectele de cercetare desfășurate în instituție și unde se centralizează/agregă informațiile în cadrul instituției? Care ar trebui să fie persoana/structura care poate oferi aceste informații pentru procesul de monitorizare a instrumentului de finanțare?
107
o Dar în cazul informațiilor referitoare la rezultatele de CD (ex. publicații, brevete, produse, etc.) obținute prin proiect? De la ce nivel / structura se colectează datele privind rezultatele de CD din proiectele de cercetare desfășurate în instituție și unde se centralizează/agregă informațiile în cadrul instituției? Care ar trebui să fie persoana/structura care poate oferi aceste informații pentru procesul de monitorizare și evaluare a instrumentului de finanțare?
o Care este nivelul / structura din instituție la care este ”vizibil” impactul proiectului?
o Cum credeți că ar putea să fie îmbunătățită participarea instituțiilor care implementează proiecte de cercetare finanțate prin instrumente ale SNCDI la procesul de monitorizare și evaluare a acestora?
