Principalele programe de asistență tehnică
și abordarea instituțiilor publice privind
evaluarea
Principalele programe de asistență tehnică
și abordarea instituțiilor publice privind
evaluarea
Conferința
“Noi abordări în evaluarea programelor și politicilor publice. Întărirea
capacității de evaluare”
București, 23 mai 2013
Elementele prezentării
► Aria de acoperire: Evaluarea Instrumentelor Structurale 2007-2013 (FEDR, FSE și FC)
► Cadrul instituțional al evaluării► Resursele implicate► Programul Operațional Asistență Tehnică 2007-2013 și
Evaluarea► Evaluarea pentru perioada 2014-2020
Structura instituționalăStructura instituțională
Unităţi de evaluareUnităţi de evaluare
Unităţi de Unităţi de Monitorizare sau Monitorizare sau
persoane persoane responsabileresponsabile de de
monitorizaremonitorizare
Structura instituționalăStructura instituțională
Analizează termenii de referinţăAnalizează termenii de referinţăSprijină calitatea evaluăriiSprijină calitatea evaluării
Aprobă Planul multianual de evaluareAprobă Planul multianual de evaluareExaminează rezultatele evaluăriiExaminează rezultatele evaluării
Autoritate de Autoritate de managementmanagement
Comitet de Comitet de monitorizaremonitorizare
Comitet de Comitet de coordonare coordonare a evaluăriia evaluării
Resurse implicateResurse implicate
UmaneUmane FinanciareFinanciare
• unităţi de evaluare – 25 persoane• comitete de coordonare – 70 persoane•comitete de monitorizare – 200•evaluatori - ?
• pentru realizarea efectivă a evaluărilor – 40 milioane Euro• pentru dezvoltarea capacităţii (PODCA, POSDRU, OPTA) - 30 milioane Euro
Programul Operațional de Asistență Tehnică 2007-2013
Obiectivul General► Contribuire la asigurarea sprijinului necesar procesului de coordonare și la
implementarea și absorbția eficace, eficientă și transparentă a instrumentelor structurale.
Buget 212,8 mln EUR, din care 170,2 mln. EUR contribuție FEDR
Structură 10 domenii majore de intervenție, grupate în 3 axe prioritare
DMI 1.2 Evaluare Obiectiv: Dezvoltarea unei culturi comune de evaluare în cadrul sistemului de
gestionare a fondurilor UE Buget: 9,7 mln EUR 7 proiecte contractate, totalizând aproximativ 23,4 mln lei (contribuție FEDR),
din care 3 finalizate Suntem pe cale de a ne atinge obiectivul?
Obiectivele și activitățile proiectului Examinarea Culturii de Evaluare
Obiectivul General► Contribuire la imbunatatirea calitatii, eficientei si consistentei DMI 1.2
“Evaluare” al Programului Operational Asistenta Tehnica prin furnizarea unui mecanism de monitorizare ce poate aprecia gradul de atingere al obiectivului acestui domeniu major de intervenție și anume, dezvoltarea unei culturi comune de evaluare în cadrul sistemului de management al instrumentelor structurale, atât cantitativ, cât și calitativ.
Obiectivele Specifice Dezvoltarea conceptului de evaluare adaptat particularitaților fondurilor
UE și Politicii de Coeziune a UE în România; Investigarea teoriei care sta la baza strategiei DMI 1.2 a POAT și
semnalarea oricărei probleme în conceperea sau implementarea acestuia;
Dezvoltarea unei metodologii pentru monitorizarea periodica a dezvoltării culturii de evaluare și stabilirea panelului cercetării;
Măsurarea anuală a progresului culturii de evaluare.
Cultura de evaluare vs capacitatea de evaluare
Analiza literaturii: 18 documente relevante
Panel de experti
In literatura de specialitate nu se face intotdeauna o distinctie clara intre cultura de evaluare și capacitatea de evaluare
Cultura de evaluare reprezinta un model de convingeri si valori al factorilor de decizie si al evaluatorilor, care furnizeaza acestora un set de reguli de conduita, ce faciliteaza practica evaluarii (De Peuter and Pattyn’s)
Capacitatea de evaluare va fi asociata “cu aspecte si componente operationale, care sunt considerate necesare pentru realizarea evaluarii. In acest sens, capacitatea de evaluare este strans legata de practica de evaluare. Ambele concepte vizeaza probleme legate de personal precum si facilitati de natura tehnica si instrumente in realizarea evaluarii”.
“capacitatea de evaluare” reprezinta “rezultatul” implementarii DMI, iar “cultura de evaluare” este impactul implementarii DMI 1.2.
Metodologie și instrumente de măsurare a culturii de evaluare
Indexul de măsurare a culturii de evaluare – 4 dimensiuni (cererea, oferta, diseminarea si utilizarea rezultatelor evaluarii, institutionalizarea culturii de evaluare), 16 criterii, 30 sub-criterii, 68 de indicatori – cu scopul de a stabili aspectele ce caracterizeaza cultura de evaluare si capacitatea de evaluare in domeniul Instrumentelor Structurale din Romania
Construirea panelului de cercetare: 5 categorii și 11 subcategorii; 136 respondenti ( 80% partea de cerere si 20% partea de oferta – Evalrom, evaluatori independení, universitati)
Chestionar electronic adresat panelului
Documente naționale relevante, ghiduri metodologice UE și naționale, documente de programare și operaționale la nivel de PO și SCNR, rapoarte de evaluare
Analiză comparativă internațională (benchmarking)
Focus grup și seminar de dezbatere a concluziilor
Indexul de masurareStructura indexului
Evaluation CultureEvaluation Capacity
Dissemination and utilization of
evaluation results
Institutionalization of evaluation
cultureSupply side
The architecture of the evaluation
The financial and human resources
allocated
The evaluation function is
efficient and effective
Quality of monitoring
system
Socio-economic data are available
and reliable
Availability and quality of evaluation expertise
Financial Resources
Useof evaluationresults
Evaluation Culture Measurement Index
(ECI)
Mental framework Legal context ofevaluation
Evaluative Humanresourcespolicy
Embedded/bottom up evaluation demand (in SIS)
Networking Civil society and mass media
GovernanceImpacts in Long-run and outside
SIS
Demand Side
24 indicators
18 indicators
6indicators 6indicators
CRIT
ERIA
Dim
ensi
ons
Rezultatele primei măsurări a culturii de evaluare
Gradul de realizare a celor 16 criterii
Proiect co-finanţat din Fondul European de Dezvoltare Regională prin POAT 2007-2013
Cele mai performante criterii Cele mai puțin performante criterii
2) Resursele financiare și umane alocate Evaluării 10) Contextul legal al evaluării
4) Funcția de evaluare este eficientă și eficientă 13) Rețele
8) Utilizarea rezultatelor evaluărilor 14) Societatea civilă și mass-media*
12) Cererea de evaluare încorporată pornind de jos în sus 15) Guvernanță
► Analiza proiectelor finanțate prin DMI 1.2 din prisma contribuției lor la dezvoltarea unei culturi de evaluare in Romania
► Principalele rezultate ale proiectelor sunt:
• Asistenta metodologica si sesiuni de formare profesionala pentru personalul responsabil cu evaluarea din AM-uri: revizuirea procedurilor, traducerea EVALSED, analiza nevoilor de formare, instrument de gestionare a rezultatelor evaluarii, formare.
• Sprijin acordat UCE in activitatile ei legate de GLE : formare, conferinte si seminarii in domeniul evaluarii, grupuri de lucru GLE.
• Asistenta metodologica legata de evaluarea unui proiect : ACB, studii de caz, manuale, ghiduri si formare.
• Publicarea rapoartelor de evaluare si diseminarea rezultatelor evaluarii: site GLE, conferinta internationala, evenimente de diseminare.
• Meta evaluari (2), Rapoarte de evaluare pe subiecte specifice (4), Evaluari pe parcurs ale CNSR si POAT (4), Evaluari strategice si ad hoc (2).
Realizări ale proiectelor finantate in cadrul POAT
Contribuția proiectelor finanțate la difuzarea culturii de evaluare:
Cum o putem identifica?Au fost analizate legaturile dintre cei 64 indicatori ce
caracterizeaza cultura de evaluare si cele 7 proiecte finantate in cadrul DMI 1.2, cu scopul de a identifica:Contributia proiectelor la indexul culturii de evaluareGapuri care trebuie acoperite prin proiecte
Metodologie:Analiza documentara sistematica, inclusiv a documentelor
aferente proiectelorInterviuri
Concluzii preliminare
• Nivel bun de difuzare al culturii de evaluare în România în Sistemul de management al Instrumentelor Structurale – 63,35% din scorul maxim
• Cererea și diseminarea/utilizarea rezultatelor evaluărilor sunt cele mai dezvoltate dimensiuni
• Instituționalizarea culturii de evaluare ar putea fi îmbunătățită
Recomandări (1)
• Reorganizarea unităților de evaluare în compartimente separate. Formalizarea legăturilor între evaluare și programare&monitorizare. Actualizarea periodică a planurilor de evaluare multianuale
• Sprijinirea dezvoltării profesionale a personalului și propunerea de criterii pentru selectarea personalului dedicat funcției de evaluare. Monitorizarea capacității personalului dedicat evaluării
• Îmbunătățirea sistemului de indicatori. Dezvoltarea unei baze de date de referință din punct de vedere statistic utila pentru analizele contrafactuale
• Includerea în cadrul proiectelor finanțate prin DMI 1.2 a unor componente legate de diseminarea rezultatelor evaluărilor. Includerea în cadrul proiectelor finanțate prin DMI 1.2 a unor sesiuni de comunicare adresate factorilor de decizie. Organizarea evenimentelor de diseminare pentru un număr mare de funcționari publici pentru răspândirea culturii de evaluare. Includerea în proiectele finanțate prin DMI 1.2 a unor sesiuni de comunicare ce se adresează factorilor implicați în instrumente structurale în privința importanței evaluării
Recomandări (2)
• Adresarea regulilor de eligibilitate a cheltuielilor ce limitează tipurile de grupuri țintă eligibile pentru acțiunile de dezvoltare a capacității. Adresarea regulilor de eligibilitate a cheltuielilor ca o pre-condiție pentru consolidarea opțiunilor educaționale universitare. Adresarea regulilor de eligibilitatea a cheltuielilor ca o pre-condiție pentru sprijinirea activității organizației naționale a evaluatorilor și întărirea legăturilor între Guvern și mediul universitar
Realizările Politicii de Coeziune în România
Proiecte finanțate: peste 9.500Plăți către beneficiari: peste 24.000.000.000 lei
la 17 mai 2013
Locuri de muncă create: peste 6.500Proiecte de cercetare-dezvoltare: 341Locuri de muncă în cercetare: 755Proiecte de investiții în IMM: 952Drumuri nou construite/reabilitate: 3.117 kmProiecte de deșeuri: 20
la 31 iulie 2012
Suntem pe cale de a ne atinge obiectivele?
Răspuns: Nu știm!
•Este imposibil să generalizezi
Diverse sectoare cu obiective și nevoi variate
7 Programe operaționale, 34 axe prioritare, 126 domenii majore de intervenție
Absorbţie inegală: 9 – 32% la nivel de PO, cu variaţii mai mari la nivel de DMI
Care este problema?
Obiectivele sunt vagi
Nu este clar cum să recunoşti succesul sau eşecul
Nu este clară diferenţa dintre monitorizare şi evaluare
Lipsa de cunoştinţe în metode şi tehnici de evaluare
Ce este propus pentru viitor?
Mai multă concentrare a resurselor
Focalizare pe rezultate
Programe care să articuleze clar schimbarea pe care o induc şi modalitatea de realizare a acestei schimbări
O mai bună colectare a datelor la nivel micro şi al outputurilor
Cerinţe mai precise pentru evaluări
Rapoarte Anuale de Implementare
Cadru de performanţă şi o rezervă de stimulare a performanţei
Implicaţii pentru evaluare
Metode şi tehnici de evaluare
La nivel macro: modele macroeconomice
La nivel mezo/micro
Evaluarea contrafactuală de impact (diferenţa din diferenţe, corelarea punctajului de propensiune, proiectarea discontinuă, variabilele instrumentale)
Evaluarea impactului bazată pe teoria programului
Analiza cost-beneficiu
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
(1)The architecture of the evaluation with specific regards to the linkage
between evaluation, programming …(2) The financial and human resources allocated to Evaluation
under the NSRF
(3) Quality of monitoring system
(4) The evaluation function is efficient and effective
(5) Socio-economic data are available and reliable
(6) Availability and quality of evaluation expertise
(7) Dissemination of evaluation output
(8) Use of evaluation results
(9) Mental framework
(10) Legal context of evaluation
(11) Evaluative Human resources policy- targeted at ensuring
adequate HR, at all level
(12) Embedded/bottom up evaluation demand (in SIS)
(13) Networking
(14) Civil society and mass media
(15) Governance
(16) Impacts in Long-run and outside SIS
Întărirea capacităţii
Instruire
Ghiduri
Networking
Publicarea integrală a rapoartelor de evaluare
Altele?
Va multumim!
Claudia MăgdălinaUnitatea Centrala de Evaluarewww.evaluare-structurale.ro
