Zydziunaite, 2010 1
PROJEKTŲ REZULTATŲ IR POVEIKIO EFEKTYVUMO
VERTINIMAS
Prof. dr. Vilma Žydžiūnaitė
E-mail: [email protected]
Zydziunaite, 2010 4
• Vertinimai, vykdant projekto veiklas ir siekiant konkrečių rezultatų, turi būti vykdomi ne tik galutiniame projekto etape (galutinis ar apibendrinamasis vertinimas, vadinamas apibendrinamuoju vertinimu / įvertinimu), bet ir viso projekto eigoje (tarpiniai vertinimai).
Zydziunaite, 2010 6
• Vertinimo ir įvertinimo sąvokos netapačios: vertinimui (-ams) atlikti būtinas duomenų rinkimas, analizė, interpretacija ir apibendrinimas, kas sudaro galimybes priimti sprendimus - įvertinimus.
• Metodikoje koncentruojamasi tik į vertinimą (anglų k. – evaluation).
Zydziunaite, 2010 7
• Skirtingose projektų rezultatų kategorijose vertinimas ir įvertinimas turi skirtingus objektus
Zydziunaite, 2010 8
Edukacinė kategorija
• interakcinis / sąveikos (mokymai, mokomieji vizitai), • medžiaginis [leidiniai (knygos, metodikos, programos), • informacinių technologijų (rekomendacijos elektronine
forma, elektroninis informacinis biuletenis), • kognityvus (vertimas, leidinio parengimas), • audiovizualinis (vaizdo klipas, fotoalbumas), • leidybos (knygos leidyba), • švietimo (visuomenei skirtas renginys, vieši
prisistatymai), • politikos (koncepcija, veiksmų planas), • administravimo (leidinių platinimas, tinklapio
administravimas), • informavimo (informacijos skleidimas spaudoje)
Zydziunaite, 2010 9
Tyrimų / empirinė kategorija
• interakcinis / sąveikos (tikslinės tyrimo dalyvių grupės atranka),
• informacinių technologijų (duomenų parengimo analizei kodų matrica kompiuterinėje programoje),
• medžiaginis (straipsnis, tyrimo ataskaita),• kognityvinis (suformuluotos išvados,
suformuluotos rekomendacijos),• proceso (įvykdytas tyrimas (apklausa, interviu),
atrinkta tyrimo medžiaga, pilotinis išbandymas (mokymo kurso),
• edukacinis (testuotas modulis, adaptuotas modulis),
• leidybos (galimybių studijos leidyba).
Zydziunaite, 2010 10
Rekreacijos kategorija
• lavinimo (pažintinės išvykos (vizitai, ekskursijos),
• papildomo ugdymo (vaikų užimtumo užsiėmimai, sporto užsiėmimai),
• socializacijos (vasaros stovykla, koncertas).
Zydziunaite, 2010 11
Paramos kategorija
• medžiaginis (įsigytas inventorius),
• mokymo/si (nupirktos knygos),
• savišvietos (sudarytos galimybės naudotis internetu užprenumeruoti leidiniai),
• proceso (funkcionuojantis paramos centras),
• paslaugos (medicinos paslaugos),
• farmacinis (medikamentai).
Zydziunaite, 2010 12
Informacinių technologijų kategorija
• kognityvinis (interneto puslapio / tinklalapio sukūrimas, elektroninės skilties parengimas, reklaminių skydelių sukūrimas, internetinių informacinių laidų ciklo sukūrimas),
• proceso (interneto svetainės turinio administravimas, įregistruotas domenas, elektroninės skilties administravimas).
Zydziunaite, 2010 13
• Vertinant rezultatus skirtingose kategorijose, jiems suteikiamos vertės, parodomas objektų vertingumas: jų požymiai, reikšmingumas įvairiuose lygmenyse (pvz., asmeniniame, bendruomenės, organizaciniame, visuomenės ar kt.), nes kiekvienu rezultatu siekiama patenkinti konkrečius poreikius (pvz., kultūrinius, politinius, socialinius, edukacinius ir kt.)
Zydziunaite, 2010 15
• Projekto rezultato (anglų k. – project outcome, deliverable, result) terminas vartojamas projektų vadyboje apibrėžti apčiuopiamą, juntamą, akivaizdų, materialų arba neapčiuopiamą, neapibrėžtą, nematerialų objektą (produktą), kuris skirtas konkrečiam vartotojui.
• Projekto rezultatu gali būti ataskaita, dokumentas, serverio patobulinimas, leidybos procesas, parengta knyga ir kt.
Zydziunaite, 2010 16
• Metodikoje vartojama tik projekto rezultato sąvoka (adekvati projekto produkto sąvokai), kuri suprantama holistiškai, t. y. ji savo turinyje gali apimti ir konkrečias gaires (traktuotinas konkrečiu rezultatu / produktu), ir gairių rengimą, jei bus poreikis vertinti proceso kokybę.
Zydziunaite, 2010 18
• projekto rezultatų turi siekti konkrečias kompetencijas turintys specialistai (praktikai) ir mokslininkai, tyrėjai;
• projekto rezultatas traktuojamas kokybišku, jei jis atitinka numatytus kokybės rodiklius, o atitikimą jiems įrodo atlikto projekto rezultatų ir šių rezultatų poveikio efektyvumo vertinimas;
• jei sukurti projekto rezultatai (produktai) reikalauja papildomų mokymų vartotojams, tuomet mokymams taip pat turi būti sukuriami mokymų kokybės vertinimo kriterijai ir rodikliai, kurie leistų įvertinti mokymų (kaip produkto) kokybę ir jų poveikio vartotojams efektyvumą.
Zydziunaite, 2010 20
• projekto rezultatai yra keturių kategorijų – edukacijos, tyrimų / empirinės, rekreacijos ir informacinių technologijų;
• kiekviena rezultato kategorija apima tris charakteristikas – rezultato tipą, rezultato potipį ir rezultato pobūdį;
• kiekvienoje kategorijoje ir konkrečiame tipe galimi kiekybiniai ir kokybiniai rezultatai;
• kiekviename potipyje gali būti kelių pobūdžių rezultatai yra kiekybiniai ir kokybiniai.
Zydziunaite, 2010 21
Projekto tikslai
Projekto veiklos
Projekto rezultatai
Rezultato kategorija X
Rezultato kategorija Y
Rezultato kategorija ....
Rezultato tipas X 1
Rezultato tipas X 2
Rezultato tipas Y 1
Rezultato tipas Y 2
Rezultato tipas ...
Rezultato tipas ...
Rezultato potipiai ....
Rezultato potipiai ....
Rezultato potipiai ....
Rezultato potipiai ....
Rezultato potipiai ....
Rezultato potipiai ....
Rezultato pobūdis
Zydziunaite, 2010 22
• Vertinant projekto rezultatus reikėtų atsiminti, jog tas pats rezultatas gali būti priskiriamas …
Zydziunaite, 2010 23
…kelioms kategorijoms
Projekto rezultatas X
Edukacijos rezultatai
Tyrimų / empiriniai rezultatai
Rekreacijos rezultatai
Paramos rezultatai
IT rezultatai
Zydziunaite, 2010 24
…keliems tos pačios kategorijos tipams
Edukacijos kategorijos projekto
rezultatas X
Tipas: Mokymas
Tipas: Mokymasis
Tipas: Lavinimas
Tipas: Rekreacija
Tipas: Tobulinimasis
Tipas: Konsultavimas
Tipas: Informavimas
Tipas: Pagalba
Tipas: Sklaida
Zydziunaite, 2010 25
…keliems potipiams toje pačioje kategorijoje ir tame pačiame tipe
Projekto rezultatas
X
Kategorija: Edukacija
Tipas: Mokymas
Tipas: Sklaida
Kategorija: Rekreacija
Tipas: Edukacija
Potipis: interakcinis rezultatas
Potipis: kognityvinis rezultatas
Potipis: lavinimo rezultatas
Potipis: papildomo ugdymo rezultatas
Zydziunaite, 2010 26
…kelioms kategorijoms ir kiekvienoje iš jų skirtingiems tipams bei pastarųjų potipiams
Edukacijos kategorijos
projekto rezultatas X
Tipas: Mokymas
Potipis: Interakcinis rezultatas
Potipis: Medžiaginis rezultatas
Zydziunaite, 2010 27
• Projekto rezultatų vertimo tipo ir metodo parinkimo logika pagal projekto rezultato priskyrimą kategorijai, tipui ir potipiui
Zydziunaite, 2010 28
Projekto rezultatas X
Projekto rezultato
KATEGORIJAProjekto
rezultato TIPAS Projekto rezultato
POTIPIS
Projekto rezultato vertinimo
KRITERIJAI
Projekto rezultato vertinimo
RODIKLIAI
Projekto rezultato
vertinimo METODAI
Projekto rezultato vertinimo
TIPAS
Projekto rezultato
vertinimo INSTRUMENTAI
Zydziunaite, 2010 30
Projekto rezultato kokybės kriterijų ir juos sudarančių rodiklių / indikatorių apibrėžimas
Projekto X rezultato kokybės kriterijai
Projekto X rezultato kriterijaus apibūdinimas
Projekto X rezultato kokybės kriterijų rodikliai / indikatoriai
Projekto X rezultato kokybės kriterijų rodiklių / indikatorių apibūdinimai
A KRITERIJUS ...............................................................................................................................................................................................................................................................................
A 1 rodiklis ......................................................................................
A 2 rodiklis ......................................................................................
A 3 rodiklis ......................................................................................
B KRITERIJUS ............................................ ............................................ ...........................................
Zydziunaite, 2010 31
Kiekybinių verčių kokybės kriterijams ir juos sudarantiems rodikliams / indikatoriams numatymas
Projekto rezultato X kokybės kriterijai
Projekto rezultato X kokybės kriterijaus bendroji vertė
Pagrindimas Projekto X rezultato kokybės kriterijų rodikliai / indikatoriai
Projekto X rezultato kokybės kriterijų rodiklių / indikatorių vertės
Pagrindimas
A KRITERIJUS
Min vertė ........Max vertė .......
..................... A 1 rodiklis Min vertė .........Max vertė ........
.........................
A 2 rodiklis Min vertė .........Max vertė ........
.........................
A 3 rodiklis Min vertė .........Max vertė ........
.........................
B KRITERIJUS
Min vertė ........Max vertė .......
.................... B 1 rodiklis Min vertė .........Max vertė ........
.........................
B 2 rodiklis Kiekybiškai nevertinamas
.........................
Zydziunaite, 2010 32
Projekto rezultato kokybės rodikliams / indikatoriams darančių faktorių apibrėžimas
Projekto rezultato X kokybės kriterijai
Projekto rezultato X kokybės rodikliai / indikatoriai
Faktoriai, darantys įtaką rodikliams / indikatoriams
Galima rodiklio / indikatoriaus vertės kaita
Pagrindimas
A KRITERIJUS A 1 rodiklis Tikslinė projekto grupė + 1,5 .... – 1,5 ...........................
Socialiniai tinklai + 2,0 ... – 2,0 ...........................
A 2 rodiklis Projekto planavimas + 0,25 ... – 0,25 ...........................
Projekto žmogiškųjų išteklių vadyba
+ 1,0 ... – 1,0 ...........................
B KRITERIJUS B 1 rodiklis Tyrimo duomenų surinkimo laikas
+ 0,2 ... – 0,2 ...........................
B 2 rodiklis Surinktų tyrimo duomenų kokybė
Kiekybiškai nevertinamas
...........................
Zydziunaite, 2010 33
Projekto rezultato vertinimo tipų ir metodų parinkimas
Projekto rezultato X kokybės kriterijai
Projekto rezultato X kokybės rodikliai / indikatoriai
Vertinimo tipas Vertinimo informacijos rinkimo ir analizės metodai
A KRITERIJUS A 1 rodiklis Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......
Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......
A 2 rodiklis Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......
Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......
B KRITERIJUS B 1 rodiklis Kiekybinis Duomenų rinkimo: .....Duomenų analizės: .......
B 2 rodiklis Kokybinis Duomenų rinkimo: .....Duomenų analizės: .......
B3 rodiklis Mišrus Duomenų rinkimo: .....Duomenų analizės: .......
Zydziunaite, 2010 34
Projekto rezultatų vertinimo instrumentų sudarymas
• Kiekybiniame vertinimo tipe – uždaro tipo skalių klausimynas, skalių vertinimo matrica, struktūruoto interviu klausimai, struktūruoto stebėjimo matrica.
• Kokybiniame vertinimo tipe – atviro tipo klausimynas, pusiau struktūruoto ar nestruktūruoto interviu klausimai, nestruktūruoto ar pusiau struktūruoto stebėjimo matrica.
• Mišriajame vertinimo tipe derinami kiekybinių ir kokybinių duomenų rinkimo metodai atskirose vertinimo stadijose
Zydziunaite, 2010 35
• Projekto rezultatų vertinimo duomenų interpretavimas
• Projekto rezultatų vertinimo išvadų formulavimas
Zydziunaite, 2010 37
• Atlikdami projekto rezultatų vertinimą – nuo vertinimo tipo, metodų parinkimo, vertinimo instrumento sudarymo iki vertinimo duomenų rinkimo, analizės ir interpretacijos - projekto veiklų vykdytojai turi objektyviai įsivertinti savo turimą kompetenciją tyrimų metodologijoje, ypač – vertinimo srityje, ir jei ši kompetencija įsivertinama nepalankiai, konsultuotis su mokslininkais ir tyrėjais bei su jais bendradarbiauti.
Zydziunaite, 2010 39
• Efektyvumo vertinimas turi kokybinę prigimtį ir orientaciją į ateitį, proceso eigą, o veiksmingumo matavimas remiasi kiekybine prigimtimi ir orientuojasi į esamą būklės vertinimą.
• Todėl, vertinant projekto rezultatų poveikio efektyvumą, prasminga pirmenybę teikti vertinimams projekto eigoje (tarpiniam poveikio vertinimui) ir kokybinio vertinimo tipui.
Zydziunaite, 2010 40
• Jei projekto komandai aktualus ir veiksmingumo vertinimas, tuomet esminis dėmesys turi būti skiriamas projekto rezultato vertinimui.
• Pirmenybę teikiant kiekybiniam vertinimo tipui, o jei bus vertinamas projekto rezultatų poveikio veiksmingumas, tuomet prasminga orientuotis į trumpalaikio poveikio vertinimo strategiją.
Zydziunaite, 2010 41
• Vertinimo strategija siejama su projekto rezultato poveikio tipu, o vertinimo tipas – su projekto rezultato poveikio potipiu.
Zydziunaite, 2010 42
• Pasirenkant projekto rezultato poveikio vertinimo tipą ir strategiją svarbu atsižvelgti į projekto tikslinės grupės charakteristikas ir į projekto konkretaus rezultato pobūdį (savybes, charakteristikas).
• Būtent tikslinės grupės yra konkrečių rezultatų vartotojos ir jų nuomonė, pasitenkinimas, lūkesčiai bei nuostatos apie konkretų rezultatą yra svarbūs rodikliai, vertinant projekto rezultato poveikį
Zydziunaite, 2010 43
Projekto rezultato kategorija
Projekto rezultato
tipas
Projekto rezultato
potipis
Projekto rezultato vertinimo tipas
(kiekybinis, kokybinis, mišrus)
Projekto rezultato vertinimo strategija
(ilgalaikis poveikis, trumpalaikis poveikis, tarpinis
poveikis)
Projekto rezultato
poveikio tipas
Projekto rezultato poveikio potipis
Projekto tikslinė grupė
Projekto rezultato pobūdis
Zydziunaite, 2010 44
• Metodikoje projekto rezultato poveikio efektyvumu vadinamas konkretaus projekto rezultato poveikis tikslinei projekto grupei, projekto komandai ir / ar kitiems projekto rezultato vartotojams, kuris gali būti vertinamas, taikant kokybinį, kokybinį ar mišrų vertinimo tipą, besiremiantį kokybiniais ir kiekybiniais tyrimo metodais vertinimo informacijai rinkti ir analizuoti.
Zydziunaite, 2010 46
• Kai vertiname projekto rezultato poveikio efektyvumą, vertiname šio rezultato praktinį naudojimą, praktiškumą ir naudingumą konkrečiai tikslinei projekto grupei.
Zydziunaite, 2010 47
• Praktiškas vartojimas reiškia, kad produkto kūrėjai siekia konkrečių tikslų, kurių realizavimą atspindi rezultato poveikio efektyvumas ir veiksmingumas, t. y. produkto vartotojų pasitenkinimas (Nielsen, 1993; ISO, 1994).
Zydziunaite, 2010 48
Vertinant projekto rezultatų poveikio efektyvumą, prasminga orientuotis į tokius kriterijus:
• vartotojų veiksmingas ir efektyvus numatytų tikslų pasiekimas, praktiškai naudojant rezultatą / produktą;
• nesudėtingas mokymasis, taikant / naudojant konkretų projekto rezultatą;
• galimybės išvengti klaidų ir / ar jas ištaisyti, praktiškai naudojant rezultatą;
• vartotojų pasitenkinimas, praktiškai naudojant konkretų projekto rezultatą,
• konkretaus rezultato dermė su konkrečiu kontekstu, kuriame jis taikomas / naudojamas praktiškai.
Zydziunaite, 2010 50
…siekiamą projekto rezultatų poveikio efektyvumą
Projekto rezulta-to katego-rija
Projekto rezulta-to tipas
Projekto rezultato poti-pis
Projekto rezultato poveikio efektyvumo lygme-nys
Projekto rezultato poveikio efektyvumo lygmens apibūdi-nimas
Projekto rezultato poveikio efektyvumo lygmens ryšys su projekto tikslais ir / ar uždavi-niais
Zydziunaite, 2010 51
Projekto rezultatų poveikio efektyvumo vertinimo strategija gali būti …
• pirminė (trumpalaikė, vienkartinė)
• tarpinė (vertinimas atliekamas, mažiausiai, du kartus)
• ilgalaikė (daugkartinė),
Zydziunaite, 2010 52
Projekto rezultato kategorija
Projekto rezultato tipas
Projekto rezultato potipis
Projekto rezultato poveikio efektyvumo lygmenys
Projekto rezultato poveikio efektyvumo vertinimo tipas
Projekto rezultato poveikio efektyvumo lygmens vertinimo metodai
Projekto rezultato poveikio efektyvumo vertinimo strategija
Tikslinė projekto grupė
Duomenų rinkimo metodas: ...Duomenų analizės metodas: ...
Zydziunaite, 2010 53
… gautą projekto rezultatų poveikio efektyvumą
Projekto rezultato kategorija
Projekto rezultato tipas
Projekto rezultato potipis
Siektas projekto rezultato poveikio efektyvumo lygmuo
Gautas projekto rezultato poveikio efektyvumo lygmuo
Zydziunaite, 2010 54
Prof. dr. Vilma ŽydžiūnaitėE-mail: [email protected]