kehittävä arviointi hanketyössä anu räisänen
DESCRIPTION
TRANSCRIPT
HANKETYÖN KEHITTÄVÄ ARVIOINTI 11.9.2009
1. Arvioinnin perusteet 2. Kehittävän arvioinnin sovellukset
3. Yhteenveto
Anu Räisänen
Mitä arviointi on? Miksi hanketyössä tarvitaan arviointia?
Millaista arvioinnin tulisi olla? Kuka arvioi hanketta?
MITÄ ARVIOINTI ON JA MITÄ VARTEN SE ON ?
Mitä:
Tulkinnallista analyysia a) toiminnalle asetettujen tavoitteiden saavuttamisesta (vaikuttavuus)b) prosessin laadusta ja toiminnan systemaattisuudesta ja suunnitelman toteutumisesta
(tehokkuus)c) kriteereiden mukaisuudesta
Miksi:• laadun varmistamiseksi hallinnolle (accountability) • toiminnan ja järjestelmän kehittämiseksi ja oppimisen tehostamiseksi (development & learning)• hyvien käytäntöjen levittämiseksi • ei julkisuustarkoitusta
Arvioinnin määrittäminen suhteessa arvioinnin tehtäviin ja tavoitteisiin kehittävyys – tilivelvollisuus -tasapaino
Arviointi on AINA ARVOTTAVA kannanotto!
Anu Räisänen 2009
ARVIOINNIN KEHITYSNÄKYMÄT • Holistinen ote
• Heiveröinen kontrolli funktio
• Tavoitteena jatkuva parantaminen:
– Enemmän haasteita ja haasteiden johtamista, asiakas- ja kansalaislähtöisyyttä – todellisia innovaatioita
– Stakeholdereiden & sosiaalisten kumppaneiden & omistajien osallistaminen
– Tavoitteiden asettaminen
• Tarve parempaan tulosten arviointiin ja linkitykseen tavoitteisiin
• Kohti oppivaa organisaatiota ja jatkuvaa oppimista
• Benchmarking –toiminnasta – benchlearning kulttuuriin
• Usko ”inclusiiviseen” arviointiin (inclusive & intelligent evaluation) ja yhteistyöhön
Evaluation for accountability Evaluation for development Evaluation for knowledge
Anu Räisänen 2009
ARVIOINNIN ULOTTUVUUDET Toiminta on ollut tuloksellista, jos arvioitava kohde on
saavuttanut ne tavoitteet, joita sille on joko ulkopuolisen tahon tai sen itsensä toimesta asetettu. Tehokkuus• kuvaa toimintaa”Kuinka tarkoituksen-mukaista toiminta on?”- toiminnan laatu- …..
Taloudellisuus • kuvaa tehtyjen valintojen taloudellisuutta”Mitä rahalla saa?” - taloudellisuuden osoittaminen, ei vain kustannusten seuranta-….
Vaikuttavuus • kuvaa toiminnan seurauksia ”Onko tulos syntynyttoiminnan seurauksena?”- osaaminen- toimintojen vakiintuminen- näkemys hyödystä- pitkän tähtäimen näytöt- ….
Anu Räisänen 2009
Prosessi – tulos – edellytys - vaikutus – vaikuttavuusTavoitehierarkia: Ohjelman – hankkeen – yksilön tavoitteet !
ARVIOINNIN PERUSTEET
Standardi- /ja kriteeriperustaisuus • standardit kuvaavat vaatimustason • kriteerit määrittävät arvioinnin perusteen • standardit ja kriteerit määritetään ennalta • kriteerit ovat välttämätön ehto standardeihin perustuvaan arviointiin • kriteeriperustaisuus ei edellytä standardeja • arvioinnissa kohteen tilaa verrataan kriteeriin
Suhteellisuus • tuloksia verrataan keskenään tai aiempiin suorituksiin tai aiempaan tilaan • arvioinnissa vakiintuneita ”pisteytys- ja sijoitusmalleja” mm. Gaussin käyrä• korostaa järjestystä• esimerkkinä kyselyt jaeri vastaajaryhmien erot
Tulkinnallisuus• tila-analyysi ja syväluotaus•”tässä ja nyt” • ei vertailuja • voi toimia syväluotauksena muun arviointitiedon rinnalla • voi kohdistua esim. elämismaailmaan• esim. portfoliot, tarinat, elämäkerrat, kuvaukset
Anu Räisänen 2009Arvioinnin tarkoitus ja tehtävä!
Arviointikohteen selkeys!Arviointikysymysten merkitys!
MITTARIT JA MUU AINEISTON KERUU
Mittarit • määrälliset ja laadulliset
indikaattorit • kokeelliset asetelmat • kyselylomakkeet • tilastot, rekisterit,
seurantatiedot • ennusteet• tyytyväisyyttä kuvaavat
palautteet
Laadullinen aineisto • toiminnan kuvaus • haastattelut• tarinat• päiväkirjat • portfoliot• SWOT -analyysit• kriittiset pisteet (critical
incident) • asiantuntijalausunnot • auditoinnit (sisäinen,
ulkoinen)• asiantuntijanäkemykset • vertailevat menetelmät
(benchmarking, vertaisarvioinnit)
• arviointiseminaarit – fokusryhmät, paneelit
• oman työn tutkiminen• laatupiirit (stakeholders)
•yksittäiset tunnusluvut •summamuuttujat •luokittelu, •aikasarjat •vertailut • tilastolliset analyysit
• tulkinnallinen analyysi• konsensusistunnot, vertaistulkinnat Anu Räisänen 2009
Millaista arviointia, millaisin menetelmin?
• arvioinnin tarkoitus, merkitys ja arvioinnin tehtävät
• arvioinnin perusta, lähestymistapa & arviointiasetelman merkitys
• arviointikysymysten määrittäminen
• arvioinnin lähestymistavat - aineiston hankinta – tulos
Anu Räisänen 2009
Arvioinnin tarkoitus:
Mitä arvioidaan? Mihin arviointia käytetään? Miksi arviointia tehdään? Ketä varten arviointia tehdään? Mitä arvioinnilta odotetaan?
KEHITTÄÄKÖ ARVIOINTI?
• Arviointi kehittämistyötä tukevana toimintana • Tarvitaan seurannan ja arvioinnin asetelma, joka tuottaa
tietoa oppimisen ja kehittymisen perustaksi • Arvioinnin prosessikäyttö:
– tiedon ja tiedonkeruun hyödyntäminen kehittämisessä ja evaluatiivisen työtavan juurruttaminen osaksi työyhteisön toimintaa
– tarkoitus on tukea ohjelman, toiminnan tms. arvioivan työotteen kehittymistä
– voi olla sisäistä tai ulkoista/tuettua arviointia, joka tukee muutosta ja kehitystä sekä syventää tietoisuutta
– tavoitteena on parantaa toiminnan vaikuttavuutta – summatiivisen (tulokset ja vaikuttavuus) ja formatiivisen (kehitys,
edellytykset, toimintatapa) arvioinnin tasapaino
Anu Räisänen 2009
KEHITTÄVÄN ARVIOINNIN KÄSITE
• on tarkasteltavan kohteen tulkinnallista ja kriittistä analyysia ja toiminnan tuottaman hyödyn tai arvon määrittämistä kytkettynä läheisesti toiminnan laadun parantamiseen, kehittämiseen ja toimintojen uudistamiseen • tähtää syvälliseen ja jatkuvaan oppimiseen – kokonaisvaltaisuus - prosessuaalisuus • painottaa kontekstuaalisuutta ja osallisuutta sekä kokemusta sekä avoimuutta
•vrt. tilivelvollisuus ja kontrolli • systemaattinen tapa tukea tavoitteiden saavuttamista
• vrt. tavoiteperustainen ja tavoitevapaa arviointi • vrt. kriteeriperustainen arviointi• vrt. standardiperustainen arviointi
• sisältää jatkuvan parantamisen spiraalin • sisältää menetelmien kirjon
•arviointi & kehittäminen & kehittävä arviointi Anu Räisänen 2009
KEHITTÄVÄ ARVIOINTI
•tavoite määritetään kohteittain RÄÄTÄLÖINTI TARPEEN MUKAAN
• kohteena olevien osallisuus arvioinnin suunnitteluun, arviointiin ja jatkuvaan parantamiseen
SUBJEKTIUS JA VUOROVAIKUTUS PERUSTA ITSEARVIOINNISSA
• arviointiprosessi ja tulos hyödyttää kehittämistä PROSESSUAALISUUS HYÖDYNNETTÄVYYS KÄYTÄNNÖN LÄHEISYYSPALAUTTEEN MERKITYS
• painottaa yhteisöllisyyttä ja konsensushakuisuutta – ei absoluuttista totuutta REFLEKTIO ERI TAHOJEN YHTEINEN KONSENSUS
• asiantuntijat käsitteellistävät, suunnittelevat arviointimallit ja menetelmät, osallistavat eri tahot arviointiprosessiin ja tekevät arvioivat tulkinnat
ASIANTUNTIJAVASTUU JAETTUA MONITAHOISUUS (arvioijat, sidosryhmät, toimijat…)
Anu Räisänen 2009
OSALLISTAVUUS JA KEHITTÄVYYSARVIOINTI & KEHITTÄMINEN & KEHITTÄVÄ ARVIOINTI
KEHITTÄVÄN ARVIOINNIN MALLEJA MONITAHOARVIOINTI • eri näkökulmat ja menetelmät • sidosryhmäperusteinen (stakeholder) (rahoittajat, päätöksentekijät, kehittäjät, toimijat,
intressiryhmät, vertaiset jne…) • arviointiraadit ja konsensus
• laaja-alaisuus – monet kannanotot ja arvolausunnot • neuvottelevuus – valtaa pitävät koalitiot/avainryhmät• sosiaalinen oikeudenmukaisuus – vähäisinkin hyödynsaaja • evolutionaarisuus – suhde ympäristön muutokseen
OSALLISTAVA ARVIOINTI • subjektius • sidosryhmien ja toimijoiden näkökulmat• arvioija on osallistaja, kouluttaja, valmentaja, edistäjä – ei arvioija• konsensus • voimaantuminen – valtaistuminen - empowerment Anu Räisänen 2009
Esim. parivertailut, arviointiraadit ja –istunnot, teema- & fokusryhmäkeskustelut, vertaisarvioinnit, benchmarking, parivertailut, portfoliot, auditoinnit, konsultatiivinen arviointi, moderation…
PARIVERTAILUT• asiantuntijoiden, ryhmien ja yhteisöjen keskinäiseen arviointiin• valmistelu ja dokumentointi
ARVIOINTIRAADIT JA -ISTUNNOT • konsensusarviointia • monitahoisuus arvioinnissa • valmistelu ja dokumentointi
TEEMAKESKUSTELUT (vrt. fokusryhmät)
• arviointiprosessin eri vaiheissa • valmistelu ja dokumentointi
PORTFOLIOT • yhteisön näytteet toiminnasta, innovaatioista ja tuloksista • perustuu reflektointiin
AUDITOINNIT • sisäiset ja ulkoiset tai ohjattu sisäinen
Anu Räisänen 2009
VERTAISARVIOINNIT (vrt. Vertaileva arviointi)
•Arvioitavan kohteen kriittistä ja systemaattista arviointia, joka perustuu ennalta asetettuihin kriteereihin
•Arvioijana vertainen, jolla on suunnilleen samat tiedot ja taidot kuin arvioitavalla sekä selkeä näkemys tämän työstä •Tarkoituksena palautteen antaminen ja ammatillisen kasvun edistäminen
• Soveltuu myös työyhteisöihin
BENCHMARKING • vertailuarviointi ja –kehittäminen • voi kohdistua prosesseihin, strategioihin, johtamiseen jne….• perustuu oman toiminnan analyysiin ja vertaamiseen toisen itseään vähän paremman organisaation toiminnan analyysiin • edellyttää systemaattisuutta• ei ole opintokäynti
Anu Räisänen 2009
VERTAISARVIOINNIN MENETELMIÄ
1 Benchmarking – vertailuarviointi ja kehittäminen
2 Moderation
3 Ristiin arviointi
4 Sisäinen/ulkoinen auditointi
jne….
sekä yksilö- että ryhmäarvioinnit
sekä tulos- että prosessiarvioinnit
Anu Räisänen 2009
MODERAATIO
Perustuu reflektiivisyyteen, osallistavuuteen ja konsensukseen Kohteena toiminta, jossa ollaan osallisena Prosessi – ei tulosarviointia – etenee vaiheittain Oppiminen ja palaute parantaa päätöksentekoa, ammatillista itsekunnioitusta, luottamusta omaan toimintaan ja avoimuutta Vertaisten kanssa yhdessä Asiantuntijan käyttö
Anu Räisänen 2009
- moderation on aina ohjattua ja johdettua - voidaan käyttää esim. tulkittaessa, vastaako käytännön toiminta asetettuja tavoitteita ja arvioitavan toimintakentän ihanteita
- edellyttää eri toimijoiden kohtaamista
– sopii muutosprosessien ja oppimiseen ja ”vallan jakoon” tähtääviin arviointeihin - arvioinnissa painottuvat toimijoiden tulkinnat ja pyrkimys konsensukseen
Anu Räisänen 2009
MODERATION-MALLI
työyhteisö 1 työyhteisö 2 työyhteisö 3
Konsensus
Konsensus
Konsensus
Konsensus
Anu Räisänen 2009
• räätälöidään tarpeiden ja odotusten mukaan • ulkopuolisten arviointiasiantuntijoiden hyödyntäminen arviointisuunnitelman
laadinnassa, arvioinnissa ja arvioinnin ohjauksessa sekä valmentamisessa sekä ulkoisessa arvioinnissa
• kokonaistilanteen hahmottaminen ja käsitteellistäminen • perustuu vastavuoroiseen dialogiin • palvelun tarvitsija päättää viimekädessä lähestymistavat • arvioija vastaa metodeista, prosessista ja arvioinnista - vastuu on jakamaton • sekä suullinen että kirjallinen raportointi – suositukset • päätöksenteko on ”omistajalla”
VALLAN KÄYTÖN ETIIKKA • arvioija vastaa arvioinnista –jakamaton vastuu! • edellyttää arvioijalta kohteen tuntemusta, arviointiosaamista ja sosiaalisia taitoja – kykyä konsensukseen• arvioija ei osallistu arviointitulosten perusteella tehtävään päätöksentekoon
Anu Räisänen 2009
KONSULTATIIVINEN ARVIOINTI
RISTIIN ARVIOINTI & AUDITOINTI
• parit & ryhmät arvioivat kohdetoiminnon ristiin käyttäen ennalta määrättyä arviointimetodia, mittareita/kriteereitä
• auditointi voi olla kohdespesifi tai kokonaisarviointi
• ristiin/vertaisauditoinnissa noudatetaan auditoinnin yleisiä periaatteita
Anu Räisänen 2009
STAKEHOLDERIT ARVIOINNISSA (vrt. Patton)
Argumentit ja vasta-argumentit
• mahdollisuus selventää tulkintoja - hyöty näennäinen • osallistumisen tuoma hyöty – ei takaa korkeaa metodista laatua• arvioinnin moniulotteisuus – sitoutuminen arviointiprosessiin ei ole taattu • lisää empiirisiä evidenssejä – vain, jos on korkeatasoiset ja osaavat kumppanit • arviointivastuu voidaan jakaa – stakeholderit jättävät arvioinnin arvioijille • arvioinneilla voidaan suoraan vaikuttaa päätöksentekoon – stakeholderit ulkopuolella
Stakeholderit • selventävät, kyseenalaistavat ja täydentävät näkökulmia ja tuovat kokemuksen • edistävät oppimisprosessia ja ovat sanansaattajia arvioinnin jälkeen
Anu Räisänen 2009
Vrt. Asiakasarvioinnit
TOISIAAN TÄYDENTÄVÄT ARVIOINTIMUODOT
Itsearviointi edistää • itsetuntemusta ja –ymmärrystä • omien vahvuuksien ja
kehittämistarpeiden tiedostamista• yksilöiden ja yhteisöjen
oppimista ja sopeutumista muutokseen
• työyhteisön kehittymistä, ammatillista kasvua ja toiminnan laatua
• ulkoisen arvioinnin toimivuutta
Ulkoinen arviointi edistää • koulutuksen tasa-arvoista ja
yhdenmukaista kehittymistä• tietoisuutta omista ja toisten
toimintatavoista• objektiivisen kokonaiskuvan
saamista • itsearvioinnin toteutusta ja
suuntaamista
Vertaisarviointi edistää
• omien toimintatapojen ja kehittämiskohteiden tunnistamista
• yksilöiden ja yhteisöjen kehittymistä arvioitsijoina, palautteen antajina sekä arviointitiedon vastaanottajina ja hyödyntäjinä
• oman toiminnan suhteellistamista ulkopuolisen näkökulman kautta
• yhteistyötä, hyvien käytäntöjen levittämistä sekä verkostoitumista
KOKEMUKSIA HANKEARVIOINNEISTA
HANKEARVIOINTIKOKEMUKSIA
• Arvioinnin tarkoituksen ja tehtävän selvyys: miten interventio vaikuttaa ja tuottaa tuloksen? • Tulkinnalliset tavoitteet: hyöty & vaikutukset • Arviointikysymysten määrittämisen perusta – tulkinnallisuus – konsensus • Arviointikohteen jäsentäminen usein epäselvä – päällekkäiset elementit – käsitteelliset ongelmat
• Arvioinnin peruste: kriteerit – muut perusteet – perusteen puuttuminen • Epäselvää, mihin arvioija nojaa johtopäätöksissään – omaan intuitioon, kokemukseen, näyttöön
• Onko vahvuuksien ja kehittämiskohteiden määrittäminen arvioiva johtopäätös?
• Arvioijan riippuvuus & riippumattomuus tasapaino
Anu Räisänen 2009
Arvioinnin merkitys hankkeessa • varmistetaan, että toiminta on tavoitteiden ja suunnitelman
mukaista
• kuvataan vaiheet, joiden avulla tulokset ovat syntyneet: toiminnan ja tulosten välinen logiikka
• arviointiasetelman ja –kysymysten merkitys suuri
• tarkastellaan odotettuja ja odottamattomia tuloksia ja vaikutuksia
• on voitava tehdä johtopäätöksiä siitä, miten kehitetty toiminta voidaan siirtää toiseen ympäristöön
Anu Räisänen 2009
Panokset Prosessi Tuotokset Välittömät vaikutukset
Pitkän aikavälin vaikutukset
KÄYTÄNNÖN HAASTEITA JA KOKEMUKSIA
• Arviointi tehdään annetun näytön perusteella (evidence based orientaatio) • Aineiston monipuolisuus & tarkoituksenmukaisuus & kattavuus
• Arvioinnissa otettava huomioon kontekstin vaatimukset
• Aineisto koottava ja käytävä läpi huolellisesti ennen arviointia
• Kriteereistä/perusteista on päätettävä ennalta - kriteeristön tulkinta haaste
• Arvioijan on otettava kantaa – arviointi on hanketoiminnan voimavara
• Armeliaisuus & kriittisyys kiikkulauta • Laadukas arviointi vie aikaa - mutta myös opettaa
• Luottamus - arvioija on ”hajuton, mauton ja väritön”
• Kokemus on paras opettaja – arviointien vertailtavuus – oikeudenmukaisuus
• Arvioinnin perusteella tehtävät johtopäätökset Anu Räisänen 2009
TYYPILLISIÄ KYSYMKSIÄ
• Mitä tapahtuu ja miksi?• Miten tulos ja tuote on tuotettu? • Millaisia taitekohtia projektin aikana on ollut? • Millaisia interventioita on käytetty ja miksi? Mitä ei ole käytetty ja miksi? • Millainen on prosessin laatu ja voimavarat (osaaminen, talous, muut resurssit)? • Miksi jotkut interventiot ovat toteutuneet toisia paremmin? • Millaisia ennakoimattomia tuloksia tai esteitä projektissa on tullut ilmi ja miten niitä on käsitelty? • Miten toimiva projektiorganisaatio on ollut?• Millaiset asiat ovat edistäneet/estäneet projektia saavuttamaan tavoitteita? • Kuinka tietynlaiset tulokset on saatu aikaan? • Miten hyvin arviointi saavuttaa keskeiset kohderyhmät? Miten tavoitettavuutta pitäisi parantaa? • Miten keskeisten kohderyhmien tavoitettavuutta tulisi parantaa?
Anu Räisänen 2009
PROSESSIN LAATU & TULOKSET & EDELLYTYKSET
PROSESSIN LAATU & TEHOKKUUS - hankkeen organisointi
EDELLYTYKSET - voimavarojen käyttö
PROSESSIN TULOS & VAIKUTTAVUUS- tavoitteiden suunnassa eteneminen - välitön tulos - pitkän aikavälin vaikuttavuus
Prosessin laatu Tulokset
Edellytykset
Anu Räisänen 2009
Prosessin laatu & Tulosten laatu
” hyödynsaajat”