Christina Ehneström och Torbjörn Skarin, Metamatrix

Stockholm den 2 september 2010

Frukostseminarium-utvärdering av förändringsarbete

Seminariets innehåll

Kärnan i en utvärdering

Syftet påverkar valet av utvärderingsmodell

Summativ och formativ utvärdering, var går gränsen?

Utmaningar med projektmål

Programlogik – ett verktyg för att ta fram tydliga och utvärderingsbara mål

Erfarenheter från tre praktikfall med olika fokus

Hur blir utvärderingen ett praktiskt verktyg för ett kontinuerligt förändringsarbete?

Kärnan i en utvärdering

GEMENSAM SYN PÅ PROBLEMEN

OCH PÅ MÅLEN

SKAPA FÖRBEREDELSE INFÖR

FÖRÄNDRINGSARBETET

Syftet påverkar valet av utvärderingsmodell

Syfte med utvärderingen

Modell Användning

Når projektet önskade effekter?

Effektutvärdering Återrapportering till beställaren. Kan bidra till förändringar i kommande program/projekt/insatser.

Fungerar projektet enligt plan? Hur fungerar projektorganisationen?

Processutvärdering Beslut om avslut eller mer resurser. Kan fungera som modell för en större satsning. Förbättra och förändra verksamhet. Eventuell omorganisation.

Hur kan projektet förbättra/förändra sin verksamhet så att målen uppnås?

Lärande utvärdering/Följeforskning

Återkoppling sker kontinuerligt. Ska bidra till att förändra/förbättra i pågående projekt - aktiviteter eller mål. Skapa lärande mellan projekt, för beslutsfattare och för pågående eller nya program/insatser.

Summativ och formativ utvärdering, var går gränsen?

Summativ/effekt Formativ/lärande

XX X

Utmaningar med projektmål

Formulering av mål

Mål som inte går att följa upp och styra mot

Otydliga mål, kopplade till en politisk vision

Mål som inte är tidssatta eller kvantifierbara

Mål där indikatorer på måluppfyllelse saknas

Målstyrning

Otydlig koppling mellan insatser och mål

Organisatoriska gränser påverkar möjligheten att uppfylla målen eller styra mot målen

Olika verksamhetsföreträdare har olika syn på vad som skall uppnås och vägen dit

Programlogik – ett verktyg för att ta fram tydliga och utvärderingsbara mål

•Programteori•Programlogik•Effektkedja•Argumentationskedja•Logic model•Förändringshypotes

Programlogiken beskriver ett tänkt samband mellan aktiviteter å ena sidan och resultat och effekter å den andra sidan, dvs. den

förändring som programmet ska åstadkomma…

…medan en programteori utöver ovan nämnda också beskriver mekanismerna som

antas vara orsaken till sambanden.

Exempel

AktiviteterResurser Utfall/Direkta resultat

Resultat/Effekter på kort sikt

Effekter på lång sikt

Överlevnad

Ökad konkurrenskraft

Bättre lönsamhet

Överlevnad

Ökad konkurrenskraft

Bättre lönsamhet

Högre kompetens

Bättre samarbete med högskola/andra företag

Nya produkter och tjänster

Högre kompetens

Bättre samarbete med högskola/andra företag

Nya produkter och tjänster

Antal kurser

Antal personal som får utbildning

Antal nätverksmöten

Antal kurser

Antal personal som får utbildning

Antal nätverksmöten

Kurser för personal

Företagsforskar-skola

Nätverkande/erfarenhetsutbyte

Kurser för personal

Företagsforskar-skola

Nätverkande/erfarenhetsutbyte

Pengar

Kompetens

Lokaler

Kontakter

Pengar

Kompetens

Lokaler

Kontakter

PengarKompetensLokaler

Stilbildande utvecklings-projekt som inspirerar i regionen såväl som nationellt och internationellt

Röda tråden

Coachande aktiviteter

Satsning på lågutbildade/barnskötare

Ledarskap i förändring

Tango på tre

Observatörsprojektet/Utvärdering

Jämställdhetsutbildning (integrerat i respektive utbildning)

Spridningsaktiviteter

Högre beredskap inför förändringar

Anställningsbar och eftertraktad i andra delar av samhället

Ökad måluppfyllelse hos eleverna

Ökat självförtroende

Kvalitetssäkring av arbetsinsatser

Mindre stress bland lärare och elever

Coachande förhållningssätt

Projektets aktörer hamnar i framkant av svensk skolutveckling

Ökad kompetens att driva förändringsprocesser

Ökad samtalskompetensÖkad kompetens hos pedagogisk personal

Spetskompetens inom kompetensutvecklings-områdena

Hållbarhet

Spetsutbildning för utvalda i -Ledarskap-Processtöd-Observatörsprojekt-Certifierad coachning

Minskad risk för långtidssjukskrivning

Resurser ResultatAktiviteter Effekter på medellång-lång sikt

Processtöd till samtalsledare

Blir entreprenöriell

Ökad medvetenhet om genusfrågor

Medvetenhet om omvärldens krav och uppdrag

Kompetens att sprida information internt och externt

Skapa delaktighet

Upplevelse av delaktighet

Erfarenheter från tre praktikfall

Socialfonden, följeforskning av tio projekt i samma program

Göteborg stad, formativ (lärande) utvärdering av ett projekt

Internationella programkontoret, summativ (effekt) utvärdering av ett projekt

Erfarenheter från följeforskning av tio projekt inom Socialfonden

Bakgrund och syfte med utvärderingen: Syftet med den övergripande utvärderingen är att samordna de enskilda projektens utvärderingar och medverka till att ett antal, för projekten och för insatsen, relevanta och gemensamma frågeställningar identifieras som både kan påverka utvecklingen i projekten såväl som på en mer strategisk nivå.

Utmaningar i utvärderingen:

•Att koordinera nio utvärderingskolleger som alla har sina egna lösningar, har kommit olika långt, har olika mycket resurser och olika direktiv från sina uppdragsgivare.

•Att skapa ett intresse från de egentliga ägarna (aktivt ägarskap) så som politiker, AF och intresseorganisationer för den Sociala ekonomin.

•Att bidra till att lyckade resultat implementeras i ordinarie verksamhet.

Nytta/användning av utvärderingen: Resultat och erfarenheter från projektens verksamhet ska synliggöras och nätverksträffarna ska skapa tillfälle för analys, erfarenhetsutbyte och lärande. I den mån det är möjligt ska utvärderingen söka syntetisera resultaten till en samlad bild av hur olika aktörer inom den sociala ekonomin kan verka i förhållande till Arbetsförmedlingen och tvärtom.

FORMATIV UTVÄRDERING MED

SUMMATIVA INSLAG

NÄTVERKSTRÄFFAR/

ANALYSSEMINARIER

HÖGGRUPP (”STYRGRUPP”)/

CENTRAL ANORDNARGRUPP

Erfarenheter från utvärderingen av ett projekt inom Internationella programkontoretBakgrund och syfte med utvärderingen: att se om utbildningsinsatsen har gett några resultat kopplat till lärarnas arbete med eleverna, vilka typ av frågor lyfts fram i undervisningen, vilka metoder används och vilka material används? Syftet är även att se hur lärarna upplever Programkontorets insatser i allmänhet

Utmaningar i utvärderingen: initialt arbetade utvärderaren med programkontoret för att förtydliga målen och att beskriva förväntade och oväntade effekter, att få fram data för olika indikatorer på effekter, samt att få hög svarsfrekvens i webbenkäten (främst i kontrollgruppen som ej deltagit i utbildningen),

Nytta/användning av utvärderingen: Fördjupad information för Programkontoret om vilka som deltagit i utbildningarna (kön, ålder etc), hur hittar man information om utbildningarna, Skolverket är intresserade av uppföljning av undervisningen kopplat till kursplanen, EU-kommissionen vill se om samarbetet med programkontoret fungerar

EFFEKTUTVÄRDERING AV

UTBILDNINGSINSATS KRING EU-

KUNSKAP

ÄMNESFÖRDJUPNING OCH METODIK

GYMNASIELÄRARE I

SAMHÄLLSKUNSKAP

Erfarenheter från utvärderingen av projektet Hjärntorget

Bakgrund och syfte med utvärderingen: Ett projekt med många utmaningar och faser, en egeninitierad utvärdering som värderar projektprocessen och projektets effekter och nytta. SMARTA mål är uppsatta, utvärdering sker mot dessa mål (Specifikt, Mätbart, Accepterat, Realistiskt, Tidssatt)

Utmaningar i utvärderingen: Styrning av ett centralt projekt med stort lokalt ansvar och mandat, otydliga mål (trots SMARTA), den formativa utvärderingen genomfördes i slutfasen av projektet, effekterna av projektet gick ännu inte att värdera

Nytta/användning av utvärderingen: Självvärderings-instrument skapat för att värdera måluppfyllelsen, självvärderingsinstrument skapat för att värdera e-mognaden på skolnivån, ger ett diskussionsunderlag kring projektprocesserna inom staden, kring svårigheterna att styra med decentraliserat ansvar samt kring behovet av fortsatta insatser eller nya projekt

ETT IT-STÖD FÖR SKOLAN INOM GÖTEBORG

STAD

PROJEKTETS MÅLGRUPPER: SKOLLEDARE,

LÄRARE, ADMINISTRATÖRER, ELEVER,

FÖRÄLDRAR

FORMATIV UTVÄRDERING MED SUMMATIVA

INSLAG

Hur blir utvärderingen ett praktiskt verktyg för ett kontinuerligt förändringsarbete?

Välj rätt metod och verktyg för utvärderingen

Arbeta med att förtydliga målen, öka förmågan att styra mot målen

Skapa en gemensam bild av målen inom organisationen

Förankra utvärderingens resultat inom den egna organisationen

Skapa ett system för kontinuerlig uppföljning och styrning mot uppsatta mål

Kontaktinformation: Christina Ehneström, christina.ehnestrom@metamatrix.se, 076-050 8120Jan Hylén, jan.hylen@metamatrix.se, 073-441 4044Torbjörn Skarin, torbjorn.skarin@metamatrix.se, 073-944 2048

Besök bloggen: www.itochutbildning.se