effekt av bka-opplæring i muntlig norsk
DESCRIPTION
Sluttrapport fra effektmåling av kurs i muntlige ferdigheter, utført i samarbeid mellom Red Tape Crossing AS og Comte Bureau, på oppdrag fra VOXTRANSCRIPT
Effekter av BKA-‐opplæring i muntlig norsk Effektmåling av kurs i muntlige ferdigheter ved hjelp av kvasi-‐eksperimentell metode og pre-‐post undersøkelser.
1
Forord Denne rapporten er skrevet på bakgrunn av oppdrag om effektmåling av opplæring i muntlige ferdigheter, slik det er finansiert av Vox gjennom programmet for Basiskompetanse i arbeidslivet (BKA). Kartlegging og datamateriale er en kombinasjon av kvantitative kartlegginger, før og etter kurs, og kvalitative undersøkelser av et utvalg kurs, samt testing av språkferdigheter basert på kvasi-‐eksperimentell-‐metode. Ingen av datakildene er perfekte, men har vi fanget inn et bredt spekter av mulige effekter, og mulige sammenhenger og forklaringer. Arbeidet er gjennomført i samarbeid mellom Red Tape Crossing AS og Comte Bureau DA. Jon Hovland Honerud (Red Tape Crossing AS) var prosjektleder, og hovedansvarlig for kvalitativ datainnsamling og analyse. Øystein Evensen og Erlend Nyhammer (Comte Bureau) var prosjektdeltakere, og hovedansvarlige for kvantitative analyser og ideutvikling. MiA (Mangfold i Arbeidslivet) utarbeidet språktester, men var for øvrig ikke involvert i arbeidet. Stein Dørdal og Anne Hovland gjennomførte språktester til kvasi-‐eksperiment. Jon Hovland Honerud prosjektleder Kongsberg, 30. juni 15
2
Sammendrag Tilskuddsordningen Basiskompetanse i arbeidslivet (BKA) ble opprettet i 2006. Ordningen har gitt tilskudd til virksomheter som ønsker å arrangere opplæring i grunnleggende lese-‐, skrive-‐, regne-‐ og dataferdigheter for sine ansatte. Fra 2014 ble det i tillegg støtte til kurs som omfatter opplæring i muntlige ferdigheter, i moduler på 30 eller 50 timer. Rapporten er en effektmåling av opplæring i muntlige ferdigheter, basert på skoleåret 2014-‐15. Den kvantitative spørreundersøkelsen, som ble gjennomført både før og etter kursene, og blant de samme deltakerne viser at kursene har en viss effekt. I snitt er det en fremgang på 11 prosentpoeng som vurderer sitt muntlige ferdighetsnivå som godt eller meget godt etter fullført kurs, og like i underkant av 30 prosent oppgir at de har hatt en forbedring i muntlige ferdigheter etter at de har gått på kursene. Samtidig ser vi at den vanligste effekten av kursene er at deltakerne ikke forbedrer sitt muntlige ferdighetsnivå. Rundt halvparten av kursdeltakerne rapporterer ingen forbedring i muntlige ferdigheter. Vi finner imidlertid at det er en større effekt med tanke på hvor enkelt det er for deltakerne å bruke språket i ulike situasjoner i hverdags – og arbeidsliv, og hvor ofte de gjør det. Analysene viser at 70 prosent av deltakerne mener det har blitt enklere å snakke norsk i en eller annen situasjon etter at de har gått på kursene. Det betyr at det er en høyere andel deltakere som oppgir at det det har blitt enklere å snakke norsk i ulike situasjoner, enn det er deltakere som oppgir at de generelt har blitt bedre til å snakke norsk. Dette kan peke i retning av at deltakerne i større grad ”prøver seg” i ulike situasjoner, uten at de nødvendigvis opplever seg som bedre i språket. Gjennom språktestene viser det seg at mange har en framgang, til dels stor framgang. Omtrent hver tredje opplever likevel ingen eller liten målbar effekt. Det er markant forskjell på testgruppen og kontrollgruppen som ikke fikk kurs. Jevnt over fremstår fremgangen større i språktestene enn i spørreundersøkelsen, men det er her viktig å understreke at kursene ble valgt ut strategisk, med tanke på å vurdere om det kan observeres effekt i kurs man kan anta har effekt. Resultatene kan derfor ikke sammenlignes. Ut fra dette konkluderer vi at opplæring i muntlige ferdigheter har effekt, men at effekten antagelig fremtrer sjeldnere enn den kunne ha gjort, ettersom det kan se ut til at det er mønstre i hvilke egenskaper ved kurs (innretting og deltakere) som øker sannsynligheten for effekt.
3
Innhold Forord ........................................................................................................................... 1
Sammendrag ................................................................................................................ 2
Kapittel 1 Innledning .................................................................................................... 5
Kapittel 2 Metodikk: Effektmålinger og datainnsamling ............................................ 10
Del 1: Overordnet metodisk design ....................................................................... 10
Del 2: Beskrivelse av datainnsamlingsmetoder ...................................................... 12
Kvantitative data .................................................................................................... 12
Betraktninger rundt spørreundersøkelsen ......................................................... 14
Intervjuer ................................................................................................................ 14
Betraktninger rundt gjennomføring ................................................................... 15
Språktesting: Kvasi-‐eksperiment ............................................................................ 15
Gjennomføring av tester .................................................................................... 18
Opplevelsesdagbøker og observasjon .................................................................... 19
Del 3: Beskrivelser av datamaterialet .................................................................... 19
Frekvensfordelinger ........................................................................................... 20
Case-‐studier og intervjuer .................................................................................. 23
Oppsummering og vurdering av datamaterialet .................................................... 25
Kapittel 3 Effekt av opplæring i muntlige ferdigheter. ............................................... 27
1 av 3 mener de snakker bedre norsk etter kursene. ............................................ 27
Hverdagspraten har blitt enklere for mange .......................................................... 28
Språktestene viser varierende, men til dels svært god effekt ................................ 32
Kapittel 4 Effekter og sammenhenger ....................................................................... 35
Indre faktorer ......................................................................................................... 35
Motivasjon ......................................................................................................... 35
Utdanning og kompetanse ................................................................................. 39
Betydningen av språkerfaring i kvantitative data .............................................. 40
Språkkompetanse og effekt av kursene ............................................................. 41
Indre og ytre faktorer i eksperiment-‐ og intervjudata ........................................... 42
Ytre faktorer ........................................................................................................... 42
Bedrifters og lederes tilrettelegging og deltakelse ............................................ 43
Lederes motivasjon ............................................................................................ 45
Betydningen av bransje på kursenes effekt ....................................................... 46
Kurs-‐lærernes opplevelser ................................................................................. 47
Kapittel 5 Oppsummering av funn og anbefalinger ................................................... 49
4
Oversikt tabeller i rapport: Tabell 1: Sammenligning av utvalg og populasjon etter bransjefordeling. ................ 13 Tabell 2: Frekvenstabell demografi, utvalg. ............................................................... 20 Tabell 3: Frekvenstabell forklaringsvariabler. ............................................................ 21 Tabell 4: Sammenhengen mellom effekt av kurs og tidligere kurs ............................ 41 Oversikt figurer i rapport: Figur 1: Oversikt over anvendte metoder i prosjektet. .............................................. 11 Figur 2: Andelen som mener de snakker god eller dårlig norsk før og etter kurs. ..... 27 Figur 3: Andelen som oppgir endringer i muntlige språkferdigheter fra før til etter kurset. ........................................................................................................................ 28 Figur 4: Vurdering av å snakke norsk i ulike situasjoner i arbeidslivet. ...................... 30 Figur 5: Vurdering av å snakke norsk i ulike situasjoner i hverdagslivet. ................... 31 Figur 6: Skår på språktesten før og etter kurs. .......................................................... 32 Figur 7: Resultater språktest for testgruppe. ............................................................. 33 Figur 8: Frekvensfordeling motivasjon til å delta på kurset. ...................................... 37 Figur 9: Andelen som oppgir økning i muntlige språklige ferdigheter etter deres motivasjon for å delta på kursene. ............................................................................. 38 Figur 10: Frekvensfordeling av forventninger blant deltakerne. ................................ 39 Figur 11: Andelen med forbedret selvrapporterte muntlige ferdigheter etter botid. 41 Figur 12: Andel som oppgir at de har forbedret sine muntlige ferdigheter etter hvilke norskprøver de har tatt. ............................................................................................. 42 Figur 13: Sammenhengen mellom å gå på kurs med kollega og effekten av kursene. ................................................................................................................................... 44 Figur 14: Sammenhengen mellom hvordan kurset er organisert og effekten av kursene. ...................................................................................................................... 44 Figur 15: Sammenhengen mellom valgfrihet og effekten av kursene. (n=355) ......... 45 Figur 16: Sammenhengen mellom bedriftens rolle i planlegging av kurs og effekt av kursene ....................................................................................................................... 45 Figur 17: Sammenhengen mellom respondentens bransje og effekt av kursene (N=280). De 9 høyest representerte bransjene i datamaterialet.. ............................. 47
5
Kapittel 1 Innledning Tilskuddsordningen Basiskompetanse i arbeidslivet (BKA) ble opprettet i 2006. Ordningen gir tilskudd til virksomheter som ønsker å arrangere opplæring i grunnleggende ferdigheter for sine ansatte. Målet for opplæringen er at BKA skal medvirke til å styrke grunnleggende ferdigheter, slik at færre faller ut av arbeidslivet og flere kan ta del i opplæring og utdanning. Til og med utlysningen som fant sted i 2013, har 36 509 personer deltatt på̊ opplæringskurs. Vox har tildelt 496,5 millioner kroner fordelt på 1 558 prosjekter.
Om BKA-‐programmet og muntlige ferdigheter Fra 2014 inngår også̊ opplæring i muntlige ferdigheter i ordningen, i tillegg til de tidligere omfattede ferdighetene lesing, skriving, regning og digitale ferdigheter. Søkerne av midlene kan være private eller offentlige virksomheter, kurstilbydere, organisasjoner i arbeidslivet og næringsforeninger, forutsatt at det er etablert samarbeid i tråd med kriteriene. Midlene skal gå til kurs for voksne arbeidstakere, primært de med kort, formell utdanning.
BKA gir tilskudd til kurs i en eller flere av de grunnleggende ferdighetene, og opplæringen skal være knyttet til deltakernes arbeidssituasjon. Søkerne setter samme kursopplegg basert på standardiserte kursmoduler, inntil tre moduler per kurs:
• Modul 1 – lesing og skriving 40 timer • Modul 2 – lesing og skriving 50 timer • Modul 3 – lesing og skriving 100 timer • Modul 4 – regning 50 timer • Modul 5 – digitale ferdigheter 30 timer • Modul 6 – muntlige ferdigheter 30 timer, minst én modul (1-‐5) i tillegg • Modul 7 – muntlige ferdigheter 50 timer, minst én modul (1-‐5) i tillegg
Effektmålingen vil altså være rettet mot kurs som inneholder modul 6 eller 7 i søknaden. Effektene må derfor sees i lys av timeomfanget, og det er også verdt å merke seg at kursene deltakerne går på, ikke nødvendigvis er kommunisert primært som kurs i muntlige ferdigheter. Vox har utarbeidet læringsmål for opplæringen i muntlige ferdigheter, som eksempel på lokal læreplan, der muntlige ferdigheter defineres som følger: ” Muntlige ferdigheter innebærer å skape mening gjennom å lytte, tale og samtale. Det betyr å mestre ulike språklige handlinger og å samordne verbale og andre delferdigheter. Det betyr videre å kunne lytte til andre og gi respons og være bevisst på mottakeren når en taler selv”.1
Om oppdraget og hvordan det er løst BKA-‐kurs har blitt evaluert ved flere anledninger, både eksternt og internt. En oppsummering av disse evalueringene finnes i Vox-‐notat 13/2014, og gjengis ikke for øvrig her. Formålet med dette prosjektet er å måle effekten av opplæring i muntlige ferdigheter gjennom BKA.
1 http://www.vox.no/Grunnleggende-‐ferdigheter/Laringsmal/
6
Oppdraget skiller seg fra typiske evalueringsoppdrag på to måter. For det første er det et oppdrag om måling av effekt, og ikke en bred evaluering. For det andre er det en måling på et helt innledende stadium, det vil si i første reelle implementering. Dette anser vi som svært prisverdig og klokt; det gir raskt et godt bilde av hvordan et nytt initiativ som dette fungerer. Samtidig er det modig; det er all mulig grunn til å anta at det er innfasingsproblemer, og som vi skal se opplevde flere ledere at de måtte gjøre seg noen erfaringer, og vi ser at noe av svært relevante materiellet fra Vox ikke er allment kjent i målgruppene ennå.
Comte Bureau og Red Tape Crossing AS har satt opp et omfattende FoU-‐prosjekt for å kartlegge og måle effekter og endringer over et bredt spekter av datakilder, og med ulike metodiske innfallsvinkler. Vi har samlet inn brukerdata fra 355 deltakere før og etter opplæring, vi har utviklet egne språktester og satt opp et relativt omfattende kvasi-‐eksperiment for å måle effekt på muntlige ferdigheter, og har hentet inn kvalitative data fra deltakere, ledere og lærere, primært gjennom 67 dybdeintervjuer med totalt 42 deltakere, ledere og lærere. I sum gir dette et godt grunnlag for presist å vurdere effekt og sammenhenger.
Som i alle slike oppdrag, er et avgjørende spørsmål hva som kan regnes som effekt? I de neste avsnittene skal vi fordype oss noe i hvordan vi forstår og observerer effekt i målingene.
Overordnet mål for finansieringen er å trygge tilknytningen til arbeidslivet. Dette ville derfor kunne vært et effektmål. De færreste av deltakerne står i en slik posisjon at endring av grad av tilknytning til arbeidslivet (for eksempel oppsigelse eller fast jobb) er en umiddelbar mulighet. Videre har undersøkelsen gått over mindre enn ett år, og det er ikke grunn til å regne med stort omfang av endringer. Ettersom vi ikke direkte kan måle effekt i form av styrket tilknytning til arbeidslivet, ser vi på indikatorer knyttet mer direkte til muntlige ferdigheter.
Fra utsiden kan det fremstå som om effekt av BKA-‐kursene her handler om bedre muntlige norskferdigheter. ”Norskkurs” eller ”norsk språk” må imidlertid ikke forveksles med målsettingene for finansieringen. BKA finansierer opplæring i muntlige ferdigheter, ikke bundet til ”norsk”. For eksempel fant man i undersøkelsen kurs som for deltakerne ble kommunisert som kommunikasjons-‐ og konflikthåndteringskurs.
Imidlertid blir kursenes effekt på muntlige ferdigheter, her primært vurdert i form av arbeidsrelevante, muntlige ferdigheter på norsk språk. Bedre arbeidsrelevante norskferdigheter er med andre ord heller ikke det samme som generelle norskferdigheter. Generelle norskferdigheter vil i noen grad være en forutsetning, samtidig som det er særlige deler av språket en får bruk for for å fungere i en gitt stilling i en gitt bransje, for eksempel uttrykt gjennom forståelse for kommunikasjonsformer og sosial samhandling på arbeidsplassen, eller kunnskap om bransjespesifikke ord og uttrykk. Dette er ferdighetene vi primært har vurdert effekt av.
7
Det er likevel ikke bare en observerbar effekt av kursene som er aktuell i dette prosjektet. Det var naturlig å vurdere deltakernes og interessentenes oppfatning og opplevelse av andre effekter, og dette vil også bli rapportert om, men målingene sentrerer seg rundt muntlige ferdigheter i arbeidssituasjonen. I klartekst: Effekt er alle observerbare forandringer eller hendelser som kan kausalt kobles til gjennomføring av kurs, men rapportens målinger er fokusert rundt effekt observert endring i arbeidsrelevante, muntlige norskferdigheter.
Dette ble også aktualisert ved at deltakerne og lederne vi møtte hadde ulike oppfatninger av hva slags opplæring de deltok i. De aller fleste oppfattet opplæringen som ”norskkurs”, og de som ikke gjorde det, oppfattet seg i stor grad ikke omfattet av en kartlegging rundt ”muntlige ferdigheter”.
Dette innebærer at målgruppen i effektmålingen, i stor grad også kan sies å være segmentet som oppfatter kursene som en form for opplæring i norsk språk. Dette er også det elementet vi har valgt å vektlegge i kvasi-‐eksperimentet vi satte opp, ettersom det vil treffe en stor del av kursene, og gi grunnlag for etterrettelige målinger.
Denne effekten av kursene har i kartleggingen både en subjektiv dimensjon og objektiv dimensjon. Den subjektive dimensjonen omhandler hvordan deltakerne selv mener de behersker muntlige ferdigheter , og om de mener det er enklere å bruke språket i ulike hverdags – og arbeidssituasjoner. Objektive dimensjoner omhandler hvorvidt deltakerne har fått observerbare endringer i muntlige ferdigheter etter at de har gått på kursene. 2
Herværende rapport er altså ikke en evaluering av BKA-‐ordningen som sådan, men en effektmåling av ny-‐innrettingen ”opplæring i muntlige ferdigheter”. Målet for oppdraget er altså å vurdere i hvilken grad dette er en form for tilskudd som gir effekt, og hvilke effekter det gir.
For å oppsummere, har vi utgangspunkt i følgende problemstillinger i innretting av undersøkelser av effekt:
- I hvilken grad er / oppleves kursene å relatere seg direkte til deltakernes
arbeidshverdag? - I hvilken grad opplever deltakere og arbeidsgivere bedringer i muntlige
ferdigheter? - Hvilke typer effekt blir vektlagt (deltakere og arbeidsgivere) - I hvilken grad gir kursene en målbar bedring i muntlige ferdigheter?
2 Det kan presiseres at dette er et skille mellom grunnleggende ulike typer av effekter. Målingene, eller datainnsamlingen, vil likevel i ulike grader være avhengig av forskerens subjekt, for eksempel ved vurdering i språktester. Objektet for målingen er like fullt en objektiv størrelse.
8
For å vurdere sammenhenger og bakenforliggende forklaringer knyttet til effekter, har vi i innrettingen av undersøkelsen også gått inn på en rekke tilstøtende problemstillinger -‐ i tillegg til den rene effektvurderingen:
- Hva er arbeidsgivernes forventning til det som skal læres? - Hvordan forstår deltakerne sin rolle i læringsprosessen? - I hvilken grad er deltakerne motiverte før og etter kurs? - Hvilke forventninger omtales, og hvordan endres dette i løpet av kurset? - Hva legger respondentene vekt på, og blir engasjert av? - Hvilke andre effekter vektlegges av deltakerne? - Er det sammenhenger mellom kjennetegn ved respondentene og språklig
utvikling?
Effektmålene i studien: Effekter er tidkrevende og omstendelig å måle. Mange effektmålinger er basert på egenrapportert nytte, med andre ord; deltakerne får tilsendt spørsmål om hvorvidt de mener å ha blitt bedre gjennom kursene. Dette gir viktig informasjon, men har klare svakheter: -‐ Det er ikke lett å evaluere egen kompetanse tilbake i tid, og dermed vanskelig å
grads vurdere kompetansehevingen. -‐ Opplevelse av effekter kan påvirke hverandre, i den enkleste formen ved at
tilfredshet med læreren i seg selv gir en positiv opplevelse og dermed en forestilling om læringsutbytte – riktig eller uriktig.
-‐ Det er krevende å vurdere egen kompetanse og nivå. Vi har derfor designet prosjektet med mål om å redusere vektleggingen av individuell vurdering av kursenes effekt i etterkant, og i større grad hente data som mer objektivt kan beskrive effekter og sammenhenger:
• Spørreundersøkelse, sendt til alle deltakere før og etter kurs, for å kartlegge bakgrunn, opplevd mestring, opplevd effekt og tilfredshet.
• Språktesting av arbeidsrelevante muntlige ferdigheter, basert på kvasi-‐eksperiment i fire virksomheter, med kontrollgruppe.
I tillegg suppleres kartleggingen av en omfattende kvalitativ datainnsamling blant deltakere, ledere og lærere. Fokus ligger her på opplevelser, erfaringer, kompetanse, motivasjon og historier. I ettertid ser vi at forskningsdesignet har visse svakheter med hensyn til inkorporering av kvalitative data. Ettersom dette datamaterialet er utformet med hensyn på individuell bakgrunnsinformasjon for kontroll over kvasi-‐eksperimentene, og utdypende og utforskende data i lys av spørreundersøkelsene, har materialet ikke funnet en plass som selvstendig analyseobjekt. Det er synd, ettersom vi har et omfattende materiale, som potensielt kan gi interessante observasjoner. Dels fant vi
9
at en slik analyse først og fremst ville bli forstyrrende i rapporten, ettersom man i slike analyser forholder seg til datanivå som ikke kan sammenlignes med de langt mer fokuserte effektmålingene. Videre var det lite overlapp mellom former for funn, og vi har derfor fokusert på områder der datatypene er gjensidig utdypende. Vi må understreke at det kvalitative materialet dermed i høyeste grad er nyttiggjort gjennom analyser av bakgrunn og kontekstforståelse, men altså i mindre grad i form av selvstendige, kvalitative analyser slik det fremgår gjennom rapporten. Datamaterialet blir tilgjengeliggjort for Vox i anonymisert form (både individ og virksomhet), til senere bruk. Datakildene vil generelt ha sine helt ordinære svakheter og forbehold som drøftes i metodekapittelet. Der det er særlig relevant for tolkning, refereres det til eventuelle forbehold gjennom analysen. Totalt sett gir materialet et, om ikke unikt, så svært godt grunnlag for å på et tidlig tidspunkt i implementeringen av tiltaket å vurdere effekt og forbedringspotensial. Rapporten er bygget opp slik: I neste kapittel beskriver vi metodikken denne rapporten er basert på. I Kapittel 3 presenterer sentrale funn, og beskriver de overordnede målingene av effekt basert på de ulike datakildene. I kapittel 4 diskuterer vi fenomen og funn som kan påvirke effekten av kursene. I kapittel 5 oppsummerer vi funnene og resultatene, og kommer med antakelser og forslag til justeringer.
10
Kapittel 2 Metodikk: Effektmålinger og datainnsamling Metodekapittelet består av tre deler: Del 1 beskriver det overordnede metodiske designet vi har brukt i dette prosjektet. Del 2 består av mer detaljerte metodebeskrivelser av hvordan vi har jobbet med datainnsamlingen, samt dataens kvalitet og representativitet. Del 3 er en deskriptiv fremstilling av datamaterialet, det vil si en redegjørelse for hva empirien i undersøkelsen konkret inneholder. Avslutningsvis oppsummerer vi vurderinger om empirien og datainnsamlingen.
Del 1: Overordnet metodisk design Prosjektets oppdrag var måling av effekter av muntlige ferdigheter gjennom BKA. I innledningen drøftet vi effektdimensjonen, og ettersom effektmålet i dette prosjektet er sammensatt, har vi i utforming av metodisk design jobbet med flere mulige effekter, sentrert rundt arbeidsrelaterte, muntlige ferdigheter, uttrykt ved norsk språk.
Vi har benyttet kvantitative kartleggingsgrep og kvalitative intervju med deltakere og arbeidsgivere for å få grep om erfaringer og opplevd utvikling gjennom kurset. Sist men ikke minst utviklet vi egne språktester som var tilpasset målsettingene i programmet; det vil si å styrke grunnleggende ferdigheter i (lesing, skriving, regning, digitale og) muntlige ferdigheter blant voksne, slik at færre faller ut av arbeidslivet og flere kan ta del i opplæring og utdanning. I vår datainnsamling har vi ut fra dette fokusert på bransje-‐ eller yrkesrelaterte muntlige ferdigheter.
Ved siden av en bred tilnærming til datainnsamling, skiller designet i dette prosjektet seg fra hvordan lignende effektmålinger vanligvis legges opp, ved at vi har lagt opp til pre-‐ og posttesting i den kvantitative undersøkelsen og språktester utformet som kvasi-‐eksperimenter (se neste del for mer detaljert beskrivelse av selve gjennomføringene). Pre-‐posttestmetodikk innebærer å gjøre målinger før og etter hendelser og tiltak. I dette tilfelle vil hendelsen være at deltakerne gjennomfører de aktuelle kursene. Med et slikt pre-‐ og post design har man muligheten til å følge utviklingen hos samme individer over tid. Dette er en forutsetning for å si noe om effekter.
I tillegg har vi som nevnt inkludert metoder fra randomiserte eksperiment i gjennomføringen av språktestene ved å introdusere en kontrollgruppe. En kontrollgruppe er et utvalg av respondenter som ikke har blitt utsatt for hendelsen man forsøker å måle effekten av. I denne sammenhengen vil det si et utvalg av personer som ikke har gått på språkkurs. Ved å innføre en slik kontrollgruppe blir det enklere å utelukke at mulige effekter er forårsaket av bakenforliggende forhold. Eksperimentdata som dette må ikke forveksles med kvalitative data (primært intervjuer). Eksperimenter er designet for å gjøre kontrollert måling av effekt.
11
Kvalitativ datainnsamling er designet for å gi bred og dyp forståelse og innsikt, som deretter må fortolkes før det kan settes i sammenheng. Kvalitative data gir større grunnlag for presis og relevant fortolkning. Eksperiment-‐data gir på sin side større mulighet for kontroll med tilfeldigheter og bakenforliggende variabler.
I figuren under oppsummeres de ulike undersøkelsene som er gjennomført i løpet av prosjektet, og når i prosessen datainnsamlingen foregikk. Vi kan oppsummere med å si at vi har samlet et bredt spekter av datamateriale, og det er gjort fordi ulike typer data har sine styrker, som gjør at effekter kan påvises og dokumenteres på ulike måter.
Figur 1: Oversikt over anvendte metoder i prosjektet.
Før/oppstartsfase kurs
• Intervjuer med nøkkelinformanter VOX • Dokumentstudier • Kvanltalv undersøkelse, del 1 • Språktest del 1
Kursperioden
• Opplevelsesdagbøker • Intervjuundersøkelse kursdeltakere og virksomheter med kursdeltakere • Observasjoner av kurs
EBer kurs
• Kvanltalv undersøkelse, del 2 • Språktest del 2 • Intervjuundersøkelse kursdeltakere og virksomheter med kursdeltakere • Opplevelsesdagbøker • Intervju med ledere
12
Del 2: Beskrivelse av datainnsamlingsmetoder I denne delen beskriver vi datainnsamlingen mer i dybden, og kommer inn på både gjennomføring og mulige feilkilder.
Kvantitative data De kvantitative dataene i evalueringen er i hovedsak basert på en spørreundersøkelse som gikk ut to ganger til alle kursdeltakere som fikk opplæring i muntlige ferdigheter som var registrert med en e-‐postadresse i VOX sine systemer, eller som hadde en e-‐postadresse registrert hos kursholder. Undersøkelsen ble som nevnt designet etter pre-‐posttest prinsippet. Det vil si at de samme deltakerne fikk samme spørsmål om deres muntlige ferdigheter før kursene hadde startet, og etter at kursene var avsluttet. Formålet med dette undersøkelsesdesignet var å følge samme individer over tid, og på den måten i ha mulighet til å si noe om utvikling i muntlige språkferdigheter. Svarrater og representativitet Begge undersøkelsene foregikk i hovedsak per e-‐post, og foregikk i perioden november 2014 til juni 2015. E-‐postadresser ble delvis hentet inn av oss ved å kontakte kursholdere og arbeidsgivere, og delvis hentet ut fra Vox sine databaser som er basert på at kursholderne selv registrere navn og epostadresser til deltakerne. Den første undersøkelsen gikk ut til totalt 1200 respondenter. I listene fra Vox var det en del feilregistreringer på e-‐postadresser, hvilket resulterte i at 950 deltakere fikk undersøkelsen. Av disse svarte 500 på undersøkelsen før kurset, mens 345 svarte på den andre undersøkelsen. Det ble sendt ut 3 purringer til hver deltaker på både før og etter undersøkelsen. Ettersom enkelte kursledere meldte fra om at deltakerne ikke hadde tilgang på e-‐post, ble det også sendt ut totalt 35 postalskjemaer i post-‐pretestundersøkelsene. Av disse var det 10 personer vi har før og etter data på. Dette gir totalt 355 respondenter som har svart på før og etter undersøkelsen, som tilsvarer en svarrate på 37 prosent. Dette må betraktes som meget bra når man tar målgruppens sammensetting i betraktning, og det faktumet at undersøkelser som går over en såpass lang tidsperiode ofte møter utfordringer med høye andeler av frafall. Vi forklarer dette til dels ved et språklig enkelt, kortfattet og oversiktlig spørreskjema.
Det er mulig å få en indikasjon på dataenes representativitet ved å se på egenskaper ved bedriftene som har fått innvilget midler til gjennomføring av kurs. Sammenligner vi eksempelvis bransjene respondentene jobber innenfor, med bransjesammensettingen til samtlige bedrifter som har fått innvilget midler fra Vox, ser vi at utvalget treffer godt (jf. tabell 1). Det største avviket finner vi i overnattings-‐ og serveringsbransjen, hvor utvalget vårt er underrepresentert med 5 prosent, samt i bergverk hvor utvalget har en tilsvarende overrepresentasjon med 5 prosent.
I tillegg er det verdt å merke seg at det generelt ligger en feilkilde i denne typen datainnhentinger. I undersøkelser basert på selvseleksjon, slik denne er, vil det alltid være en systematisk forskjell i hvem som velger å svare – og hvem som ikke svarer.
13
Dette kan eksempelvis henge sammen med språkkunnskaper og tilgang på internett. Vi har i denne undersøkelsen forsøkt å imøtekomme dette ved å gjennomføre undersøkelsen på engelsk, samt tilbudt at undersøkelsen kan gjennomføres på papir. Vi har imidlertid ingen mulighet til å vurdere hvorvidt det er skjevheter i de som har svart på undersøkelsen etter disse parameterne.
Tabell 1: Sammenligning av utvalg og populasjon etter bransjefordeling.
Populasjonsfordeling Utvalgsfordeling Avvik fra populasjon
Bransje % % %
Annen tjenesteyting 7,0 9,9 2,3
Bergverksdrift og utvinning 1,7 9,9 5,4
Bygge-‐ og anleggsvirksomhet 11,0 4,2 -4,5
Forretningsmessig tjenesteyting 14,0 11,3 -1,3
Helse-‐ og sosialtjenester 5,2 11,3 3,4
Industri 11,0 8,5 -1,4
Jordbruk, skogbruk og fiske 2,9 2,8 -0,2
Kulturell virksomhet med mer 0,6 0,0 -0,4
Offentlig administrasjon med mer
19,8 23,9 3,6
Omsetning og drift av fast eiendom
0,6 0,0 -0,4
Overnattings-‐ og serveringsvirksomhet
8,1 2,9 -5,2
Transport og lagring 9,3 2,8 -4,2
Undervisning 1,7 4,3 2,7
Vannforsyning, avl 1,7 0,6 -1,1
14
Varehandel, reparasjon av motorvogner
5,2 7,0 1,3
Betraktninger rundt spørreundersøkelsen To forhold ved gjennomføringen av den kvantitative undersøkelsen har vært krevende.
For det første har det til dels vært vanskelig å finne fram til informasjon om hvem som deltar på kurs, og det har vært uoversiktlig å finne ut når kurs starter og slutter. Arbeidsgivere og kursholdere har ikke hatt full oversikt, og oversiktene fra Vox har vært mangelfulle, både med tanke på oppstartdato og deltakere. I mange tilfeller har kursholdere som har fått tildeling ikke hatt en klar plan for gjennomføring et godt stykke ut i kursperioden. Det har også vært utfordrende å finne ut hvem som er ansvarlige for kursene fra arbeidsgivers og kursoperatørens side.
For det andre er det store deler av populasjonen som ikke forholder seg til at opplæring i muntlige ferdigheter er del av kurset. Mange nekter å være med i undersøkelsen, fordi de ikke gjenkjenner beskrivelsen av kurset. Dette innebærer at kursene vi reelt sett har fått målt effekt fra, er kurs som på en eller annen måte identifiserer seg for deltakere og interessenter som en form for norsk-‐kurs. Dette ser vi også av deltakerne på kursene vi har studert; det er svært få med norsk morsmål her.
Intervjuer De kvalitative forskningsintervjuene ble i hovedsak orientert rundt de fire casene og kontrollgruppen i språktestingen. De enkelte casene beskrives senere i dette kapitlet. Totalt gjennomførte vi 67 dybdeintervjuer med 42 deltakere, ledere og lærere. Intervjuene har vært sentrale i å fortolke materiale og utforske mulige sammenhenger, men blir ikke brukt til direkte vurdering av effekt. Funn og fortolkninger presenteres derfor ikke i kapittel 3, men kommer frem i kapittel 4 og dels i kapittel 5.
Det ble gjennomført dybdeintervjuer med alle testdeltakerne i casene, deres ledere og deres lærere. Deltakerne ble også intervjuet før og etter gjennomføring av kurs. I tillegg intervjuet vi ledere fra case-‐virksomhetene og åtte andre virksomheter samt fem lærere.
Intervjuene ble gjennomført av en intervjuer, tatt opp og transkribert. Intervjuer med deltakere omhandler særlig bakgrunn, yrkestilknytning, motivasjon, beskrivelser av språkpraksis, forventninger, opplevelser i etterkant, tilnærming til læring og egenlæring og forslag. Intervjuer med ledere og kurslærere omhandler i tillegg til egen bakgrunn, organisering av kursene, praktisk oppfølging underveis, erfaringer med deltakerne og opplevelse av resultater.
Intervjuene ble analysert i tre faser:
A Prekodet analyse: Vi analyserte intervjumaterialet direkte i lys tema vi på forhånd vurderte som sentrale: Forventninger, motivasjon, læringsstrategier,
15
organisering, opplevelse av kursene, trygghet, beskrivelser av bruk av muntlig språk. B Utforskende koding: Vi gjennomgikk datamaterialet på jakt etter andre mulige tema. Her benyttet vi elementer av såkalt Grounded Theory, uten at vi gjorde forsøk på teoribyggende analyse. C Fortløpende re-‐koding av datamaterialet basert på nye ideer og sammenhenger generert gjennom kvantitativt materiale, og vurdering om tema som ikke lot seg analysere godt nok i kvalitativt materiale kunne gi utgangspunkt for analyser av kvantitativt materiale.
Betraktninger rundt gjennomføring Vi valgte å gjennomføre intervjuene i casevirksomhetene der språktestene ble gjennomført. Dette var til dels fordi det effektiviserte ressursene slik at vi kunne gjennomføre en større datainnsamling innenfor ressursrammene, men også fordi det ga oss større oversikt over eventuelle bakenforliggende variabler som kunne påvirke resultatene i testene.
Det er to potensielle kritikker mot en slik tilnærming. Det første er at eksperimentene blir forstyrret av unødig oppmerksomhet og tilstedeværelse. Dette kontrollerer vi for gjennom kontrollgruppen; ettersom denne hadde liten grad av endring, kan vi anta at intervjuerens påvirkning har vært liten. Den andre risikoen er at vi får et smalere utvalg enn vi ellers ville fått. Vi vil si tvert om; intervjudata og eksperimentdata er grunnleggende ulike datatyper, og flere virksomheter ville ikke gitt bredere data.
Utvalget av ledere til intervjuer utenom case-‐virksomhetene er helt klart skjevt. Vi kan her peke på at vi forsøkte å samle kontaktinformasjon til ledere med personalansvar for kursdeltakere til spørreundersøkelse, men ikke fikk nok kontaktinformasjon til å kunne gjennomføre kvantitativ undersøkelse. Men også gjennom rekruttering til dybdeintervjuer gjentok problematikken seg, og svært få var tilgjengelige fra utvalget vi satt igjen med. Vi fikk også indikasjoner på at de som var minst involvert i kursene var minst villige til å la seg intervjue. Følgende er sitat fra en e-‐post kan tjene til å underbygge denne antakelsen:
”Deltakerne våre er hovedsakelig ikke norsk språklige, og når det kommer til muntlige ferdigheter har de hatt relativt liten effekt, jeg jobber heller ikke tett på dem og kan derfor ikke svare på deres utvikling i muntlig ferdigheter.”
Språktesting: Kvasi-‐eksperiment Overordnet design for språktestene er beskrevet i del 1 i dette metodekapittelet. Sentralt i beskrivelsen av metodikken er testene vi gjennomførte i for-‐ og etterkant av kurs; kvasi-‐eksperiment.
Vi gjennomførte testing i fire kurs / arbeidsplasser, samt en kontrollgruppe. Disse fire casene beskrives nærmere i beskrivelser av empirien (s. 24-‐26). Det vil si at vi hadde
16
fire testgrupper, og vi valgte tilfeldig ut fem deltakere på hvert kurs. Vi rekrutterte kontrollgruppe fra én av disse virksomhetene. Kontrollgruppen kom fra en ikke tilfeldig valgt virksomhet, men derimot fra en virksomhet som var tilstrekkelig stor til at det var satt opp flere puljer med kurs, og nok ansatte til at det var mulig å finne ellers like deltakere. Deltakerne i kontrollgruppen var altså folk som var tiltenkt å gå på tilsvarende kurs, men som ikke hadde begynt ennå. Metodikken er hentet fra eksperiment-‐forskning, men ettersom utvalget ikke er tilfeldig, men derimot pragmatisk valgt (testing av deltakere som er oppmeldt til kurs), er dette å regne som kvasi-‐eksperiment. Vi har ikke koblet deltakerne i eksperimentet med data fra spørreundersøkelsen, ettersom dette ville innebære unødig innsamling av personsensitive data.
Testen ble gjennomført ved hjelp av to sett sammenlignbare oppgaver for hver yrkesgruppe, en test før, og en test etter. Før-‐test og etter-‐test er bygd opp likt, men med ulike oppgaver, slik at deltakerne ikke skal ha effekt av testgjennomføringen i seg selv. . Testene ble utviklet av Mangfold i Arbeidslivet, men senteret hadde for øvrig ingen deltakelse i målingene. Selve testen ble gjennomført av to norsklærere med erfaring med voksenopplæring og norsk som andrespråk, ved at én sto for testing og én observerte. Testene ble gjennomført enten på kurs eller på arbeidsplassen. I noen tilfeller ble de gjennomført på improviserte steder, av praktiske grunner.
Testene besto av fem oppgaver. Testen tok form av en styrt samtale på bakgrunn av oppgavene. Noen av oppgavene var rene spørsmål, mens andre var bilder eller eksempler fra kjente arbeidssituasjoner som deltakeren beskrev eller diskuterte. Deltakerne fikk 0-‐5 poeng på hver av de fem oppgavene fordelt på tre vurderingskriterier:
A. Deltakeren tar initiativ til et nytt tema – ev. tar ansvar for å føre temaet videre, eller avslutter det.
B. Deltakeren har kompetanse til å uttrykke seg på mange måter, og å formulere gode setninger
C. Hvor mye må deltakeren si for å nå fram med budskapet -‐ deltakeren kan tilpasse mengden informasjon for å få fram budskapet tydelig
Det vil si at deltakerne kunne få totalt (5x3) x 5 poeng = 75 poeng. I tillegg ble det dokumentert hvilke særlige språkferdigheter som kom tydelig fram, eller som endret seg. Testresultatene er med andre ord ikke objektive, i den forstand at de er uavhengige av testernes kompetanse. I slike eksperiment vil det være en avveiing mellom validitet (om målingen fanger opp det som er mest relevant og vesentlig) og reliabilitet (om det er mulighet for at målingen kan være feil eller åpen for fortolkning). Det finnes metoder for teknisk måling av språkferdighet. Vår vurdering var likevel at en systematisk, faglig vurdering av språkbeherskelsen ville være vesentlig mer valid, eller relevant, for det vi ønsket å måle. Vi betrakter derfor dette som et objektivt mål, med god validitet takket være testgjennomførernes kompetanse i språkevaluering.
17
Sammenligningen fra test 1 til test 2 er derfor både basert på skåre, og på kvalitative vurderinger av språkutviklingen. Det er likevel grunn til å understreke at det ikke er nevneverdig avvik mellom disse vurderingsformene innholdsmessig, og at skårene derfor kan benyttes som grunnlag for vurdering av endring hos hver enkelt.
I vurderingen av de muntlige ferdighetene ble det gjort kvalitetssikring i tre ledd. Først ble det gjort to selvstendige vurderinger og umiddelbart drøftet. Så ble resultatene revurdert etter noen dager. Først etter andre kvalitetssikring, ble resultatene sammenlignet med test 1. Etter alle tester ble det notert både poeng og kvalitative notater rundt svakheter og styrker hos kandidaten, slik at dette lettere kunne sammenstilles mot test 2. Ut fra dette ble det gjort kvalitative vurderinger av språkendringene med henblikk på å se til at like trekk ble vurdert likt for samme deltaker. Denne justeringen hadde i realiteten ikke betydning for skåre, men ble gjennomført for kvalitetssikring av sammenligningsgrunnlag. Først etter siste kvalitetssikring produserte testerne refleksjonsnotater som omhandlet metodikk og observasjoner, slik at disse ikke påvirket testresultatene.
For en beskrivelse av hva de ulike skårene fra 0 til 75 i praksis innebærer, beskriver vi i det følgende skalaen i lys av nivåene i det europeiske rammeverket for språk (CEF)3. Vi må understreke at dette er utelukkende for å formidle en forståelse av substansen, men at materialet i testene tilpasset effektmålingene her og ikke er å regne for nivåmålinger i lys av CEF, eller i lys av læringsmålene for språk i Vox sine veiledninger.
Testene er spesialtilpasset yrke og bransje, slik at deltakerne ble testet i muntlige ferdigheter relatert sin arbeidsplass, og er innrettet for best mulig å vurdere eventuell endring fra før-‐test til etter-‐test Det vil altså si at vurderingene er generelle og språkorienterte, men basert på oppgaver der deltakeren må beherske begrep og uttrykk fra eget fagfelt, for å kunne delta fornuftig i samtalen. Det betyr at resultatene kan fortolkes i lys av skalaen i de europeiske nivåene, men ikke fullt og helt: Man kan være svakere i språk generelt, men sterkere i sitt arbeidsspråk, og motsatt. Vi kan altså ikke si med sikkerhet det generelle språknivået, men vi kan måle endring i lys av arbeidsrelatert, muntlig språk.
15 poeng er maksimum for hver oppgave -‐ med maksimal uttelling 75 poeng på den muntlige testen. Slik vi vurderer skalaen, med alle de forbehold som er listet over, vil 50 poeng kunne beskrives å tilsvare A2 i muntlige ferdigheter, og fra 65 -‐ 72 tilsvarende på B1 nivå. De som ligger enda høyere i poengsum (72-‐75), vil kunne ligge på et høyere nivå.
Poengskalaen vil grovt sett kunne beskrives slik:
0-‐15 poeng: Svært svak. Kan i liten grad gjøre seg forstått på muntlig. Forstår enkle ord og uttrykk, og kan sette sammen noen få ord.
3 http://europass.cedefop.europa.eu/no/resources/european-‐language-‐levels-‐cefr
18
16-‐25 poeng: Svært svak. Kan i noen grad delta i samtale, og svarer på noen spørsmål, men misforstår mye. 26-‐49 poeng: Kan delta i samtale på en enkelt måte, hvis samtalepartneren er behjelpelig. Kan bruke enkle ord og uttrykk. 50-‐65 poeng: Kan delta i enkle og rutinepregede samtalesituasjoner, og utveksle informasjon om kjente emner og aktiviteter. Har en rekke uttrykk og setninger for å beskrive kjente ting. 65-‐72 poeng: Kan klare seg i de fleste situasjoner, og kan delta uforberedt i samtaler om kjente ting. Kan gi enkle og sammenhengende fremstillinger. 72-‐75 poeng: Samtaler med morsmålsbrukere byr ikke på særlige problemer. Kan gi klare og detaljerte beskrivelser.
Testene er ikke innrettet for å klassifisere de mer avanserte brukerne, brukere som ville kunne sammenlignes med nivå C1-‐C2. Det vil si at testen vil bli mindre presis for de sterkeste innen muntlige ferdigheter. Dette ble i realiteten i liten grad noen utfordring, ettersom deltakerne i all hovedsak befant seg i området 0 til 60 poeng. Gjennomføring av tester Vi fant underveis at kriteria A, initiativ til nye tema, var mindre relevant. Ettersom testene en strengt styrt samtale, viste det seg at det ikke var naturlig å ta opp nye tema underveis. Vi justerte derfor vurderingen av dette punktet, også ut fra en vurdering av at det viktigste for muntlige ferdigheter i en arbeidssituasjon ikke primært er å bringe opp nye tema, men å håndtere samtalen selvstendig. Derfor ble dette kriteriet omtolket å omhandle hvordan deltakerne tok initiativ i samtalen, innen hver tema, for selv å bringe frem sine budskap på egenhånd.
Videre var det ikke alltid mulig å treffe helt på arbeidsoppgavene, og det innebar at testerne improviserte noe, for å sikre at deltakerne fikk snakket om spørsmålene basert på sin reelle arbeidssituasjon. Hvis for eksempel et bilde viste en situasjon som ikke var sentral i deltakerens arbeidshverdag, rettet testerne samtalen i retning av en så nær relatert situasjon som mulig. Der ordene eller formuleringene var for krevende, startet testen med de originale formuleringene, før ord og uttrykk ble gradvis forklart for å finne rett nivå.
I utgangspunktet var planen å teste deltakere før og etter kurs, og å teste kontrollgruppe parallelt. I praksis ble det ikke helt slik. For det første var det ikke alle kursene som hadde en klar og tydelig begynnelse og slutt, og det var stor variasjon i hvor lange og intensive kursene var. Det innebærer at noen av deltakerne hadde begynt på kurs ved første test, eller hadde kurs som del av lengre kompetansehevingsplan. Videre betød det at slutt-‐testen ikke nødvendigvis var etter at kursene var helt fullført. Derimot ble intervallet mellom før-‐ og etter-‐test rimelig likt, omtrent 3 måneder.
19
Vi testet fem deltakere i hvert case. I case 4, der vi så muligheter for frafall, testet vi flere, men observerte likevel så stort frafall at vi bare fikk tre reelle før og etter-‐tester. Vi hadde også ett frafall i case 1. Dermed har vi totalt 17 gjennomførte målinger i testgruppene, i tillegg til de fem i kontrollgruppen.
Alt i alt vil vi si at dette betyr at testen har noen svakheter, men ikke av grunnleggende betydning. Kurs og opplæring vil svært ofte være del av et større bilde, og de fleste med jobb har tatt noen form for kurs tidligere. Det avgjørende er at det foregår den typen kompetanseheving som BKA-‐programmet finansierer mellom testene, slik at denne effekten blir målt. Det at kontrollgruppen ble fulgt etter testgruppen kan vi ikke se noen problemer ved, all den tid gruppen var svært lik testgruppen.
I tillegg til selve gjennomføringen av testingen, laget testgjennomførerne refleksjonsnotater i etterkant av analysene, både rettet mot metodikk og gjennomføring, og mot det som i metodelitteraturen omtales som ”emergent topics” – det vil si tema som fremstår som relevante og som kan følges videre. Disse er ikke brukt til analyse i seg selv, men til å identifisere analysetråder og spor. Vi understreker at disse refleksjonsnotatene ble produsert i etterkant av ferdigstilt testresultat.
Opplevelsesdagbøker og observasjon Observasjonene i kursene ble gjennomført underveis i kursene. Observasjonen foregikk på den måten at forskeren deltok i undervisningen mer eller mindre passivt, og brukte et åpent observasjonsskjema med fokus på å fange inntrykk av interaksjonen i klasserommet, hva som preget situasjonen, relasjoner mellom elev, lærer og arbeidsgiver slik det utspilte seg i rommet, og i hvilken grad arbeidsplassen fremsto som sentralt tema. Observasjonsdata er vil ofte bli svært påvirket av observatøren, og det er også stor usikkerhet ved om enkeltobservasjoner som dette er representative. Skulle observasjonsdata kunne stått på egne bein, måtte man hatt vesentlig større omfang. Derfor er observasjonsdata i all hovedsak benyttet internt for å vurdere utsagn, intervjudata og mulige sammenhenger, men ikke benyttet for å gjøre antakelser om effekt i seg selv.
Opplevelsesdagbøkene ble gjennomført i en 10 –ukers periode under kursperioden. Det er en metodikk fra tjenestedesign, som var tiltenkt som et supplement til tradisjonell, kvalitativ analyse. Opplevelsesdagbøkene var bygd opp slik at for hver uke skulle deltakerne skrive litt om hva de hadde lært, hvordan de hadde forberedt seg, samt deres erfaringer med å bruke det de hadde lært i hverdags – og arbeidsliv. Da vi ikke lyktes med å få hentet inn tilstrekkelig med materiale gjennom denne tilnærmingen, er ikke denne innsiktskilden inkludert i analysene som gjengis i rapporten.
Del 3: Beskrivelser av datamaterialet I denne delen beskriver vi mer i dybden det innhentede datamaterialet. Vi begynner med de kvantitative dataene, og kommer deretter inn på de kvalitative kildene og eksperimentdata.
20
Frekvensfordelinger Over de neste sidene viser vi hvordan det kvantitative datamaterialet fordeler seg etter relevante demografiske variabler og andre relevante forklaringsvariabler. Tabellene viser enkle frekvensfordelinger av nøkkelvariabler som brukes i analysene over de neste kapitlene, samt hvordan utvalget fordeler seg langs demografiske variabler.
Tabell 2: Frekvenstabell demografi, utvalg.
Antall Prosent Er du født i Norge? Ja 0 0 %
Nei 355 100 % Hvor har du din landbakgrunn fra?
Vest-Europa 45 13 % EU-land i Øst-Europa 130 37 % Øst-Europa utenfor EU 0 0 % Nord-Amerika og Oseania
0 0 %
Asia 115 33 % Afrika 35 10 % Sør- og Mellom-Amerika
10 3 %
Jeg ønsker ikke å svare 20 4 % Kjønn Kvinne 180 62 %
Mann 110 38 % Hva er ditt høyeste utdanningsnivå?
Jeg vet ikke 0 0 % Ingen utdanning 0 0 % Grunnskole eller liknende
45 14 %
Videregående skole yrkesfag eller liknende
65 21 %
Videregående skole allmennfag eller liknende
45 14 %
Fagskole eller liknende 25 8 % Høyskole-/universitetsutdannelse (3 år eller mindre) eller liknende
60 19 %
Høyere høyskole-/universitetsutdannelse (mer enn 3 år) eller liknende
75 24 %
Hvor lenge har du bodd i Under 1 år 5 2 %
21
Norge? 1 år 25 8 %
2 år 30 9 % 3 år 50 16 %
4 år 15 5 %
5 år 40 13 % 6 år 5 2 % 7 år 20 6 % Mer enn 7 år 130 41 %
Alder (snitt) 41,39
Tabell 3: Frekvenstabell forklaringsvariabler.
Antall Prosent Søkers rolle Etterspørrer 180 51 %
Tilbyder 175 49 % Har du gått på norskkurs? Ja 275 86 %
Nei 45 14 % Vet ikke 0 0 %
Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 2, den muntlige delen”
Nei 245 77 %
Ja 75 23 %
Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 3, den muntlige delen”
Nei 300 94 % Ja 20 6 %
Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 2, skriftlig”
Nei 260 81 % Ja 60 19 %
Hvilke av disse norskprøvene har du tatt og bestått? ”Norskprøve 3, skriftlig”
Nei 305 95 % Ja 15 5 %
Hvilke av disse norskprøvene har du tatt og bestått? ”Jeg har ikke tatt norskprøver”
Nei 195 61 % Ja 125 39 %
Hvilke av disse norskprøvene har du tatt og bestått? ”Jeg husker ikke”
Nei 250 78 %
Ja 70 22 %
Går du på kurset med en Ja 250 78 %
22
kollega du kjenner? Nei 70 22 %
Vet ikke 0 0 %
Går du på kurset i arbeidstiden?
Ja 80 25 % Nei 185 58 % Delvis, det vil si både i arbeidstiden og på egen fritid
55 17 %
Vet ikke 0 0 % Må du gå på kurset, eller velger du det selv?
Jeg går på kurset fordi jeg har lyst
195 62 %
Jeg går på kurset fordi sjefen min sa jeg skulle
15 5 %
Begge deler 105 33 % Hvorfor går du på kurset?: ”Jeg vil snakke bedre norsk”
Nei 55 17 % Ja 265 83 %
Hvorfor går du på kurset?: ”Jeg ønsker meg en bedre jobb”
Nei 210 66 % Ja 110 34 %
Hvorfor går du på kurset?: ”Det blir enklere å gjøre jobben min”
Nei 170 53 % Ja 150 47 %
[Det blir enklere for meg å få venner] Hvorfor går du på kurset?: ”Det blir enklere for meg å få venner”
Nei 250 78 % Ja 70 22 %
Hvorfor går du på kurset?: ”Jeg vil ha høyere lønn”
Nei 245 77 % Ja 75 23 %
Tror du kurset gjør deg bedre til å snakke norsk?
Ja 285 80 % Nei 50 14 % Jeg vet ikke 20 6 %
Tror du kurset gjør deg bedre til å samarbeide med andre?
Ja 265 75 % Nei 60 17 % Jeg vet ikke 30 8 %
Tror du kurset gjør deg bedre til å gjøre jobben din?
Ja 260 73 % Nei 70 20 % Jeg vet ikke 25 7 %
Tror du kurset gjør deg bedre til å kommunisere med andre?
Ja 285 80 % Nei 55 15 % Jeg vet ikke 15 4 %
23
Som nevnt tidligere tyder aggregerte data på bedriftsnivå og bransjetilknytning på at dataene er representative. Samtidig vet vi at det er norskfødte som har deltatt på kursene, men vi har ikke lykkes med å hente inn svar fra denne gruppen. Det er likevel verdt å komme med noen kommentarer til utvalget, slik det er beskrevet i tabellene over.
Det mest iøynefallende med utvalget er at utdanningsnivået virker å ligge høyere enn hva man skulle forvente. 43 prosent oppgir at de har lengre (3 år eller mer) eller kortere (3 år eller kortere) universitetsutdanning. Det tilvarende tallet for den norske voksnes befolkning (over 20 år) ligger på rundt 30 prosent. I innvandrerbefolkningen, som primært utgjør dette utvalget, er andelen lavere. Ser man på bedriftene og bransjene respondentene arbeider i, er det liten grunn til å tro at utvalget skal være høyere utdannet enn den norske befolkningen generelt. I tillegg ligger også utdanningsnivået til utvalget vårt høyere enn hva vi finner hos BKA deltakere generelt. Her oppgir 8 prosent at de har høyere utdanning, men utdanningsinndelingen i VOX sin statistikkbank er mindre nyansert enn inndelingen vi har benyttet i denne studien. Denne overrepresentasjonen av høyt utdannende kan henge sammen med at noen av respondentene ikke har forstått utdanningskategoriene som er benyttet i spørreundersøkelsene. Det kan også henge sammen med at høyutdannede generelt er overrepresentert blant personer som svarer på denne typen undersøkelser4. Vi ser også at en høy andel av respondentene har bodd lenge i Norge. Over 50 prosent har bodd i Norge i 5 år eller lengre, mens 4 av 10 har bodd i Norge i 7 år eller mer.
De øvrige variablene vil beskrives nærmere i kapittel 3 og 4.
Case-‐studier og intervjuer Dybdeintervjuer, eksperiment og observasjoner ble fokusert rundt fire case, det vil si fire bedrifter som gjennomførte opplæring i muntlige ferdigheter med BKA-‐finansiering. Eksperimentresultatene fremkommer i kapittel 3, mens intervjudata og kvalitative data primært er brukt som analysegrunnlag og fremkommer gjennom analysene i kapittel 4. Det viktigste å kjenne til ved vår tilnærming til case, er at utvalget ikke er å betrakte som representativt, men derimot et strategisk utvalg.
Formålet med prosjektet var å finne ut om opplæring i muntlige ferdigheter gir effekter. Vi ønsket derfor å foreta eksperimentmålinger under antatt optimale forhold, for å se om effekter kan observeres. Vi søkte derfor å unngå kurs som kunne fremstå mindre planlagt eller konkret5. Vi var ute primært etter å hente inn om, og i tilfelle hvordan kurs kan fungere. Dersom vi hadde hatt et større materiale, ville det vært relevant å trekke inn alle typer kurs, men vi valgte altså her en strategisk tilnærming. Dette må det da også tas høyde for når vi vurderer resultatene
4 Se for øvrig eksempler og drøfting i McKnight et.al (2007) : Missing Data – A Gentle Introduction, side 27-‐28. 5 Se for eksempel drøfting av rammebetingelser for interne og eksterne kompetansetiltak i Linda Lai (2013): Strategisk kompetanseledelse, 3. utg., side 148-‐151.
24
sammenlignet med spørreundersøkelsene som gikk ut til alle. Det var å forvente at eksperimentene ga resultater som antydet større sannsynlighet for effekt enn hva spørreundersøkelsene ville vise, og dette viste seg også å være tilfelle.
De fire casene ble valgt ut fra følgende kriterier.
1. Strategisk valg av kurs som på papiret fremsto som velorganiserte. Vurderingen baserte seg på søknadstekstene, og om søker og virksomhet var kjent med at kurs skulle gjennomføres.
2. Faglig bredde. Vi ønsket virksomheter innen ulike fag og bransjer, og valgte med én transportvirksomhet, én kantine/restaurantvirksomhet, én pleietjeneste og en håndverkervirksomhet innen bygg.
3. Kursarrangører; en kombinasjon av store og små kurstilbydere. 4. Offentlig/ Privat. Vi har en fordeling med tre private og en offentlig
virksomhet. Case 1: Transportvirksomhet. Virksomheten er relativt stor, og har mange ansatte med utenlandsk bakgrunn. Mange er rekruttert gjennom bemanningsbyråer fra hjemlandet og har siden fått fast jobb. Har ikke avholdt norskkurs tidligere, og har begynt med dette nylig. Språket på arbeidsplassen er stort sett norsk, men sjåførene snakker lite sammen i løpet av dagen, bare litt med kunder i forbindelse med levering. Kursene er lønnet, men etter arbeidstid, så mange er slitne. Kursene er initiert og organisert sentralt i bedriften. Deltakernes leder ga deltakerne et par oppgaver knyttet til jobben i løpet av kurset, cirka en i måneden, for øvrig var kursene rettet mot norsk kultur og historie.
Kontrollgruppen ble hentet fra case 1, som beskrevet i metoden. Virksomheten ble valgt til rekruttering av kontrollgruppe, ettersom den var tilstrekkelig stor og homogen til at det lot seg gjøre å rekruttere en ellers svært lik kontrollgruppe. Case 2: Bygg og anlegg. Virksomheten er mellomstor, og har mange håndverkere ansatt fra særlig to land i Øst-‐Europa. De startet, etter initiativ fra en kursarrangør, en toårig kampanje for å gå over til norsk arbeidsspråk. I perioden har det vært klar styring fra lederne om at arbeidsspråket er norsk, og det er gjort til regel at man skal svare på norsk. Fortsatt observeres sterke språkghettoer, men det virker å løse seg opp noe. Deltakerne har til dels vært lenge i Norge, og de fleste har intensjon om å bli, det er lite gjennomtrekk i selskapet. Lederne har i liten grad fulgt opp kursene i seg selv, og kursene har stort sett vært allmenne, med noe fokus på verktøy og arbeidslivsregler. Case 3: Kommunal pleietjeneste Virksomheten er en liten bykommune, og kursene skjer i regi av voksenopplæringene. Opplæringen er integrert i annen kompetanseheving. Deltakerne er stort sett fast ansatt, men til dels på svært små kontrakter med
25
tilkallings-‐tillegg. Gjennom koblingen til annen kompetanseheving, brukte deltakerne kursene til å repetere og få forklart ord og begreper fra andre fag-‐rettede kurs. Kursene ble ikke fulgt opp fra nærmeste ledere, men gjennom en kommunal koordinator. Deltakerne er vant til å snakke direkte med brukere, og har høyt nivå på språket sitt. Case 4: Restaurantbransje Det fjerde kurset ble arrangert for en virksomhet som holder personal på ulike restauranter og kantiner. De ansatte er stort sett fra to land i sør-‐østlige Europa, og har en rekke ulike yrker. Jevnt over er nivået svært lavt, og det er lite oppfølging fra arbeidsgiver. På arbeidsplassen er arbeidsspråket i liten grad norsk. Kursene var preget av til dels svært varierende oppmøte, ettersom arbeidsgiverne stadig kalte inn de ansatte på jobb. Det var også til dels stort sprik i nivået på deltakerne. Kursene var i all hovedsak innrettet mot generell norsk. Når det gjelder intervjudata ut over de fire casene, må vi først og fremst notere at det er all grunn til å anta skjevhet i utvalget av ledere som er intervjuet. Vi hadde gjennomgående store problemer med å rekruttere ledere, det er god grunn til å tro at de vi fant adresse til, også hadde størst grad av oversikt og styring over opplæringen. Det er også all mulig grunn til å tro at de mest engasjerte lederne, var mest tilbøyelige til å la seg overbevise om intervju. Når det gjelder typer av kurs, så oppfattet også lederne vi fikk kontakt med utenfor casene, at kursene de gjennomførte var ”norskkurs”. Ett unntak var en barnehage som hadde hatt kurs i muntlig kommunikasjon og konflikthåndtering.
Oppsummering og vurdering av datamaterialet En utfordring i analyse og beskrivelse av effektmåling basert på et så vidt spenn av metoder, er at det er krevende å orientere seg i styrker og svakheter i de ulike datatypene. Spørreundersøkelser (kvantitative undersøkelser) gir godt grunnlag for statistisk inferens og vurdering av utbredelse eller generaliserbarhet, men kan være mer sårbare for misforståelser, og gir mindre grad av mulighet til å gå bak svarene. Intervjudata gir godt grunnlag for dypere forståelse av sammenhenger som kan overføres, men er mer sårbare for tilfeldigheter i utvalget og analytiske feilgrep. Eksperimentdata, og kvasi-‐eksperimenter er sterke metoder for å fastslå kausalitet og måle grader av kausalitet, men er sårbare for bakenforliggende forklaringer eller svikt i design.
Når det gjelder vurdering av kvantitative data, vil det være naturlig å fokusere på svarrate, som er til dels svært god, og skjevheter i utvalg. Når det gjelder skjevheter i utvalget, er det grunn til å anta at de aller svakeste ikke har evnet å delta. Dette påvirker i og for seg ikke resultatet, men det betyr at det laveste nivået ikke er like godt dekket i materialet. En annen utfordring, ville kunne være misforståelser og feil. Vi har da også, slik det er normalt å gjøre i denne typen undersøkelser, fjernet besvarelser som åpenbart ikke henger sammen, og som ikke har indre konsistens. Hovedinntrykket er likevel at det er lagt vekt på å svare presist og fullstendig. Ser vi på bedriftsnivå og de ulike bransjene som er representert i utvalget vårt, tyder
26
dataene på at vi treffer godt. Erfaringsmessig fra gjennomføring av prosjekter med lignende målgruppe6, vet vi imidlertid at de høyt utdannede er overrepresentert, noe som også gjenspeiler seg i våre data, se også fotnote 3.
Språktestene er eksperimentdata. Eksperimenter kan i sin reneste form gjennomføres med bare en test, hvis man er sikker på at man har kontroll med alle variabler. I hvilken grad det er mulig, avhenger av hva man tester. Ved eksperimenter der mennesker er involvert, vil det normalt være en god del uforklart variasjon, derfor må det gjøres flere eksperiment, og det er avgjørende med kontrollgruppe. Hvor mange eksperiment, og hvor mange kontrollgrupper, er til dels en kostnadsvurdering, og dels en vurdering av materialet.
Slik vi her har vurdert det, var det til vårt formål tilstrekkelig med én kontrollgruppe. Dersom det er åpenbar forskjell på testgruppe og kontrollgruppe, kan vi med større sikkerhet fastslå at målingsmetoden i seg selv ikke påvirker resultatene, for eksempel ved tiden som går, eller ved at testene gir læring. Denne vurderingen av målingsmetoden vil i seg selv kunne overføres til andre kurs og målinger. Derimot vil det være naturlig å anta store forskjeller i nivå og utvikling på ulike kurs og ulike bransjer, derfor bør man ha flere case. Vår vurdering er at eksperimentene har fungert ganske godt, og viser, som vi skal se, til dels klare utslag.
Når det gjelder intervjudata, er det i utgangspunktet ikke noe å anføre ut over at det strategiske utvalget i casene vil ha påvirket utvalget. Det vil også kunne være noen grad av systematikk i hvem som falt fra og dermed ikke ble intervjuet to ganger. Videre noterte vi oss at flere av deltakerne hadde utfordringer med å plassere oss, og mange trodde at vi var koblet til kursene og noen form for kartlegging relatert kursene. Dette kan ha påvirket svarene, og vi var derfor spesielt på utkikk etter tegn på tilpasning til intervjuerens synspunkt, noe vi fant svært lite av.
Intervjuene med ledere må klart tolkes i lys av skjevheter i utvalget, men er likevel interessante som betraktninger fra ledere i virksomheter som formodentlig jobber tettere mot opplæringsprosjekter enn flertallet.
Alt i alt har hver enkelt metode sine svakheter, og et par skjevheter som er avgjørende å være oppmerksom på i den videre fortolkningen, men vi vurderer det totale bildet som et presist og godt utgangspunkt for å vurdere effekt og sammenhenger.
6 Blant annet for UDi, UNE, IMDi og NFF.
27
Kapittel 3 Effekt av opplæring i muntl ige ferdigheter. I dette kapittelet presenterer vi på overordnet nivå hvilke effekter vi finner at kursene har hatt. Vi viser først resultatene fra den kvantitative undersøkelsen. Disse dataene er basert på en pre – post undersøkelse hvor deltakerne selv oppgir sitt eget muntlige ferdighetsnivå før og etter kursene. Deretter ser vi på resultatene fra språktestene. Disse ble også gjennomført før og etter kursene og inkluderte en kontrollgruppe. Sistnevnte datakilde kan betraktes som et mer objektivt mål på muntlige ferdigheter. Vi trekker derfor ikke inn datamateriale fra intervjuer og observasjon her, disse blir gjenstand for analyser i kapittel 4.
1 av 3 mener de snakker bedre norsk etter kursene. Ett av målene på hvorvidt kursene har hatt en effekt i de kvantitative undersøkelsene, er om deltakerne vurderte sine muntlige norskferdigheter som bedre etter at de har gått på kurs, enn før de har gått på kurset. Respondentene ble her bedt om vurdere hvor godt eller dårlig de snakket norsk både før og etter kursene. Spørsmålet om språkferdighetene var ikke knyttet opp mot kursene, men generelt om muntlige språkferdigheter. Merk at tallene vi gjengir her er basert på en analyse hvor vi har fulgt de samme respondentene gjennom hele kurset.
Resultatene viser at en høyere andel av kursdeltakerne oppgir at de snakker god norsk etter kurset, enn hva de gjorde før kurset. Før kurset oppga 58 prosent av respondentene at de snakket ganske god/eller meget god norsk. Etter kursene ligger denne andelen på 69 prosent. Det er med andre ord en økning på 11 prosentpoeng av de som mener de snakker bedre norsk enn dårlig norsk etter kursene. Det er imidlertid verdt å nevne at i underkant av en tredjedel av respondentene fremdeles oppgir at de snakker ganske dårlig. Figur 2: Andelen som mener de snakker god eller dårlig norsk før og etter kurs (n=355).
7 %
4 %
35 %
27 %
52 %
63 %
6 %
6 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Før
Eoer
Hvor god eller dårlig er du ll å snakke norsk?
Meget dårlig Ganske dårlig Ganske god Meget god
28
Et annet viktig resultat å ta med seg videre i denne evalueringen er at den vanligste effekten av kursene er at deltakerne ikke har forbedret sine muntlige ferdigheter. 5 av 10 deltakerne oppgir at de er på samme språknivå nå, som de var før kurset. Vi finner også at 16 prosent av deltakerne oppgir at de har blitt dårligere til å snakke norsk i løpet av kursperioden7. Det vil si at 6 av 10 deltakere på kursene vurdere sin egne muntlige ferdigheter som på samme nivå, eller som dårligere, etter at de har tatt kursene.
Figur 3: Andelen som oppgir endringer i muntlige språkferdigheter fra før til etter kurset. (n=355)
Hverdagspraten har bl itt enklere for mange For å gi et mer detaljert bilde av hvilken type effekt kursene har hatt for deltakernes dagligliv, ble det i spørreundersøkelsen også undersøkt om deltakerne syntes det hadde blitt enklere å snakke norsk i ulike hverdags-‐ og jobbsituasjoner. Deltakerne ble her bedt om å vurdere hvor vanskelig det var å snakke norsk i «språksituasjoner» i hverdagslivet og på jobb, samt hvor ofte de snakket i disse situasjonene8. Også her ble respondentene stilt de samme spørsmålene før og etter kurset, og spørsmålet var ikke knyttet til kursene de hadde gjennomført.
I tråd med at vi ser en økning i andelen som mener de snakker bedre norsk i løpet av kursperioden, finner vi også at kursdeltakerne generelt mener det har blitt enklere å snakke norsk i de fleste situasjoner. Analysene viser at 70 prosent av deltakerne
7 Det kan fremstå underlig at en så vidt stor andel opplever å bli dårligere i norsk. Dette drøftes videre på side 38. Man vil kunne hevde at det å oppleve seg dårligere i språket kunne være en effekt, ettersom det kan peke i retning av mer kritisk selvevaluering. Vi vurderer dette like fullt til en svak effekt, og i det minste ikke en relevant måloppnåelse for kursene, i lys av Vox´ læringsmål eller overordnet mål for BKA. 8 Vi brukte her en skala som gikk fra ”Det er veldig vanskelig. Jeg gjør det aldri” til ”Det er lett. Jeg gjør det alltid”.
32 %
52 %
16 %
0 % 10 % 20 % 30 % 40 % 50 % 60 %
Bedre ll å snakke norsk
På samme nivå
Dårligere ll å snakke norsk
Andel endring i språkferdigheter før og eoer undersøkelse
29
mener det har blitt enklere å snakke norsk i en eller annen situasjon etter at de har gått på kursene. Det betyr at det er en høyere andel deltakere som oppgir at det det har blitt enklere å snakke norsk i ulike situasjoner, enn det er deltakere som oppgir at de generelt har blitt bedre til å snakke norsk. Disse funnene viser igjen at å måle effekter av denne typen tiltak har mer enn en side; det kan være forskjell på hvor enkelt det er å snakke, og hvilket nivå man opplever å være på. For eksempel kan dette peke i retning av at deltakerne i større grad ”prøver seg” i ulike situasjoner, uten at de nødvendigvis opplever seg som bedre i språket.
Økningen med tanke på ulike språksituasjoner fordeler seg temmelig jevnt. Vi ser imidlertid at den er høyere når det gjelder hvor lett deltakerne syns det er å gi beskjeder til andre på arbeidsplassen om hvordan oppgaver skal gjennomføres. I dagliglivet ser det ut til at kurset har hatt størst effekt på hvordan dagligpraten fungerer. Her er økningen størst med tanke på situasjoner som å snakke med naboer og handle i butikken, vi ser imidlertid også at rundt 10 prosent mener det har blitt enklere å gjøre avtaler på telefon (jf. figurer neste side).
30
Figur 4: Vurdering av å snakke norsk i ulike situasjoner i arbeidslivet (n=355). Figuren viser andelen som syns svarer at de ulike situasjonene er «Det er lett. Jeg gjør det alltid» før og etter kurs.
2 %
2 %
2 %
0 %
21 %
16 %
3 %
1 %
12 %
7 %
22 %
13 %
53 %
40 %
45 %
30 %
39 %
34 %
47 %
33 %
58 %
54 %
58 %
51 %
48 %
58 %
53 %
70 %
40 %
50 %
50 %
66 %
31 %
38 %
20 %
36 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Før
Eoer
Før
Eoer
Før
Eoer
Før
Eoer
Før
Eoer
Før
Eoer
Snakke m
ed kollega
i pausen
Gi beskjed
om
arbe
idsopp
gaver
Snakke m
ed
kund
er/pasienter Fo
rklare hvordan en
arbe
idsopp
gave
skal gjøre
Snakke i telefon
Snakke på et m
øte
Syns du det er leo eller vanskelig å snakke norsk i de ulike situasjonene i arbeidslivet? Figuren viser andelen som svarte "Det er leo. Jeg gjør det allld".
Det er veldig vanskelig. Jeg gjør det ikke. Det er vanskelig, men jeg gjør det av og ll
Det er leo. Jeg gjør det allld.
31
Figur 5: Vurdering av å snakke norsk i ulike situasjoner i hverdagslivet, figuren viser andelen som syns svarer at de ulike situasjonene er «Det er lett. Jeg gjør det alltid» før og etter kurs. (n=355).
Disse overordnede effektfunnene bør fortolkes i lys av at de er basert på kursdeltakernes subjektive vurdering av egne muntlige ferdigheter og hvordan disse korresponderer med krav og forventninger i gitte situasjoner, og ikke faktiske muntlige ferdigheter. For mange kan kanskje det å ha deltatt på kurset gitt dem bedre kunnskap om språket, som i tur gjør at de føler at de behersker det dårligere.
2 %
4 %
8 %
7 %
8 %
15 %
14 %
14 %
0 %
3 %
57 %
39 %
58 %
49 %
49 %
38 %
49 %
43 %
41 %
31 %
41 %
57 %
33 %
44 %
42 %
47 %
37 %
43 %
59 %
66 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Før
Eoer
Før
Eoer
Før
Eoer
Før
Eoer
Før
Eoer
Snakke m
ed
nabo
er
Gjøre en
avtale
på te
lefone
n Snakke m
ed
legen din
Klage når e
t prod
ukt e
ller e
n tje
neste ikke
fungerer
Når jeg er i
bulkken og
hand
ler
Syns du det er leo eller vanskelig å snakke norsk i de ulike situasjonene i hverdagslivet? Figuren viser andelen som svarte "Det er leo. Jeg gjør det allld".
Det er veldig vanskelig. Jeg gjør det ikke. Det er vanskelig, men jeg gjør det av og ll
Det er leo. Jeg gjør det allld.
32
Over de neste avsnittene beveger vi oss fra den subjektive, opplevde, effekten av kursene, til den faktiske effekten målt i muntlige ferdigheter, ved å gå gjennom funnene fra språktesten av et utvalg deltakere.
Språktestene viser varierende, men ti l dels svært god effekt Figuren under viser utviklingen hos hver enkelt deltaker i eksperimentgruppen. Nivåene i skalaen er drøftet i metodekapittelet, og skalaen i seg selv er utviklet med tanke på å sammenligne muntlige ferdigheter vi ønsket å måle før og etter kurs, og ikke fullverdig klassifisering av språkferdigheter. Figuren viser før-‐ og etter-‐resultat for hver enkelt deltaker. Figur 6: Skår på språktesten før og etter kurs. Case-‐nummer på utsiden av sirkelen referer til de fire casene, hver oppføring er en deltaker, og der linjene treffer hvert tall finner vi skåren på språktesten. Aksen som går fra sentrum av sirkelen og ut til ytterpunktet, referer til hvor høy skår respondentene oppnådde i språktesten. Desto nærmere linjen er sentrum av sirkelen, desto lavere skår oppnådde respondenten. Case 1: Transportvirksomhet. Case 2: Bygg og anlegg. Case 3: Kommunal pleietjeneste. Case 4: Restaurantbransje.
Figuren viser nivå ved måling før og etter kurs for gjennomførte tester. Hver akse gjenspeiler én deltaker, det er tre til fem deltakere per case. Case-‐nummere (Case 1, Case 2 og så videre) gjenspeiler de fire virksomhetene som er beskrevet i metodekapittelet. Vi ser for eksempel at case 1 og 3 hadde deltakerne med det høyeste nivået både før og etter kurs, mens case 4 og 2 hadde de svakeste deltakerne i lys av språktestene.
Vi fant en gjennomsnittlig økning på 14 poeng i poengskalaen, jf. metodekapittelet.
En forenklet oppsummering av resultatene vil her være at 41 prosent god utvikling (mer enn 10-‐20 poeng), 29 prosent hadde svært god utvikling (over 20 poeng) og 29 prosent hadde ingen nevneverdig utvikling (0-‐10 poeng).
0 10 20 30 40 50 60 70 80 Case 2
Case 2
Case 2
Case 2
Case 2
Case 1
Case 1
Case 1 Case 1 Case 3
Case 3
Case 3
Case 3
Case 3
Case 4
Case 4
Case 4
FØR
ETTER
33
Materialet er ikke tilstrekkelig omfattende til å kunne vurdere om det er sterk sammenheng mellom språknivå og effekt. Det kan likevel se ut til i dette utvalget, at effekten er sterkest hos dem som har et middels nivå fra før, det vil si rundt 25-‐45.
Vi ser nærmere på resultatet i lys av kontrollgruppen. Kontrollgruppen ble hentet fra virksomheten i case 1 (transport), og besto av deltakere som var klare for å gå på kurs, men ikke hadde begynt ennå og som vi vurderte som ellers svært like testgruppen.
I figur 7 har vi trukket ut kursdeltakerne i case 1 (transportvirksomhet) fra figur 6, slik at disse enklere kan sammenlignes med kontrollgruppen
Figur 7: Resultater språktest for testgruppe. Figuren leses på samme måte som figuren over.
I testgruppen, som da også er fra case 1, transportvirksomhet (figur 7) ser vi at de som er testet har god utvikling (16-‐21 poeng). Det bør her tilføyes at dette var ett av casene med relativt god oppfølging fra arbeidsgiver, både gjennom faglig innhold og oppfølging av deltakelse.
I kontrollgruppen, ellers like deltakere som ikke gikk på kurs, er bildet et annet:
Tre av deltakerne har ingen målbar endring, de to øvrige har til dels negativ utvikling9.
9 Kandidat 1: 24 poeng (før) – 4 poeng (etter); kandidat 2: 45 poeng + 4 poeng; kandidat 3: 51 poeng – 3 poeng; kandidat 4: 51 poeng – 19 poeng; kandidat 5 51 poeng – 9 poeng. Den sterke, negative utviklingen hos en av deltakerne (4) må stå uforklart, og regnes som tilfeldig.
0 10 20 30 40 50 60
1
2
3
4 Før
Eoer
34
Ut fra dette vurderer vi det som mindre sannsynlig at fremgang fra før-‐test til etter-‐test i testgruppene skyldes bakenforliggende årsaker eller testmetodikken i seg selv.
Vi går ikke inn på variasjoner mellom casene, ettersom dette ikke er tilstrekkelig materiale til å vurdere de ulike kursene og virksomhetene. Likevel er det enkelte antydninger om mulige sammenhenger som er verdt å vurdere, og som vi undersøker nærmere i kapittel 4.
Det overordnede bildet fra eksperimentet er at en majoritet har god eller svært god effekt av å delta i kursene. Det er likevel nesten en tredjedel som har ingen eller lite målbar effekt av å gå på kurs. Videre at effekten neppe kan tilskrives forhold ved metodikken eller tiden som har gått, i lys av resultatene i kontrollgruppen. I dette kapitlet har vi sett på to effektmål for kursene: et subjektivt mål (gjennom spørreundersøkelser) og et mer objektivt mål (språktest og kvasi-‐eksperiment). Resultatene fra både språktestene og den kvantitative undersøkelsen tyder på at det er en effekt, men effekten virker å være betraktelig sterkere i språktestene enn i den kvantitative undersøkelsen. I neste kapittel ser vi nærmere på hva som ligger bak disse effektene, ved å gå dypere i både de kvantitative og kvalitative dataene.
35
Kapittel 4 Effekter og sammenhenger I forrige kapittel oppsummerte vi effektmål på overordnet nivå. I dette kapitlet se på hvilke sammenhenger som ligger bak effektmålene. Fokuset er særlig hva som øker og redusere sannsynligheten for at deltakerne har effekt av kursene. Formålet er å gi mer kunnskap om hva som ligger bak resultatene, og hva som kan ha betydning for fremtidig innretting av tiltak. Analysene vi gjengir her er basert både på de kvalitative og kvantitative dataene samt eksperimentdata. Der vi rapporterer om konkrete funn, vil det klart fremgå hvilket datamateriale dette bygger på. Vi må likevel understreke at vi har jobbet tett med alle typer data, og integrert disse i analysen.
For å strukturere de ulike sammenhengene som eksisterer i datamaterialet, har vi valgt å dele inn kapitlet i indre og ytre faktorer. Med indre faktorer, mener vi faktorer som omhandler den enkelte deltaker, vedkommendes bakgrunn og drivere. Med ytre faktorer peker vi på det som ligger utenfor deltakeren, slik som organisering av kurs, oppfølging fra arbeidsgiver, med mer. Dette er åpenbart en forenkling av virkeligheten, men vi har valgt denne oppdelingen for struktur og oversiktlighet. Vi tenker her at dette skillet i noen grad gjenspeiler hvilket nivå eventuelle tiltak og justeringer kan ligge på.
Indre faktorer Vi har valgt å benytte betegnelsen indre faktorer på alt som fremstår som individuelt og knyttet til den enkelte deltaker, mer eller mindre uavhengig av kurs og arbeidsgiver. Vi skriver ”fremstår”, fordi faktorer som for eksempel motivasjon åpenbart ikke kan forståes isolert fra ytre påvirkning. Samtidig er det ikke helt unaturlig å se på dette som en indre driver.
Vi starter på individuelt nivå. Gjennom intervjuene med deltakere, og til dels også med ledere og lærere, fant vi noen historier, bakgrunner og drivere som gikk igjen eller var særlig påfallende. Basert på disse observasjonene, kobler vi dette til materialet fra spørreundersøkelsene. Det viktig å understreke at de alle deltakerne som ble intervjuet, og de fleste av lederne som ble intervjuet, oppfattet disse kursene som ”norskkurs”. Derfor er mange av funnene vi peker på knyttet til det å lære norsk. Motivasjon Motivasjon trekkes i mange sammenhenger fram som den avgjørende ressursen eller forklaringen på hvem som får utbytte og fremgang, og hvem som ikke får det. Derfor er det også naturlig å trekke dette spesielt fram, og i intervjuene var dette også noe vi søkte å identifisere.
Det er av åpenbare grunner problematisk å komme med påstander rundt subjektiv vurdering av motivasjon. Men vi kan trekke fram noen typer uttrykk for motivasjon, slik det fremkommer gjennom intervjuene:
36
”Vi bor jo i Norge” Utsagnet kommer i mange tilfeller som en litt lattermild og selvfølgelig avfeiing av spørsmål om hvorfor man ønsker å gå på kurs. Det er likevel noe tvetydig; det kan være en påpekning av det selvfølgelige i å lære seg språk, men kan også være uttrykk for at det ikke er gjennomtenkt nærmere. ”Barna mine snakker norsk” Utsagnet utdypes gjerne med at man ønsker god kontakt med barna, og at man ønsker å kunne følge opp barna på skolen og i barnehagen. Det var mange i gruppen som er flerspråklige hjemme, det vil si at det er to-‐tre språk som snakkes om hverandre i hjemmet. ”Det blir lettere å få venner” Mange av de vi intervjuet trakk fram hvor vanskelig det er å få norske venner, og at språket har vært et sosialt handikap. Åpenbart gjelder det særlig de som har reist uten familien, men også folk med familie trekker fram dette. ”Jeg trenger å forstå hva de norske sier på jobben” Påfallende få trakk frem dette, og i intervjuene gjaldt det utelukkende de som forholder seg til brukere eller kunder. For deltakerne fra caset med kommunale helsearbeidere, var dette viktig, men ellers ble det trukket lite fram. Noen mente også at arbeidsspråket var såpass enkelt, fordi det er de samme frasene hele tiden, at det egentlig ikke var noen sentral motivasjon. En tilstøtende motivasjon, som var mer utbredt, var ønsket om å kunne kommunisere enkelt i praktiske gjøremål, i banken, butikken, hos myndighetene. ”Da bruker jeg tiden til å lære norsk” Mange understreker at det er vanskelig å prioritere tiden til å lære seg språk. Mange jobber mye, og det er vanskelig å finne tiden. Når en går på kurs, får en hjelp til å prioritere, og bruker i det minste tiden man er på kurset til å øve.
Et element som ikke kom fram som motivasjon i intervjuene før kursene, men som ble beskrevet av flere som en effekt, var mot og vilje til å kaste seg inn i dialog. Dette handlet altså både om ferdigheter og nivå, men også det å få trening og tillit til seg selv i situasjoner med norsk språk. For ledernes og lærernes del, ble dette av flere trukket frem som en motivasjon rundt opplæringen, å ”bryte språkisen”. Det er også grunn til å vurdere om skillene mellom vurdering av egne ferdigheter, og vurdering av hvor krevende ulike språksituasjoner fremstår, kan handle om en bredere språkkompetanse; altså ikke bare objektive ferdigheter, men kompetansen til å aktivt benytte språket på det nivået man er.
En utfordring i analysen, er å skille mellom motivasjon, og mer kognitive synspunkt. Det er fullt mulig å mene at man bør snakke norsk i Norge, og at språk er en barriere for å få venner – uten at det er en motivasjon for en selv. I hvilken grad
37
motivasjonene fremsto som sterke, kan være vanskelig å vurdere. Men hvis vi skal se på hvilke motivasjoner som i størst grad ble understøttet av eksempler og utdyping, var dette særlig de som handlet om bedre muligheter til å delta sosialt i norsk samfunn; venner, skole og praktiske gjøremål.
I det følgende kobler vi disse observasjonene til kvantitative analyser. Vi må understreke at disse motivasjonstypene ikke direkte kobles til kvantitativ analyse, ettersom dette ikke lar seg gjøre, men må leses som funn i seg selv.
Motivasjon i kvantitativt materiale
I spørreundersøkelsene ble motivasjon målt ved spørsmål om hva som var den viktigste grunnen til at respondentene gikk på kurset. Som vi har sett tidligere, var det ønsket om å lære seg bedre norsk som var den vanligste begrunnelsen for å delta i kursene, hvor ønsket om å få seg flere venner var den minst vanlige motivasjonen (jf. figur 9). Merk at respondentene kunne svare at de var motiverte av flere forhold, og at det derfor er en overlapp mellom de ulike kategoriene. Figur 8: Frekvensfordeling motivasjon til å delta på kurset.
Gjør man mer dyptgående analyser av hvilken betydning deltakernes motivasjon har for kursenes effekt, ser vi at det er en viss sammenheng mellom deltakernes motivasjonen for å delta på kursene og utbyttet de selv mener de fikk av kursene. Deltakerne som var drevet av karriererelaterte aspekter som høyere lønn og bedre jobb, har høyest sannsynlighet for å oppgi at de har blitt bedre i norsk i løpet av kursperioden. Deltakerne som oppga å være motivert av å knytte et større sosialt nettverk, finner vi i mindre grad har like stor økning i selvrapporterte muntlige ferdigheter (jf. figur 4). Det ene utelukker imidlertid ikke det andre. Det betyr ikke nødvendigvis at ønske om å bygge et større sosialt nettverk ikke er en motivator for disse gruppene, men at dette ikke var hovedmotivasjonen til å ta kursene.
22 %
23 %
34 %
46 %
82 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 %
Det blir enklere for meg å få venner
Jeg vil ha høyere lønn
Jeg ønsker meg en bedre jobb
Det blir enklere for meg å gjøre jobben min
Jeg vil snakke bedre norsk
Hvorfor gikk du på kurset?
38
Figur 9: Andelen som oppgir økning i muntlige språklige ferdigheter etter deres motivasjon for å delta på kursene.
Som det har fremgått i kapittel 3, er det deltakere som oppgir dårligere i muntlige ferdigheter etter kurs. Vi har ikke gått inn på nærmere inn på forklaringer av dette, og dette vil være rent spekulativt. Imidlertid er det grunn til å påpeke at dette ikke er basert på deltakernes vurdering av ”om de har blitt bedre”, men deltakernes vurdering av mestring av eksempler på situasjoner. En mulig forklaring kan dermed for eksempel være at deltakerne gjennom kursene er blitt eksponert for språksituasjoner de ikke tidligere har vært eksponert for, og ikke opplevd å mestre dette, eller har blitt mer selvkritiske. Dette blir i noen grad gjetning, men det er i og for seg ikke et overraskende resultat, ettersom fortolkningen er plausibel nok. Det vil være grunn til å tro at de som opplever mestringen som dårligere enn før kurs, antagelig tilhører gruppen som opplever å være på samme nivå, men skiller seg fra dem ved å ha blitt mer selvkritiske gjennom kurset. Som tidligere drøftet kunne man da ment at dette er en effekt, men vi har valgt å ikke legge vekt på slik effekt, ettersom økt usikkerhet og selvkritikk som sluttprodukt neppe kan sies å være i tråd med målene for BKA eller opplæring i muntlige ferdigheter. En annet indre faktor, som er nært relatert til motivasjon, er deltakernes forventinger til kurset. I spørreundersøkelse ble deltakerne bedt om svare på hva de forventet av kurset. Resultatene her viste at den store majoriteten av deltakerne hadde forventinger til hva de skulle få ut av kurset, og at det ikke var store forskjeller mellom hvilke type forventninger de hadde. Å forvente at kurset skulle gjøre deltakerne bedre til å samarbeide med andre er nesten like vanlig som å forvente at kurset skulle gjøre deltakerne bedre til å snakke norsk. Det er også interessant å merke seg at i underkant av en femtedel av deltakerne ikke hadde noen klare forventninger til hva de skulle få ut av kursene overhodet.
40 %
37 %
36 %
34 %
32 %
21 %
40 %
57 %
41 %
51 %
52 %
57 %
20 %
7 %
23 %
15 %
15 %
21 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Jeg vil ha høyere lønn
Det blir enklere for meg å gjøre jobben min
Jeg ønsker meg en bedre jobb
Jeg vil snakke bedre norsk
Gjennomsnio utvalg
Det blir enklere for meg å få venner
Bedre Samme nivå Dårligere
39
Figur 10: Frekvensfordeling av forventninger blant deltakerne.
Vi finner ingen klare sammenhenger mellom hvilke typer forventinger deltakerne hadde til kurset, og effekten kursene hadde. Sammenligner vi imidlertid de som oppga å ha en forventning til kurset med de som ikke oppga noen forventninger til kurset, finner vi at de uten klare forventninger har en noe svakere effekt. I gruppen med forventinger er det en økning på 35 prosent i de som mener å snakker bedre norsk, mens den tilsvarende økningen blant de «forventningsløse» ligger på 23 prosent Utdanning og kompetanse En arbeidshypotese i prosjektet var at utdanning og faglig bakgrunn kan ha betydning for utbyttet av å gå på kurs. I intervjuene stilte vi derfor spørsmål som hadde som intensjon å avdekke deltakernes deltakelse i egen læringsprosess og utvikling av læringsstrategier.
Vi fant store forskjeller i kompetanse og iver etter å øve og lære. De fleste peker på utfordringer med å finne tid, og at det er tungt etter jobb. Det er likevel stor forskjell på om de finner tid mellom kurs til å øve, eller om de har planlagte eller intuitive måter å øve på norsk mellom kursene. Noen deltakere sier for eksempel først at de ikke øver mellom kursene, før det senere kommer fram at de har installert norsk tv, leser norske aviser med Google og ordbok, og trekker frem språkutfordringer som de har gått og grublet på:
”Likevel og uansett. Vanskelig. Norske bruker det helt likt for meg, men er det forskjell?” (Forskalingssnekker)
”Han sa kunde sa jeg var sin. Jeg trodde sen. Late (engelsk). Men det var sint. At jeg var sint. Noen uttale er vanskelig for meg å forstå”. (Transportarbeider)
80 %
75 %
73 %
80 %
14 %
17 %
20 %
16 %
6 %
8 %
7 %
4 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Tror du kurset gjør deg bedre ll å snakke norsk?
Tror du kurset gjør deg bedre ll å samarbeide med andre?
Tror du kurset gjør deg bedre ll å gjøre jobben din?
Tror du kurset gjør deg bedre ll å kommunisere med andre?
Ja Nei Vet ikke
40
”Jeg har fast bil, i dag jeg kjører andre bil. Andre eller annen bil. Jeg alltid blander”. (Transportarbeider)
Et annet element som kom opp, ikke så mye gjennom intervjuene som gjennom refleksjonsnotater i etterkant av språktester, var en mulig betydningen av botid. Testene dokumenterte ikke effekt av botid (resultatene ble sammenlignet med bakenforliggende variabler for deltakerne), men i følge testobservatørenes refleksjonsnotater, fremsto det gjennom testene slik at de med lang botid hadde større problemer i test 2 enn man kunne forventet. Testgjennomførerne pekte her på fastlåste språkstrukturer og –strategier som de ut fra sine observasjoner mente ble værende også etter kursene. Dette er ikke å regne som et funn i retning av såkalt ”fossilisering” ettersom refleksjonsnotatene står utenfor datamaterialet og ikke er dekkende for denne typen konklusjoner. Vi valgte likevel å også se nærmere på denne observasjonen i undersøkelser av data fra spørreundersøkelsene. Et annet fenomen som i noen grad fremsto som et mønster når vi ser på testresultatene, var at de svakeste og de sterkeste ikke hadde så godt utbytte som de som lå i mellomsjiktet, omtrent 25 til 45 poeng etter vår skala.
Ut fra dette analyserte vi datamaterialet i spørreundersøkelsene med henblikk på botid, opplevd egen kompetanse, tidligere gjennomførte kurs og generelt utdanningsnivå.
Betydningen av språkerfaring i kvantitative data Hvor vi i de kvalitative dataene ikke hadde mulighet til å si noe om hvilken betydning botid og erfaring har for effekten av kursene, har vi mulighet til å si noe om dette basert på resultatene fra spørreundersøkelsene.
Én form for mål på erfaring med muntlig norsk kan være hvor lenge deltakerne har bodd i Norge. I datamaterialet vårt har rundt 60 prosent av kursdeltakerne bodd i Norge i 5 år eller lengre, mens 30 prosent har bodd i Norge i 7 år eller lengre. Resultatene fra den kvantitative undersøkelsen er tydelige på at effekten av kursene er høyest for deltakerne som har bodd i Norge i 3-‐4 år, deretter følger respondentene med botid fra 5-‐7 år og de som har bodd i landet i 1 – 2 år. Videre ser vi de som har bodd i Norge i 7 år eller lengre, som er den største gruppen i datamaterialet, har hatt signifikant lavere effekt av kursene. Basert på disse resultatene virker det som det er mellomnivået av språklige ferdigheter som har best utbytte av kursene. De som har et språklig grunnlag, men enda ikke har satt seg fast i språklige rutiner eller allerede er på et høyt nivå, ser ut til ha størst effekt av kursene.
41
Figur 11: Andelen med forbedret selvrapporterte muntlige ferdigheter etter botid. (n=355)
Språkkompetanse og effekt av kursene At kursene ser ut til å ha størst effekt for deltakerne som befinner seg på et mellomnivå i norsk, finner vi også igjen når vi ser på sammenhengen mellom om deltakerne har tatt norskkurs tidligere og effekten de har av BKA-‐kursene. For det første finner vi at de som ikke har gått norskkurs tidligere har en noe mer gunstig effekt av kursene enn de som har gått på kurs (tabell 3). Dette funnet gjør seg gjeldende også når vi kontrollerer for at de som har bodd mer enn 7 år i Norge eller lengre er noe overrepresentert blant dem som ikke har fullført norskkurs tidligere.
Ser vi på deltakerne som har tatt kurs og fullført ulike norskprøver, ser vi en også tendens til at deltakerne som befinner seg på et mellomnivå får mest ut av kursene. Deltakerne som har fullført norskprøve 3 muntlig eller skriftlig, som riktignok skal nevnes er en mindre gruppe i datamaterialet, har en signifikant lavere effekt av kurset sammenlignet med de som har fullført nivå 2, eller de som ikke har tatt norskprøver (jf. figur 7).
Tabell 4: Sammenhengen mellom effekt av kurs i muntlige ferdigheter og norskkurs. (n=355)
Har du gått på norskkurs? Total
Ja Nei
Endringer i muntlige ferdigheter
Sammen nivå eller dårligere
70.9% 55.6% 68.8%
Blitt bedre 29.1% 44.4% 31.3%
Total 100.0% 100.0% 100.0%
21 %
54 %
25 %
12 %
0 %
10 %
20 %
30 %
40 %
50 %
60 %
1-‐2 år 3-‐4 år 5-‐7 år Mer enn 7 år
42
Figur 12: Andel som oppgir at de har forbedret sine muntlige ferdigheter etter hvilke norskprøver de har tatt. (n=275)
En plausibel hypotese i forbindelse med betydningen av språkkompetanse og læringskompetanse, er at deltakernes formelle utdanningsnivå er av betydning for utbytte de har av kursene. I det kvantitative datamaterialet finner vi imidlertid ingen signifikant sammenheng mellom deltakernes utdanningsnivå og effekt av kursene. En annen «usual suspect» i denne typen analyser er landbakgrunn. I det kvantitative datamaterialet finner vi imidlertid ingen signifikante sammenhenger mellom hvor deltakerne har sin landbakgrunn fra, og effekten av kursene.
Indre og ytre faktorer i eksperiment-‐ og intervjudata I eksperiment-‐ og intervjudataene fremsto det i liten grad som det var sterk sammenheng mellom motivasjoner, og bare i noen grad betydning av læringskompetanse og vilje. På den annen side, fremsto det som organisering og ikke minst praktisk og faglig oppfølging fra arbeidsgiver var av stor betydning. Vi gjorde noen enkle sammenstillinger for å se etter mønster, men til slike analyser er ikke denne typen kvalitative data om bakgrunn tilstrekkelig robuste til å konkludere.
Likevel er det på sitt vis intuitivt at arbeidsgivers oppfølging vil ha særlig stor betydning når vi måler ut fra arbeidsrelatert språk: Det vil være krevende for en lærer å identifisere presist hva deltakerne har bruk for på jobben, uten at arbeidsgiveren er involvert. I neste del ser vi nærmere på ytre rammer og i hvilken grad vi kan koble disse til effekt.
Ytre faktorer Vi retter nå oppmerksomheten mot faktorer utenfor den enkelte, og mer presist mot organisering av kursene, tilrettelegging og arbeidsgivers oppfølging. Vi har som nevnt skilt mellom indre faktorer og ytre faktorer eller rammer. Dels gir dette en god oppdeling av funnene og analysene, og ikke minst er det fenomen som man
35 % 33 %
20 %
10 %
36 %
0 %
5 %
10 %
15 %
20 %
25 %
30 %
35 %
40 %
Norskprøve 2, den muntlige
delen
Norskprøve 2, skriwlig
Norskprøve 3, den muntlig
delen
Norskprøve 3, skriwlig
Jeg har ikke tao norskprøver
Andel bedre i muntlige ferdigheter
43
eventuelt må nærme seg svært ulikt med tanke på tiltak. Forholdet mellom betydning av indre og ytre faktorer avgjørende for hva slags tiltak som vil kunne ha funksjon.
Som beskrevet i forrige avsnitt, fant vi ikke klare sammenhenger mellom motivasjoner og læringskompetanse og effekter, når vi ser på intervju-‐ og eksperimentdata. I de kvantitative dataene finner vi en effekt av motivasjon, men at eksempelvis botid i større grad forklarer forskjeller i effekten av kursene. Bedrifters og lederes tilrettelegging og deltakelse I de kvantitative dataen ble bedriftens tilrettelegging og oppfølging av kursene målt med spørsmål om kursene foregikk i arbeidstiden, om deltakerne gikk på kurs sammen med kolleger samt om deltakerne selv valgte å delta på kursene. I tillegg har vi koblet spørreundersøkelsesdataene til databasen til Vox. På den måten kan vi undersøke om deltakernes bedrift har søkt om midler til kurs selv (såkalt etterspørrer) eller vært med på kursene gjennom at en undervisningstilbyder har levert søknad for bedriften (tilbyder). Sistnevnte variabel kan betraktes som et indikativt mål på hvor engasjert bedriften har vært i forbindelse med fasilitering og planlegging av kursene.
Analysene viser at flesteparten av deltakerne gikk på kurset med kollega, men at det var mer uvanlig at kursene foregikk i arbeidstiden. Når det gjelder graden av frivillighet for deltakelse på kursene, oppgir 6 av 10 at de deltar på kurene frivillig. En tredjedel svarer imidlertid at grunnen til at de deltar er en kombinasjon av at overordnede ba dem delta og at de selv hadde lyst. Vi finner ingen klare sammenhenger mellom variablene som er beskrevet over og effekten kursene har i de kvantitative dataene. Det er en tendens til at deltakerne som går på kurs sammen med en kollega har en noe høyere effekt av kursene, enn de som går alene. Selv om denne forskjellen rent statistisk sett er signifikant, er forskjellene små. Den samme tendensen ser vi med tanke på om kursene foregår i arbeidstiden, eller helt eller delvis på fritiden. Her finner vi at deltakerne som gikk på kurs både i arbeidstid og utenfor arbeidstid ser ut til å gjøre det noe bedre med tanke på forbedringer i muntlige språkferdigheter. Gitt utvalgsstørrelsen, er imidlertid ikke forskjellene store nok til at det er grunnlag for å konkludere med at kursenes organisering mellom fritid og arbeidstid er av avgjørende betydning kursenes effekt.
Når det gjelder søkerrollen (tilbydere eller etterspørrere) til bedriften deltakerne jobber i finner vi at deltakerne som jobber i bedrifter som selv har søkt, har høyere sannsynlighet for å ha en gunstig effekt av kursene enn de øvrige deltakerne. Denne forskjellen er både signifikant, og gitt utvalgsstørrelsen en forskjell det gir substansiell mening å snakke om. Sammenhengen er imidlertid ikke entydig. Søkerbedriftene opplever at deltakerne har størst bedring. Samtidig er også deltakerne som jobber i disse bedriftene de som har høyest andel som oppgir at de har blitt dårligere i muntlige ferdigheter i løpet av kursperioden.
44
Denne forskjellen henger til en viss grad sammen med at bedriftene som selv søker om midler, har deltakere som i utgangspunktet befinner seg på et høyere nivå. Forskjellen mellom søkerbedrifter og bedrifter som tar kursene gjennom tilbydere, kan derimot ikke forklares av at gruppene i utgangspunktet hadde ulike språknivå.
Figur 13: Sammenhengen mellom å gå på kurs med kollega og effekten av kursene. (n=355)
Figur 14: Sammenhengen mellom hvordan kurset er organisert og effekten av kursene. (n=355)
32 %
29 %
52 %
57 %
16 %
14 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Ja
Nei
Går du på kurset sammen med kollega?
Bedre muntlige ferdigheter Samme nivå Dårligere muntlige ferdigheter
31 %
29 %
36 %
38 %
57 %
64 %
31 %
14 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Ja
Nei
Delvis, både arbeidsld og egen frild
Går du på kurset i arbeidslden?
Bedre muntlige ferdigheter Samme nivå Dårligere muntlige ferdigheter
45
Figur 15: Sammenhengen mellom valgfrihet og effekten av kursene. (n=355)
Figur 16: Sammenhengen mellom bedriftens rolle i planlegging av kurs og effekt av kursene (n=355).
Lederes motivasjon Vi har ikke data om lederes motivasjon eller tilnærming fra spørreundersøkelsen. Vi klarte også bare å rekruttere et begrenset antall ledere ut over ledere i case-‐virksomhetene. Lederne har stort sprik i tilnærmingen, men gjennomgående for dem vi intervjuet, var at de hadde noen grad av involvering i kursene.
En av lederne som tydelig investerte mye innsats i oppfølging og tilrettelegging for ansatte på kurs, forklarte det med at ”det er jo et menneskelig aspekt». Det handler på ett nivå om hvordan jeg ville ønske å bli tatt inn om jeg flyttet til et annet land”. Hun fortalte videre at andre ledere hun møtte, stort sett undret seg over at hun orket å bruke så mye krefter på det. På vårt spørsmål om hvorfor hun orket: ”De har familie og fritid, de har ikke tid. Jeg er blitt enke, jeg har mye tid til å sitte med det”.
Samtidig var nok dette et spesielt eksempel, og flere av lederne vi intervjuet mente tvert om at det ikke tok svært mye tid og ressurser i lys av hva de fikk igjen, men også at det hadde vært en del læring. Dette handlet særlig om at de selv måtte ta initiativ til oppfølging av kurslærerne, for å sikre at kursinnholdet var relevant.
33 %
33 %
29 %
54 %
67 %
52 %
13 %
19 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Jeg går på kurset fordi jeg har lyst
Jeg går på kurset fordi sjefen min sa jeg skulle
Begge deler
Må du gå på kurset, eller velger du selv?
Bedre muntlige ferdigheter Samme nivå Dårligere muntligere ferdigheter
36 %
29 %
44 %
60 %
19 %
11 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Bedriw søkt selv
Søkt gjennom llbyder
Bedriwens rolle i søknadsprosessen
Bedre muntlige ferdigheter Samme Dårligere muntlige ferdigheter
46
Videre at deltakelsen måtte følges opp tett, både ved å se til at de faktisk praktiserte språket på arbeidsplassen, men også at de møtte opp. Noen hadde sågar bøter for manglende oppmøte, som gikk til klubbkassa.
Som vi har sett i spørreundersøkelsen, er det variasjon i hvordan kursene er organisert. For flere av lederne vi snakket med var dette basert på både erfaring og refleksjon, og mange trakk fram betydningen av at det delvis gikk på egen fritid. Ved at kursene gikk helt eller delvis i deltakernes fritid, mente de deltakerne fikk en annen innstilling til kursene. Videre trakk enkelte fram betydningen av å tillate seg å følge opp og ”være arbeidsgiver” i kursene, selv om de går på fritiden.
Et gjentagende mønster i spørsmål om motivasjon, er likevel at det handler om produksjon, HMS og arbeidsmiljø, og at disse elementene settes i sammenheng. Med bedre norsk på arbeidsplassen, blir produksjonen bedre i seg selv, men også gjennom at HMS-‐regler blir forstått og fulgt, norske arbeidslivsregler blir forstått. Et annet moment som ble fremhevet, er at språkghettoer kan hardne arbeidsmiljøet og skape rom for mobbing – og misforståelser.
Når det gjelder innsalget overfor de ansatte, vektlegges også at det er en god anledning til å forstå mer og lære mer, og leve bedre i Norge, men at dette i liten grad er motivasjonen for å tilby kurs i utgangspunktet. Hvordan deltakerne rekrutteres varierer. I en av virksomhetene viste det seg at formennene ”nominerte” deltakere de mente hadde potensial og motivasjon. Noen sier at de bruker medarbeidersamtaler til rekruttering, ved å mer eller mindre gjøre det klart at det er en forventning om deltakelse. Det store bildet er likevel at de fleste sprer informasjon og lar frivillige melde seg på.
Samtlige ledere som ble intervjuet, presiserte og la vekt på at kursene ikke hadde vært mulig å gjennomføre uten BKA-‐finansiering. I lys av dette var de alt i alt svært tilfreds, og opplevde Vox sin rolle som nyttig og konstruktiv. Det eneste som ble trukket frem som problematisk fra noen av virksomhetene, er at sesongavhengige virksomheter må tilpasse gjennomføringen av kursene til sesongen. Det kunne derfor by på problemer å gjennomføre kursene slik Vox forutsatte.
Betydningen av bransje på kursenes effekt Selv om bransje ikke direkte kan knyttes til hverken indre eller ytre faktorer, er det en interessant variabel da den kan fortelle noe om hvor i arbeidslivet kursene treffer best. I figuren under (figur 14) viser vi andelene som har blitt bedre, dårligere eller er på samme nivå, etter hvilken bransje kursdeltakerne jobber i.
47
Figur 17: Sammenhengen mellom respondentens bransje og effekt av kursene (N=280). Figuren viser de 9 høyest representerte bransjene i datamaterialet. Merk at Industri og bygg og anleggsvirksomhet har kun 15 observasjoner, mens undervisning har 20 observasjoner.
Resultatene her viser at det er et visst sprik mellom de ulike bransjene med tanke på hvor stor effekt kursene har. Noe av disse forskjellene kan forklares av at det er ulikheter mellom bransjene med tanke på botid, men de relative forskjellene gjør seg fremdeles gjeldende når vi kontrollerer for ulik botid analysene. Den høyest representerte bransjen i datamaterialet, annen tjenesteyting, har som vi ser sterkest effekt av kursene hvor nesten 6 av 10 oppgir at de har blitt bedre til å snakke norsk i løpet av kursperioden. Dette er en bred bransje, som rommer flere ulike stillinger, så det er vanskelig å lese ut av disse tallene hva dette egentlig betyr. Lavest effekt finner vi i bygg og anlegg, hvor ingen har forbedret sine egenskaper. Det bør imidlertid nevnes her at dette er en liten gruppe i materialet med kun 15 observasjoner. Kurs-‐lærernes opplevelser Vi intervjuet fem lærere fra case-‐virksomhetene. Dels ble de spurt om tema rundt organiseringen av kursene og koblingen til arbeidsplassen, og om hva som har fungert og ikke fungert i kursene. Videre spurte vi om typer av deltakere som lykkes og ser ut til å få effekt. De trakk fram både generelle poeng og tema mer særegent for akkurat disse kursene. Disse resultatene har vi ikke vist til ellers i rapporten, ettersom det blir litt på siden av selve effektvurderingen, men kan kaste lys på resultater og mulige anbefalinger.
For det første trakk samtlige fram generell betydning av å ha tilstrekkelig små grupper, slik at man kan følge opp individuelt, og at gruppene ikke bør overstige 10-‐
0 %
17 %
20 %
25 %
25 %
29 %
35 %
50 %
57 %
100 %
67 %
80 %
50 %
50 %
71 %
41 %
25 %
43 %
0 %
17 %
0 %
25 %
25 %
0 %
24 %
25 %
0 %
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %
Bygge-‐ og anleggsvirksomhet
Industri
Varehandel, reparasjon av motorvogner
Forrestningsmessig tjenesteylng
Helse-‐ og sosialtjenester
Bergverksdriw og utvinning
Offentlig administrasjon med mer
Undervisning
Annen tjenesteylng
Bedre muntlige ferdigheter Samme nivå Dårligere muntlige ferdigheter
48
15 deltakere. Videre trakk de frem betydningen av å unngå store sprik i gruppen, både med tanke på nivå og motivasjon, og understreket betydningen av kartlegging.
Mange opplevde samarbeidet med arbeidsgiverne som godt, men litt varierende. Det kom tydelig fram at de opplevde at arbeidsgiverne måtte ”oppdage selv” betydningen av oppfølging, og at lærernes oppfordringer om å involvere seg ikke nødvendigvis hadde noen påvirkning.
Mer overraskende var det at det så ut til at det typiske er at lærerne jobber alene, som ekstrajobb, og har lite kollegakontakt. Noen av lærerne var helt uvitende om Vox sine retningslinjer for kursene, mens svært få kjente til eller benyttet Vox sitt materiell og informasjonsmøter. De som kjente til det, var svært fornøyd med det, og påpekte at informasjonen kanskje ville vært like relevant for arbeidsgiverne, slik at de kunne få litt mer forståelse for hva som skal til, og hva en faktisk kan forvente seg av å sende ansatte på kurs.
I dette kapittelet har vi gått mer i dybden av hvilke sammenhenger som finnes i datamaterialet. Målsettingen med kapittelet har vært å gi et bedre grunnlag for å vurdere hva effektene fra kapittel 3 faktisk innebærer, hvordan dette påvirker tanker om videre innretting, samt å adressere noen tema som det er naturlig eller utbredt å anta at har betydning for resultatene. I kapittel 5 oppsummerer vi funnene, og kobler dette til noen faktorer som ble trukket fram i intervjuer med kurslærerne, konkluderer og gir enkelte anbefalinger.
49
Kapittel 5 Oppsummering av funn og anbefal inger Fra spørreundersøkelsen ser vi at mange opplever å ha effekt av kursene, men at det likevel er en stor andel som har minimal nytte av å gå på kurs. Sammendrag av resultater finnes i sammendraget på side 2, i det følgende oppsummerer vi hva funnene innebærer.
Vi finner at en majoritet oppgir at de enten er på samme nivå, eller har blitt dårligere, i muntlige ferdigheter i løpet av kursperioden. Kvasi-‐eksperimentene vi gjennomførte med språktester, ga klare indikasjoner på at kurs har effekt på muntlige ferdigheter, men også at mange ikke får noen effekt. Andelen som har effekt kan ikke sammenlignes, fordi eksperimentene ble gjennomført på kurs med antatt gode forutsetninger, det vil si tilsynelatende velorganiserte kurs med oppfølging fra arbeidsgiver eller leder.
I kapittel 4 så vi nærmere på ulike årsaker til at det er slik at effekten varierer, med det for øye å gi et mest mulig presist bilde av hva som fungerer, og hva som eventuelt bør justeres for bedre effekt.
Når vi så på indre faktorer, var det ikke overraskende en viss effekt knyttet til motivasjon. Samtidig er det strengt tatt overraskende å se på sammenligningen mellom de som ikke har forventninger til kurs, og de som har forventninger: Blant de som har forventninger er det omtrent femti prosent flere som opplever bedring. Vi hadde forventet vesentlig større forskjell.
Vi ser videre at det er variasjon i hvilke typer motivasjon som øker sannsynligheten for opplevd effekt. De som ønsker bedre jobb har noe større sannsynlighet for å oppleve effekt. De som ønsker å gjøre en bedre jobb, har mindre sannsynlighet enn andre for å oppleve en negativ effekt av å gå på kurs.
Vi ser klare tendenser til at botid kan ha betydning for opplevd effekt. Vi ser at andelen som opplever effekt av kurs i muntlige ferdigheter, faller markant blant de med over 7 år botid. Videre kan det se ut til at kursdeltakere som ikke har hatt norskkurs tidligere, eller ikke lenger enn norskprøve 2 (skriftlig eller muntlig) har større sannsynlighet for å oppleve effekt av kursene. Av motivasjon og botid, er det den sistnevnte variabelen som statistisk sett er av størst betydning for hvor stor effekt kursene har.
Gjennom det kvalitative materialet kom det fram klare antydninger om at arbeidsgivers involvering har betydning for sannsynligheten for effekt. Dette er også en plausibel antakelse, så lenge vi snakker om effekt på muntlige ferdigheter i arbeidssammenheng. Lederne vi intervjuet trakk all fram dette som et viktig råd og en viktig læring; at det er nødvendig å ta eierskap til kursene, og følge opp innholdet.
Det er her også verdt å trekke fram case 3, pleietjeneste, som hadde opplæring i muntlige ferdigheter knyttet til annet, faglig kompetansehevingsprogram. I dette caset fant vi flere eksempler på deltakere som økte til tilnærmelsesvis nivå B2 eller høyere i løpet av perioden. Med andre ord kan en plausibel antakelse være at det store bildet muligens må justeres til at sannsynligheten for effekt er størst på et
50
mellomnivå, men at det er mulig å oppnå effekt på høyere nivå, hvis treningen i muntlige ferdigheter er knyttet til annen kompetanseheving.
Dette så vi også gjennom intervjuene; at deltakerne aktivt brukte kurs i muntlige ferdigheter til å repetere fagstoff, og dermed kom raskt inn i ny begrepsbruk på relativt høyt nivå.
Fra den kvantitative undersøkelsen har vi ikke gode nok mål på ledernes motivasjon og tilrettelegging til å si noe sikkert om hvilken betydning det har for kursenes effekt. Vi har imidlertid data på hvordan bedriften har vært involvert i søknadsprosessen, og hvordan kursene organiseres mellom fritid og arbeidstid. Resultatene tyder her på at disse faktorene har en moderat positiv effekt på hvor mye deltakerne får ut av kursene. Vi må likevel understreke at det ikke har vært mulig å fastslå hva som har mest effekt ut fra materialet som foreligger. Særlig relevant kunne det vært å få sterkere data om forholdet mellom indre og ytre faktorer, ettersom dette har særlig betydning for innretting av tiltak og justeringer av virkemidler. Hvordan styrke effekten av BKA-‐finansiering, muntlige ferdigheter I effektmålingene har vi gått direkte på effekt av opplæringen. Før vi går videre til å konkludere hvordan denne påvirkes, er det grunn til å minne om at den første effekten er at det faktisk gjennomføres kurs, som følge av finansieringen. Dette var også et sentralt poeng for alle både ledere og deltakere som ble intervjuet. Kursene ville ikke kunne gjennomføres uten finansiering, og deltakerne ville som hovedregel ikke hatt råd til å betale for kurs privat. I så måte kan det virke som det er klar effekt på det nivået at det medfører at flere få opplæring.
Vi skal likevel holde oss på nivået under dette, nemlig hvordan påvirke effekten av gjennomført opplæring. Her er det igjen grunn til å påpeke at målingene, og gruppen vi har nådd fram til i undersøkelsene, i hovedsak er orientert mot opplæring som opplæring i norske, muntlige ferdigheter, og til dels i form av ”norsk-‐kurs”. Dette er også det dominerende bildet, men det er grunn til å understreke at opplæring i andre former for muntlige ferdigheter (for eksempel fant vi kurs som best kan omtales som kommunikasjon og konflikthåndtering), i mindre grad har blitt fanget opp i effektmålingene.
Før vi går videre til anbefalinger, er det grunn til å understreke at ordningen med BKA-‐finansiert opplæring i muntlige ferdigheter er nytt, og både for kursoperatører, deltakerbedrifter og arbeidsgivere er det i en implementeringsfase. Dette ble også understreket gjennom ledernes responser, som tyder på at det finner sted læring på organisasjonsnivå. Ved en senere effektmåling, vil vi anbefale å i større grad hente inn survey-‐data som kan gi presis informasjon om lederes og arbeidsplassens involveringsformer, for eksempel om de fikk oppgaver underveis, om deltakerne ble fulgt opp i sin praksis på arbeidsplassen, med videre.
Vi vil også understreke at resultatene bør også sees i lys av omfanget av kursene, det vil si korte moduler på 30 eller 50 timer. Vi kan altså ikke utelukke at lengre kurs ville
51
gitt effekt for flere, resultatene kan ikke nødvendigvis overføres til mer omfattende opplæringsopplegg, men dette har vi ikke studert.
Det sentrale bildet er at det er et mindretall som ser ut til å ha effekt i spørreundersøkelsen, mens vi språkeksperimentet ser at effekten kan være til dels svært stor, men ikke for alle. Med andre ord kan vi anta at det er et potensial som ikke er fullt ut utnyttet, og vi peker på faktorer knyttet til motivasjon, kompetanse, organisering og lederoppfølging. I forlengelsen av dette kan de virke som Vox sine læringsressurser og tilbud ikke er svært godt kjent, og kan være underutnyttet. Dette er ressurser som kunne vært relevante virkemiddel særlig med tanke på organisering og lederoppfølging, men også inspirasjon for lærere for å treffe med arbeidsrelevant opplæring.
I en så tidlig fase, skal vi være forsiktig med å gi klare anbefalinger, men vi stiller noen spørsmål som er verdt å dvele ved. Vi er oppmerksom på at dette til dels kan oppfattes som tema som berører BKA som helhet, men vi har her vurdert tiltak og potensial med henblikk på økt sannsynlighet for effekt på muntlige ferdigheter. Vi kan ikke avvise muligheten for at disse spørsmålene eller anbefalingene kan ha overføringsverdi til andre deler av opplæring under BKA (lese, skrive, regne og data) ettersom temaene fremstår generiske i sin natur, men understreker at det følgende utelukkende baserer seg på denne rapportens datamateriale knyttet til opplæring i muntlige ferdigheter:
Er det hensiktsmessig at kursoperatører får søke på vegne av bedrifter? Vi fant ikke klare effekter, men en svak tendens til bedre effekt når bedriften søker selv. Samtidig ser vi fra kvalitativt materiale at det ikke er gitt at bedriften er passiv selv om kursoperatøren tar hånd om papirene, det er også eksempler på bedrifter som tar initiativ til opplæring, etter informasjon fra Vox, men deretter får kursoperatøren til å ta hånd om det administrative. Det administrative er ikke svært komplisert, og ved at bedriften selv står som søker, sikrer man at et minimum av refleksjon rundt mål og organisering har funnet sted. Videre har vi klare indikasjoner på at deltakerlogging er mindre presis når kursoperatørene registrerer inn. Samtidig ville en slik løsning teoretisk sett gjøre at noen bedrifter vegrer seg for å søke -‐ men kanskje bør de heller ikke søke om de ikke ønsker å ta stilling til spørsmålene i søknadspapirene? Bør det være sterkere krav om kobling av kurs til annen kompetanseheving? Vi kan ikke vise til funn i spørreundersøkelsene, men i språk-‐eksperimentet var det sterkere utslag i kurs som var integrert i annen kompetanseheving. Det er også intuitivt naturlig å tenke seg at dette vil kunne skape en arena for å bruke sentrale faguttrykk fra arbeidsplassen i kursene, og dette fremsto som god praksis. Samtidig
52
er det ikke alle bransjer behovet for kompetanseheving er like sentralt, og et absolutt krav ville kunne holde aktuelle deltakere utenfor. Bør Vox gi klarere råd om rekruttering? Det er i seg selv påfallende at en stor andel av deltakerne svarer at de ikke har noen som helst forventning til kursene de skal til å delta på, og det overraskende er at denne gruppen skiller seg så vidt lite fra resten som den faktisk gjør. Det innebærer at det er mye rekruttering som ikke er basert på potensial og motivasjon. På den annen side vil sterkere grad av lederstyring av deltakelsen, kunne forhindre grupper fra deltakelse. Kan Vox sin rolle, ressurser og tilbud kommuniseres tydeligere, også overfor bedrifter? Det virker som Vox sine ressurser ville kunne adressert mange av de sviktene som kan se ut til å påvirke sannsynligheten for effekt negativt, og det er overraskende hvor lite ressursene virker å være kjent. Det kan se ut til at Vox har en markedsføringsjobb å gjøre. Hvordan måle effekt i fremtiden? Vi mener å ha satt opp et egnet design for effektmålingen. Ut fra funnene vil vi likevel gi følgende råd til en senere effektmåling: -‐ Se til å ha kvantitative mål for virksomhetens og lederens involvering. -‐ Se til å ha tydelige skiller i mål på opplevd ferdighetsnivå, og opplevd
kompetanse i å bruke muntlige ferdigheter. -‐ Se til å ha tydelige målinger av typer kobling til annen kompetanseheving i
virksomheten. Videre er det sentralt å i en tidlig fase etablere hvilke typer effekt som bør måles. I brede, samfunnsorienterte program som de Vox forvalter, vil målsettingene være mangslungne og på ulike nivå. Ut over dette er konklusjonen av effektmålingen: Kursene har effekt, men ikke for majoriteten, og eksperimentene tyder på at det er et potensial for vesentlig sterkere effekt.