alternativer til rc ts januar 2014

ALTERNATIVER TIL

RCTs: MIKRO-ØKONOMETRISKE METODER Jan Høgelund

INDHOLD

• Introduktion • Skitsering af udvalgte metoder med eksempler, styrker og

svagheder • Regressionsanalyse • Matching • Regression discountinuity • Difference-in-difference

31-01-2014 MIKRO-ØKONOMETRISKE METODER 2

INTRODUKTION

• Alternativ til lodtrækningsforsøg:

• ”Kigge tilbage” vha. eksisterende data • Alternativt: være på forkant og indsamle masser af data • Udgangspunktet: Ikke muligt at styre, hvem der deltager

• Indsats- og kontrolgruppe typisk ikke ”ens” (=

”selektionsskævhed”) • Metoderne anvendes til korrektion

31-01-2014 MIKRO-ØKONOMETRISKE METODER 3

• At I får en intuitiv forståelse af metoderne for dermed at:

• Få bedre indsigt i, hvornår metoder kan anvendes som

alternativ

• Få bedre forudsætninger for at vurdere validiteten af eksisterende undersøgelser

INTRODUKTION – FORMÅL

31-01-2014 MIKRO-ØKONOMETRISKE METODER 4

• Krav til anvendelse:

• Detaljeret indsigt i økonometri og databehandling

• Konsekvens:

• Formålet er ikke, at I skal blive i stand til selv at gennemføre analyserne

INTRODUKTION – STORE KRAV TIL FAGLIGE FORUDSÆTNINGER

31-01-2014 MIKRO-ØKONOMETRISKE METODER 5

SELEKTIONSSKÆVHED – HVAD ER PROBLEMET?

• Systematiske forskelle mellem personer i hhv. indsats- og kontrolgruppe => • personer, der udtages til deltagelse, kan ikke sammenlignes

direkte med de personer, der ikke deltager, hvis

• den målte effekt er påvirket af, at personerne er forskellige

• fordi det dermed ikke er den rene effekt af indsatsen, der måles

31-01-2014 MIKRO-ØKONOMETRISKE METODER 6

SELEKTIONSSKÆVHED – HVORNÅR?

• Eksempler • Kommuner: Ishøj sammenlignet med Gentofte

• Unge på forskellige uddannelser, fx gymnasium vs. HTX

• Sygemeldte på kursus vs. sygemeldte, der ikke deltager i

kurset

31-01-2014 MIKRO-ØKONOMETRISKE METODER 7

• Opstår, når man ikke har et retvisende billede af den kontrafaktiske situation:

SELEKTIONSSKÆVHED – HVORNÅR?

31-01-2014 MIKRO-ØKONOMETRISKE METODER 8

Tid

Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Effekt af indsats = det vi vil måle MEN kontrafaktisk forløb ukendt

Indsats

• Hvis vi bruger kontrolgruppe som mål for kontrafaktisk situation, der afviger systematisk fra indsatsgruppe på forhold af betydning for udfald:

SELEKTIONSSKÆVHED – HVORNÅR?

31-01-2014 MIKRO-ØKONOMETRISKE METODER 9

Tid

Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Kontrolgruppe

Målte effekt af indsats

Indsats

SELEKTIONSSKÆVHED – HVORNÅR?

• I eksempel: En del af målt effekt kan tilskrives selektionsskævhed => Vi måler ikke den rene effekt

31-01-2014 MIKRO-ØKONOMETRISKE METODER 10

Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Kontrolgruppe Selektionsskævhed

Tid

Udfaldsmål

Faktisk effekt af indsats

Indsats

METODER TIL HÅNDTERING AF ”SYNLIGE”/MÅLBARE FORSKELLE

31-01-2014 MIKRO-ØKONOMETRISKE METODER 11

Indsats Udfald

Målbare forhold

• Sammenhæng med et eller flere forhold ?

• Eksempel: • Er der sammenhæng mellem andel piger i 9. klasse på

en given skole og andel elever, der gennemfører en ungdomsuddannelse?

REGRESSIONSANALYSE - FORMÅL

31-01-2014 MIKRO-ØKONOMETRISKE METODER 12

REGRESSIONSANALYSE - EKSEMPEL

31-01-2014 MIKRO-ØKONOMETRISKE METODER 13

Andel elever, der gennemfører en ungdomsuddannelse

Andel piger i 9. klasse

Skoler

REGRESSIONSANALYSE - EKSEMPEL

31-01-2014 MIKRO-ØKONOMETRISKE METODER 14

Andel elever, der gennemfører en ungdomsuddannelse

Andel piger i 9. klasse

Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.

Skoler

REGRESSIONSANALYSE - EKSEMPEL

31-01-2014 MIKRO-ØKONOMETRISKE METODER 15

Andel elever, der gennemfører en ungdomsuddannelse

Andel piger i 9. klasse

Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.

Skoler

Hældning udtrykker sammenhængen

REGRESSIONSANALYSE - EFFEKTMÅLING

• Effekt af vejledningsindsats som gives i udvalgte skoler

• Er der (positiv eller negativ) sammenhæng mellem at få vejledning og andel elever, der gennemfører en ungdomsuddannelse?

• Vi må tage hensyn til andelen af piger

31-01-2014 MIKRO-ØKONOMETRISKE METODER 16

REGRESSIONSANALYSE - EFFEKTMÅLING Eksempel: Effekt af forøget vejledningsindsats

31-01-2014 MIKRO-ØKONOMETRISKE METODER 17

Andel elever, der gennemfører en ungdomsuddannelse

Andel piger i 9. klasse

Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.

Skoler med indsats

Skoler uden indsats

Effekt af indsats

REGRESSIONSANALYSE – SVAGHED = ”OMVENDT KAUSALITET”

• Udfaldsmål kan have kausal effekt på indsats: • Eksempel:

• Hvis især skoler med dårligt karaktergennemsnit gennemfører indsats:

• Skoler med indsats har systematisk lavere karaktergennemsnit end skoler uden indsats

• Kan være årsag til negativ sammenhæng mellem indsats og karaktergennemsnit

31-01-2014 MIKRO-ØKONOMETRISKE METODER 18

Indsats Udfald

• Ikke-målte variabler påvirker både indsats og udfald:

• Eksempel: • Effekt af mindre klassestørrelse på elevpræstationer:

• Forældre med størst engagement kan være dem:

• der arbejder mest for at få små klasser • der mere end andre sikrer bedst mulig lektiehjælp

• Hvis forældreengagement påvirker både elevpræstationer og

klassestørrelse: • Sammenhæng kan skyldes forældreengagement

REGRESSIONSANALYSE – SVAGHED = ”UDELADTE VARIABLER”

31-01-2014 MIKRO-ØKONOMETRISKE METODER 19

Indsats Udfald

Målbare/ikke målbare forhold

REGRESSIONSANALYSE – SVAGHED

Statistisk sammenhæng mellem indsats og udfaldsmål

≠ Kausal effekt af indsats

31-01-2014 MIKRO-ØKONOMETRISKE METODER 20

MATCHING

• Central ide: • Personer i indsatsgruppe matches med en eller flere uden

for indsatsgruppe baseret på målbare forhold = forsøg på efterligning af RCT

• Kontrolgruppe = udvalgte sammenligningspersoner

• Central antagelse: • Når der betinges på en lang række målbare forhold =>

selektionsskævhed forsvinder => kausalt resultat opnås

31-01-2014 MIKRO-ØKONOMETRISKE METODER 21

Kontrol Indsatsgruppen Indsats Indsats Kontrol

Lars Skipper (2010): En mikroøkonometrisk evaluering af

den aktive beskæftigelsesindsats (AKF)

• Fokus: • Fuld population af aktiverede kontanthjælpsmodtagere med

problemer ud over ledighed (match 4 og 5) i vinteren 2005-2006

MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED

31-01-2014 MIKRO-ØKONOMETRISKE METODER 22

• Registerdata fra Arbejdsmarkedsstyrelsen, Danmarks Statistik og Sundhedsstyrelsen

• Oplysninger om: • Kontaktforløb mellem ledig og sagsbehandler • Sagsbehandlervurdering af fx søgeadfærd, risiko for

langtidsledighed, matchindplacering og årsag hertil • Arbejdsmarkedshistorie, indkomst, overførselsindkomster • Alder, køn, samlivsstatus, nationalitet, uddannelse • Diagnoser, hospitalsindlæggelse, køb af receptpligtig medicin

MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED

31-01-2014 MIKRO-ØKONOMETRISKE METODER 23

MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED

• Matching anvendes til at konstruere sammenligningsgruppe af kontanthjælpsmodtagere

• Forudsætninger: • Har alle oplysninger, der kan forventes at påvirke

udfaldsmålet • De to grupper er ikke så forskellige, at der ikke findes

overlap

31-01-2014 MIKRO-ØKONOMETRISKE METODER 24

• Indsatsgruppe: • Kontanthjælpsmodtagere, der deltager i aktivering mellem to

tremåneders samtaler omkring årsskiftet 2005/2006

• Kontrolgruppe: • Kontanthjælpsmodtagere, der i samme periode ikke deltager

i aktivering

MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED

31-01-2014 MIKRO-ØKONOMETRISKE METODER 25

• Sammenligning af indsats- og kontrolgruppe med matching:

• Der matches på lang række forhold knyttet til den enkelte

kontanthjælpsmodtager af betydning for udfald, bl.a.: • Demografiske forhold, arbejdsmarkedshistorik,

sagsbehandlervurdering, sundhedsoplysninger => ren effekt af aktiveringsindsats beregnes – eneste forskel mellem grupper: indsats/ikke indsats (forhåbentlig)

MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED

31-01-2014 MIKRO-ØKONOMETRISKE METODER 26

• Analyse: • Virker aktiveringen?

• Udfaldsmål:

• Tilknytning til arbejdsmarkedet (beskæftigelsesgrad og lønindkomst)

• Sum af offentlige overførsler

• Konklusion: Aktivering har ingen effekt, hverken på kort (3-6 mdr.) eller mellemlangt (op til tre år) sigt

MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED

31-01-2014 MIKRO-ØKONOMETRISKE METODER 27

MATCHING – STYRKER OG SVAGHEDER

• Styrke:

• Mere fleksibel metode end regressionsanalyse: • Sammenhæng ikke nødvendigvis lineær • Heterogene effekter kan belyses bedre

• Potentielle svagheder: • Hvis ikke-målbare forhold af betydning => misvisende

resultater • Hvis manglende overlap => behov for stort datamateriale for

at finde éns grupper

31-01-2014 MIKRO-ØKONOMETRISKE METODER 28

METODER TIL HÅNDTERING AF ”USYNLIGE”/IKKE-MÅLBARE FORSKELLE

31-01-2014 MIKRO-ØKONOMETRISKE METODER 29

Indsats Udfald

Målbare forhold

Ikke-målbare forhold

REGRESSION DISCOUNTINUITY - ANVENDELSE

• Når deltagelse/ikke-deltagelse i indsats er bestemt af, om person ligger over/under grænseværdi for variabel, der er afgørende for modtagelse af indsats • Eksempel: Ansatte på virksomhed, der har arbejdsrelateret

stress og ligger på mindst 80 på en skala fra 1-100

31-01-2014 MIKRO-ØKONOMETRISKE METODER 30

REGRESSION DISCOUNTINUITY – IDE OG INTUITION

• Ide: • Sammenligning af personer, der ligger hhv. lige over og lige

under grænseværdi = indsats- og kontrolgruppe

• Intuition: • Personer i de to grupper er ikke forskellige, bortset fra, om

de får en indsats. • Argument: De er i høj grad ens mht. den variabel, der afgør

om de får indsats

31-01-2014 MIKRO-ØKONOMETRISKE METODER 31

REGRESSION DISCOUNTINUITY

• Kausal effekt af indsats = spring i udfald ved grænseværdi • Forudsætning = Ikke andre spring omkring grænseværdi,

der kan påvirke udfaldsmål

• Tænkt eksempel: • Indsatsgruppe består af elever, der har mindre end 50%

rigtige i en given test (test1). • Hvordan påvirker en given indsats disse elevers andel

rigtige i ny test (test2)?

31-01-2014 MIKRO-ØKONOMETRISKE METODER 32

REGRESSION DISCOUNTINUITY – EKSEMPEL

31-01-2014 MIKRO-ØKONOMETRISKE METODER 33

Indsatskriterie: Andel rigtige i test1

Udf

ald:

And

el r

igtig

e i t

est2

REGRESSION DISCOUNTINUITY – EKSEMPEL

31-01-2014 MIKRO-ØKONOMETRISKE METODER 34

Udf

ald:

And

el r

igtig

e i t

est2

Indsatskriterie: Andel rigtige i test1

REGRESSION DISCOUNTINUITY – EKSEMPEL

Eksempel fra forskerverdenen (Leuven m.fl., 2007) • Indsats = ekstra økonomiske midler til hollandske skoler med

mange børn, der • var etniske minoriteter eller • havde forældre med et lavt uddannelsesniveau

• Indsatskriterie = Mindst 70% af eleverne opfyldte krav

• Formål: at forbedre elevers præstationer på udvalgte skoler

31-01-2014 MIKRO-ØKONOMETRISKE METODER 35

REGRESSION DISCOUNTINUITY – EKSEMPEL

Eksempel (Leuven m.fl., 2007) • Fremgangsmåde:

• Sammenligne skoler, der fik ekstra midler med skoler, der ikke fik disse midler

• Sammenligne før og efter introduktion af program (plus/minus 5% og 10% omkring de 70%)

• Resultat: ingen klar effekt – svag tendens til negativ effekt

31-01-2014 MIKRO-ØKONOMETRISKE METODER 36

REGRESSION DISCOUNTINUITY – POTENTIELLE SVAGHEDER

• Vanskeligheder, hvis sammenhæng mellem indsatskriterie og udfaldsmål er ikke-lineær

• Der er ingen værdier for indsatskriterie, hvor der både er personer i indsats- og kontrolgruppe

• Kun effekt omkring grænseværdien

31-01-2014 MIKRO-ØKONOMETRISKE METODER 37

• Paneldatametode: Bygger på data, hvor hver person (eller aldersgruppe eller skole eller… etc.) er observeret mindst to gange over tid

• Datamateriale: • To grupper, hvoraf kun den ene modtager en indsats

mellem de to observationstidspunkter

DIFFERENCE-IN-DIFFERENCES

31-01-2014 MIKRO-ØKONOMETRISKE METODER 38

Tid

Tid

Tid

DIFFERENCE-IN-DIFFERENCES - IDÉ

• De to grupper kan være forskellige på målbare forhold

• De gruppespecifikke gennemsnit for udfaldsmål kan være forskellige i fravær af indsats

• Men: Forskel kan ”differentieres ud” • Trække ændring for kontrolgruppe fra ændring for

indsatsgruppe • Tilbageværende forskel = kausal effekt

31-01-2014 MIKRO-ØKONOMETRISKE METODER 39

DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: Bille, Larsen, Høgelund og Holt (2013)

31-01-2014 MIKRO-ØKONOMETRISKE METODER 40

C = (Indsatsgruppeefter-indsatsgruppefør) – (kontrolgruppeefter-kontrolgruppefør)

Effekten af

indsatsen

DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: Bille, Larsen, Høgelund og Holt (2013)

31-01-2014 MIKRO-ØKONOMETRISKE METODER 41

• Kontrol kommuner som ligner indsatskommuner mht. rammevilkår og geografisk placering

• Brug af kontrolvariabler som køn, alder, uddannelse, medicinforbrug, indlæggelser, kontakter til læge mv.

• Tager højde for konjunkturer: de påvirker begge grupper=> påvirker ikke det endelige resultat => Resultater af DiD kan fortolkes som egentlige årsagssammenhænge

DIFFERENCE-IN-DIFFERENCES – ANTAGELSER

• Gruppespecifikke udviklingstræk for udfaldsmål ville have været være ens (= parallelle) i fravær af indsats, dvs. forskel skal være konstant over tid

• ”Før-måling” må ikke være påvirket af fremtidig indsats (annonceringseffekt)

• Der må ikke – samtidig med indsatsen – være andre ændringer af betydning for adfærd, der påvirker de to grupper forskelligt

31-01-2014 MIKRO-ØKONOMETRISKE METODER 42

DIFFERENCE-IN-DIFFERENCES – STYRKER OG SVAGHED

• Styrker: • anvender kontrolgruppe • tager højde for gruppespecifikke uobserverbare forhold, der

er konstante over tid…

• Potentiel svaghed: • …men tager ikke højde for uobserverbare forhold, der

varierer over tid

31-01-2014 MIKRO-ØKONOMETRISKE METODER 43

OPSAMLING

• ÉN METODE, der kan løse alle udfordringer, FINDES IKKE

• Regressionsanalyse og matching: • Fortolkes med forsigtighed, især overveje ikke-målbare

forholds betydning

• Brug af regression discountinuity: • ”Naturlige” eksperimenter – kræver diskontinuitet i

indsatsvariabel

• Differences-in-differences: • Kan tage højde for individ- eller gruppespecifikke ikke-

målbare forhold, der er konstante over tid

31-01-2014 MIKRO-ØKONOMETRISKE METODER 44

31-01-2014 MIKRO-ØKONOMETRISKE METODER 45

Hvad er forudsætningen for at lave en effektmåling •Veldefineret indsats

•Veldefineret (stor) målgruppe

•Veldefineret (stor) kontrolgruppe

•Målbare effekter

•Data for BÅDE indsatsgruppe og kontrolgruppe

•Effektmål

•Oplysninger til brug for korrektion af forskelle =>

MANGE data skal indsamles for både indsatsgruppe og

kontrolgruppe

SPØRGSMÅL OG

KOMMENTARER?!

MIKRO-ØKONOMETRISKE METODER 46

31-01-2014