laborexperimente in der sozialwissenschaftlichen...
TRANSCRIPT
LaborexperimenteindersozialwissenschaftlichenForschung
JoëlBerger
Forschungsseminar“JustMy Luck!”InstitutfürSoziologie,UniversitätZürich
13.03.2017
2
? WasisteinExperiment?
Kausalität:Kontrafaktisches Modell
3
Kontrafaktisches Modell:Idee(Rubincausalmodel)• ZweiZuständesindnotwendigfüreinenkausalenSchluss• “Ifanhourago,Ihadtakentwoaspirinsinsteadofjustaglassofwater,myheadachewouldnowbegone.“• “BecauseanhouragoItooktwoaspirinsinsteadofjustaglassofwater,myheadacheisnowgone.“
(Rubin1974,vgl.Morton&Williams2010)
4
FundamentalesProblemderkausalenInferenz
• BeideZuständekönnennichtzugleichbeobachtetwerden.
5
MöglicheLösung1:AnnahmederEinheitshomogenität(unithomogeneity)
6
DasneueArbeitsmarktintegrations-Programm
7
Die klassische soziologische Herangehensweise
DasneueArbeitsmarktintegrations-Programm
8
MotivationZ
KursteilnahmeX
Beschäftigungs-chanceY
rxy >0
• Unithomogeneity verletzt• Zisteinconfounder (Störvariable)
MöglicheLösung2:AnnahmederZeitkonstanz(temporalstability)
9
Beispiel:TassestattBecher
10
Problem
• BeideAnnahmen(unithomogeneity,temporalstability)sindnichtbeweisbar.• Unithomogeneity:UnbeobachteteodergarunbekannteStörvariablen?• Temporalstability:Reifungsprozesse,parallelablaufendeProzesse,Reihenfolge-Effekte
(Diekmann2006)
11
Lösung:Randomisierung
12
• WerdendieVPaufeineTreatmentundeineKontrollgruppezufälligzugeteilt,sindimDurchschnittinbeidenGruppenfürYkausalrelevanteFaktorenZi gleichverteilt.
• DieGruppenunterscheidensichinderErwartungnichtbisaufdenPrüffaktorX(unithomogeneity aufGruppenebenegegeben).
Lösung:Randomisierung
13
• GeprüftwirddiekausaleRelevanzeinesPrüffaktorsXfürdasinteressierendeMerkmalYaufGruppenebene.
• GeprüftwirdsomitderdurchschnittlichekausaleEffekt(averagetreatment effect).
WasisteinExperiment
14
Definition
1. MindestenszweiGruppen(Versuchs- undKontrollgruppe)
2. RandomisierungderVPaufdiebeidenGruppen
3. ManipulationderunabhängigenVariablendurchForscher/in
(Diekmann2006)
Theorie,Experiment,Welt
15
Theorie Welt
Test1:Laborexperiment
Test2:Feldexperiment
Test3:Survey-Studie
Theorie,Experiment,Welt
16
Theorie Welt
Test1:Laborexperiment
Test2:Feldexperiment
Test3:Survey-Studie
KarlPopper
ExperimenteundModelle
• OftkanneinZielsystemnichtexperimentelluntersuchtwerden.• EinstrukturellähnlichesModell-Systemwirduntersucht.
17
Theorie Welt(Zielsytem)
Modellsystem
Vgl.Webster&Sell(2007),Willer&Walker(2007)
ExperimenteundModelle
18
Modell-System(model system) Ziel-System(target system)
(Porsolt etal.1977)
Gütekriterien vonModellen
19
• Face validity: Ausmass der Ähnlichkeit zwischen Modellsystem undZielsystem.
- Maus und Mensch haben zwei Augen.
• Structural validity: Ausmass der Ähnlichkeit der kausalen Strukturenim Modellsystem und im Zielsystem.
- Substanz X erhöht den Antrieb in Maus und Mensch.
• Relevant ist die strukturelle Validität, nicht die face validity.
(vgl. Frigg & Hartmann 2009, Suàrez 2010, Willer & Walker 2007)
GütekriterienvonExperimenten
20
� WeusetheterminternvaliditytorefertoinferencesaboutwhetherobservedcovariationbetweenAandBreflectsacausalrelationshipfromAtoB.(Shadish etal.2002:83)
� Externalvalidityconcernsinferencesabouttheextenttowhichacausalrelationshipholdsovervariationsinperson,settings,treatments,andoutcomes.(Shadish etal.2002:53)
� Constructvalidity:Ausmass,zudemdieimExperimentgewählteOperationalisierungeinestheoretischenBegriffsdemtheoretischenBegrifftatsächlichentsprich.
Theorie,Experiment,Welt
21
Theorie Welt(Zielsystem)
Test1:Laborexperiment(Modellsystem)
Test2:Feldexperiment(Zielsystem)
Test3:Survey-Studie
(Zielsystem)
ExterneV.
Konstruktv.
InterneV.
Beispiel
22
SchichtspezifischeBildungsungleichheit
23
• PersonenaushöherensozialenSchichtennehmenöftersanHochschulbildungteilalsPersonenaustieferenSchichten.• DerZusammenhangistnurteilweisedurchschichtspezifischePerformanz(primärerHerkunftseffekt)erklärbar.• Ebensorelevant:SchichtspezifischeBildungsentscheidungen(sekundärerHerkunftseffekt)• Problem:• KonfliktmitIdealderMeritokratie• VerlustvonTalent/Humankapital
RolledesBildungssystems
24
• ZusammenhangzwischensozialerHerkunftundTeilnahmeanHochschulbildungvariiertiminternationalenVergleich.• SekundärerHerkunftseffektvariiertstärkeralsderprimäre.• JespäterdieleistungsabhängigeZuteilungderSchüler/innenaufverschiedeneSchultypen(Tracking),destogeringeristderZusammenhangzwischensozialerSchichtundBildungserfolg.• Problem:Bekannte(undunbekannte)Störvariablen(confounders)
MöglicheErklärung:Unsicherheitsreduktion
25
• DerUnsicherheitsreduktions-Mechanismus (URM):
Wewouldexpecttransitionstakenatolderagestobelesssusceptibletosecondaryeffectsbecausetheamountofinformationavailabletostudentsabouttheirownabilitiesandtheirchancesofsuccessathigherlevelsofeducationmustonlyincreaseastheirexposuretoformaleducationincreases.(Jackson&Jonsson 2013:332)
TheoretischesModellI:StatuserhaltundFraming
26
• SozialeSchichtalsReferenzpunktbeiderBildungsentscheidung• Annahme:ZweisozialeSchichten,zweiTracks• HöhereSchicht
• HöhereBildungnotwendigfürStatuserhaltà Verlust-Frameà RisikosuchendesEntscheidungsverhalten
• TiefereSchicht• HöhereBildungnichtnotwendigfürStatuserhaltà Gewinn-Frameà RisikoaversesEntscheidungsverhalten
• BB = V BB undBH = V BHS, π P ; BHF, 1 − π[P]
(Page2005,Kahneman andTversky 1979)
TheoretischesModellII:TrackingundUnsicherheit
27
• JefrüherdasTracking,destowenigerInformationüberseinePerformanzhateinAkteurunddestolängerderZeitraum,überdeneineVorhersagegetroffenwerdenmuss.• BeieinerEntscheidungfürodergegenweiterführendeBildungbasiertdiesubjektiveErfolgswahrscheinlichkeitaufderbisherigenPerformanzà GrössereUnsicherheitbeifrühemTracking• PersonenineinemGewinn-Frame(tiefeSchicht)habeneinegrössereAbneigunggegenüberUnsicherheitalsPersoneneineinemVerlust-Frame.à PersonenimGewinn-FrameprofitierenüberproportionalvonspätemTracking• BH = V BHS, π P ; BHF, 1 − π[P] mitπ P = E P − λσ
ExperimentellesDesign:Task
28
• Performanz-Mass:ZahldergelöstenAnagramme
ExperimentellesDesign:Faktoren
29
N=165
ExperimentellesDesign:Instruktionen
30
Earlydecision/gain frame-Versuchsbedingung
ExperimentellesDesign:Instruktionen
31
Earlydecision/loss frame-Versuchsbedingung
ExperimentellesDesign:Instruktionen
32
Late decision/gain frame-Versuchsbedingung
ExperimentellesDesign:Instruktionen
33
Late decision/loss frame-Versuchsbedingung
34
Resultate:Haupteffekte
Probability ofcontinuing(AME)
Lossframe .18*
(ref.: gainframe) (.08)
Latedecision .03
(ref.:earlydecision) (.08)
N=137,*p<.05,seinparentheses
• Frame: StarkerHaupteffekt• VPimVerlust-Framemachenmiteinerum18ProzentpunktehöherenWahrscheinlichkeitweiter(p=.028).
• ZeitpunktderEntscheidung:keinEffekt• p=.752
35
Resultate:H1
• H1: VPmithoherPerformanzimGain-FramemachenmithöhererWahrscheinlichkeitbeispäteralsbeifrüherEntscheidungweiter.• VPmithoherPerformanzimGain-FramemachenbeispäterEntscheidungfastdoppeltsohäufigweiter(66.1%vs.36.4%,p=.087).
Overall Performance
low high
Earlydecision
Gainframe
0.249(0.074)
0.164(0.084)
0.364(0.126)
Lossframe
0.457(0.084)
0.315(0.097)
0.742(0.129)
Latedecision
Gainframe
0.302(0.078)
0.168(0.076)
0.661(0.161)
Lossframe
0.440(0.079)
0.452(0.098)
0.419(0.142)
36
Resultate:H2
• H2: VPmittieferPerformanzimGain-FramemachennichtmithöhererWahrscheinlichkeitbeispäteralsbeifrüherEnt-scheidungweiter.• KeinUnterschied:(16.8%vs.16.4%,p=.49)
Overall Performance
low high
Earlydecision
Gainframe
0.249(0.074)
0.164(0.084)
0.364(0.126)
Lossframe
0.457(0.084)
0.315(0.097)
0.742(0.129)
Latedecision
Gainframe
0.302(0.078)
0.168(0.076)
0.661(0.161)
Lossframe
0.440(0.079)
0.452(0.098)
0.419(0.142)
37
Resultate:H3
• H3: DieWahrscheinlichkeitweiterzumachenunterscheidetsichfürVPimLoss-FramenichtzwischendenEntscheidungs-zeitpunkten.• KeinUnterschiedimGesamtsampleoderbeiVPmittieferPerformanz.• Unerwartet:PersonenmithoherLeistungmachenmiteinergeringerenWahrscheinlichkeitweiterbeispäterEntscheidung.
Overall Performance
low high
Earlydecision
Gainframe
0.249(0.074)
0.164(0.084)
0.364(0.126)
Lossframe
0.457(0.084)
0.315(0.097)
0.742(0.129)
Latedecision
Gainframe
0.302(0.078)
0.168(0.076)
0.661(0.161)
Lossframe
0.440(0.079)
0.452(0.098)
0.419(0.142)
38
Resultate:H4
• H4: UnterdenVPmithoherLeistungistdieDifferenzzwischendenVPimLoss-FramedieweitermachenunddenVPimGain-FramedieweitermachengeringerbeispäteralsbeifrüherEntscheidung.• SignifikanterUnterschiedzwischenVPmithoherLeistungbeifrüher(p=.03),abernichtbeispäterEntscheidung(p=.14).
Overall Performance
low high
Earlydecision
Gainframe
0.249(0.074)
0.164(0.084)
0.364(0.126)
Lossframe
0.457(0.084)
0.315(0.097)
0.742(0.129)
Latedecision
Gainframe
0.302(0.078)
0.168(0.076)
0.661(0.161)
Lossframe
0.440(0.079)
0.452(0.098)
0.419(0.142)
39
Diskussion
40
� Hauptbefund: VP mit hoher Leistung im Gain-Frame machen eher weiterwenn Entscheidungen spät getroffen werden.
� Befund stützt die URM-Hypothese, und damit die Hypothese, dass spätesTracking schichtspezifische Ungleichheiten reduzieren könnte.
� Limitation:GeringeFallzahl,ersterTestunteridealisiertenLabor-bedingungen
� Weiterführende Forschung: Feld- und Surveystudien
Laborexperiment:Charakterisierung
41
• MaximaleKontrolle vonStörfaktoren:ExperimentaldesignalsComputer-programm;sozialeInteraktionanonymüberComputernetzwerk
• Verhaltensbeobachtung:IncentivesalsVerhaltensanreiz
• Randomisierung
• NäheTheorie– Design,kaumKontext
• VP:Studierende
Laborexperiment:Vor- undNachteile
+ -
KontrollierteUmgebung,relativhomogeneGruppederStudierendenalsVP,Randomisierungà HoheKontrollevonStörfaktoren(hoheinterneValidität)
Lebensfern,artifiziellà Gefahr vonArtefakten
TheoretischrelevanteSituationenkönnenfastbeliebighergestelltwerden.
Lebensfern,artifiziellà Gefahr vonArtefakten
HoheStandardisierungà Reproduzierbarkeit Lebensfern,artifiziellà Gefahr vonArtefakten
AnreizkompatiblesVerhalten Geld-Priming
Umfangreiche Datensammlungmöglich(bewussteEntscheidungen,Verhaltensspuren,Befragung)
Reaktivität
42
Bildungsentscheidungen
? Aufgabe
1. Modell- undZielsysteminderStudie?2. BeurteilenSie• Konstruktvalidität• Facevalidity• StrukturelleValidität• InterneValidität• ExterneValidität
3. WaskönntenweiterführendekomplementäreStudiensein?
43
TakeHome:Laborexperimente
44
• Randomisierungà Kausalität
• Verhalten
• Test von Theorien
• Experimente: oft stärker modellbasiert als andere Verfahren
• Gütekriterien: Konstruktvalidität, interne Validität, externe Validität
• I.d.R. Beginn eines Forschungsprogramms
• Schwächen: Artifiziell, Reaktivität
Übung:ExperimentaldesignzurHybris-Problematik
45
• Stärke von Laborexperimenten: Test von Theorien.
• Bedingung: Theorie ist exakt formuliert.- Ideal: Mathematisches Modell
- Alternative: Kausaldiagramm
Übung:ExperimentaldesignzurHybris-Problematik
46
ZuschreibungvonZufallalsLeistung
durchEgo
ZuschreibungvonZufallalsLeistung
durchAlterHybris
Verlustaversion
Übung:ExperimentaldesignzurHybris-Problematik
• ParallelenzumExperimentvonBerger&Combet (2017)
47
InstitutionelleRegelung
WahrnehmungderSituation
Entscheidungs-verhalten
SozialeFolgen
Übung:ExperimentaldesignzurHybris-Problematik
AufbaudesReferats• Kontext/Framing• Theorie(möglichstpräzise,eventuellKausaldiagramm)• ExperimentellesDesign• Versuchsaufbau:Leistungstask,Framing desExperiments,ParallelenModellsystem/Zielsystem• Versuchsbedingungen• UngefähreZahlderVersuchspersonen• HöhederAuszahlung(insgesamt30Fr.,10Fr.Showup fee).• Beachte:OnlineSupplementary DatazuBerger&Combet (2017)
48
Literatur I
49
• Berger J, Combet B (2017): Late School Tracking, Less Class Bias in Educational Decision-Making?The Uncertainty Reduction Mechanism and Its Experimental Testing. European SociologicalReview 33: 124–136.
• Diekmann A (2006): Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen. Reinbekbei Hamburg: Rowohlt.
• Frigg R, Hartmann S (2009): Models in Science. The Stanford Encyclopedia of Philosophy. Editedby Zalta, Ewdard N. http://plato.stanford.edu/archives/sum2009/entries/models-science/
• Morton R, Williams K (2010): Experimental Political Science and the Study of Causality: FromNature to the Lab. Cambridge, Cambridge University Press.
• Porsolt RD, Bertin A, Jalfre M (1977): Behavioral Despair in Mice: A Primary Screening Test forAntidepressants. Archives Internationales De Pharmacodynamie Et De Therapie 229: 327-336.
Literatur II
50
• Rubin DB (1974): Estimating Causal Effects of Treatments in Randomized and NonrandomizedStudies. Journal of Educational Psychology 66: 688-701.
• Shadish WR, Cook TD, Campbell D (2002): Experimental and Quasi-Experimental Designs forGeneralized Causal Inference. Boston: Houghton Mifflin.
• Suàrez M (2010): Scientific Representation. Philosophy Compass 5: 91-101.
• Webster M, Sell J (2007): Laboratory Experiments in the Social Sciences. Amsterdam, Elsevier.
• Willer D, Walker HA (2007): Building Experiments. Testing Social Theory. Stanford: StanfordUniversity Press.
Appendix
51