oct11 college 5

Methoden en Technieken

Ning Ding

Oct 11 2011

2

Overview Review of the last course

Steekproeven Correlational onderzoek Causaal-vergelijkend onderzoek Survey onderzoek

Today’s course Kwalitatief onderzoek Observeren en interviews Inhoudanalyse

3

Review of the 1st course Chapter 1-4

The nature of research The research problem Variables and hypotheses Ethics and research

Chapter 7 Instrumentation DataMeans of Classifying Data-Collection Instruments

Chapter 8 Validity and Reliability Validity Reliability

Critical researcherCritical researcher

realityreality

communicationcommunication

valuesvalues

Unstated assumptionsUnstated assumptions

Societal consequencesSocietal consequences

Students taught first aid by programmed instruction will achieve at a higher level than those taught first aid by the tradition method.

Independent variable? Dependent variable? Directional or nondirectional?

Students taught first aid by programmed instruction will achieve at a higher level than those taught first aid by the tradition method.

Independent variable? Dependent variable? Directional or nondirectional?

students’ achievement---method---directional

4

Review of the 1st course

This research problem, "What is the vocabulary level of the history books, both text and reference sources, used in the secondary schools of the United States?" is:

A) a good research problem for a beginner to use to get started in research

B) far too broad

C) much too narrow

D) an area of concern for which no available research method is appropriate

5

Review

A manipulated variable is one that:

A) uses equipment

B) requires subjects to arrange materials

C) is arranged by the researcher

D) makes a study hard to interpret

6

Review Chapter 1-4

The nature of research The research problem Variables and hypotheses Ethics and research

Chapter 7 Instrumentation

Chapter 8 Validity and Reliability Validity = truthfulness Reliability = consistency

Chapter 9 Internal Validity

= an alternative explanation?

7

Review

Instrument decay refers to the possibility that:

A) test content becomes "dated" during the course of a study

B) data collectors are lost during a study

C) records of data are lost during a study

D) the instrument is systematically altered during the course of a study

8

Types of Research

Experimental research

Correlational research

Causal-comparative research

Survey

Ethnographic research

Historical research

Action research

Compare; Single over time

Relationship

Cause, consequence

Characteristics

Everyday experience

Past

Active involvement

Review of the 3rd course

9

Chapter 13 Experimental Research Is uniek (manipulate + relationship) Twee variabelen





Survey


Historical research

Action research


Relationship

Cause, consequence

Characteristics

Everyday experience

Past

Active involvement

Chapter 14 Single-Subject Research Limited generalizability

10

Chapter 6 Sampling

Het definiëren van populatie

Het definiëren van steekproef

doel-populatie toegankelijke populatie

Het definiëren van census

Twee typen steekproeftrekkingrandom (a-select) of non-random (select)

3 standaard methoden: Simple Random Sampling – de enkelvoudige a-selecte steekproef Stratified Random Sampling – de gestratificeerde a-selecte

steekproef Cluster Sampling – cluster-steekproeven

11

Chapter 6 Sampling Stratified Random Sampling

10000 studenten in RuG

30% freshmen 30% freshmen

30% sophomores 30% sophomores

20% junior 20% junior

20% senior 20% senior

Sample: 200 studenten

60 from 3000 freshmen 60 from 3000 freshmen

60 from 3000 sophomores 60 from 3000 sophomores

40 from 2000 junior 40 from 2000 junior

40 from 2000 senior 40 from 2000 senior

12

Chapter 6 Sampling Cluster Random Sampling

3000 students

100 classes (100*30)

Sample: 120 students

4 classes 4 classes

4* 30 students4* 30 students

13

Chapter 6 Sampling

3000 students

100 classes

Sample: 100 students

25 classes25 classes

4 students per class4 students per class

4* 25 students4* 25 students

Two-Stage Random Sampling

14

Chapter 6 Sampling 4 random sampling methoden

15

Chapter 6 Sampling Niet a-selecte (dus: selecte) steekproeven

16

Chapter 6 Sampling Externe validiteit: generaliseren van steekproef naar populatie

Representativeness?Representativeness?

Internal validity External validity

Do the conclusions we draw about a demonstrated experimental relationship truly imply cause?

Does an observed causal relationship generalize to the pupulation?

17

Types of Research




Survey


Historical research

Action research


Relationship

Cause, consequence

Characteristics

Everyday experience

Past

Active involvement


18

Chapter 15 Correlational Research De aard van correlationeel onderzoek

Ook bekend als “associational research” of observationeel onderzoek

Onderzoek naar relaties tussen twee variabelen zonder manipulatie

Schatten van de correlatie met correlatie coefficient, r

19

Doel van correlationeel onderzoek

Verklaren van gedrag en/of het voorspellen van mogelijke uitkomsten

De variabele waarmee de voorspelling wordt gedaan heet predictor-variabele

De voorspelde variabele heet de criteriumvariabele

Hulpmiddel: scatterplot (punten-diagram) en/of regressielijn

Chapter 15 Correlational Research

Verklaring + VoorspellingVerklaring + Voorspelling

Learning performance= a + b IQLearning performance= a + b IQ

20

Drie extreme situaties reken- en taalvaardigheid

X Y X Y X Y

10 10 10 2 4 2

8 8 8 4 10 8

6 6 6 6 6 6

4 4 4 8 2 10

2 2 2 10 8 4

(A) (B) (C) r = +1.00 r = -1.00 r = 0


2 4 6 8 10

10

8

6

4

2

21


X Y X Y X Y

10 10 10 2 4 2

8 8 8 4 10 8

6 6 6 6 6 6

4 4 4 8 2 10

2 2 2 10 8 4

(A) (B) (C) r = +1.00 r = -1.00 r = 0


2 4 6 8 10

10

8

6

4

2

22


X Y X Y X Y

10 10 10 2 4 2

8 8 8 4 10 8

6 6 6 6 6 6

4 4 4 8 2 10

2 2 2 10 8 4

(A) (B) (C) r = +1.00 r = -1.00 r = 0


2 4 6 8 10

10

8

6

4

2

23

Chapter 16 Causal-Comparative ResearchCausal-comparative Research Wanneer is causal-comparative onderzoek nodig?

Ex post factoEx post facto EthicalEthical

24

Chapter 17 Survey Corss-sectioneel

Longitudinaal Drie typen:

Panel: Trend: Cohort:

25

Chapter 17 Survey Twee typen surveys

Corss-sectioneel Longitudinaal Drie typen:

1. Panel:

2. Cohert

3. Trend:

2004 20062005 2007

PhD promovendi’s attitude towards RuGPhD promovendi’s attitude towards RuG

Professors’ attitude towards RuGProfessors’ attitude towards RuG

International students’ attitude towards RuGInternational students’ attitude towards RuG

1

2

3

26

Questionnaires based on meanings derived by numberslarge samples, highly specific and precise datausing variables aims at objectivity

Chapter 18 The Nature of Qualitative Research

27

Qualitative ResearchQualitative ResearchInterviews, observation based on meanings expressed through words small samples

data are rich and subjective using themes, generalizations acknowledges subjectivity


28


29


Kenmerken van kwalitatief onderzoek

Kwaliteit vs. kwantiteit

Kwaliteit van relaties, activiteiten, situaties of materialen

"All research ultimately has a qualitative grounding"

"All research ultimately has a qualitative grounding"

"There's no such thing as qualitative data.

Everything is either 1 or 0"

"There's no such thing as qualitative data.

Everything is either 1 or 0"

30


Kenmerken van kwalitatief onderzoek

Voorkeur voor holistische beschrijving

Quantitative

Qualitative

How many?

How strong is the relationship?

What do people do?

Why do they do?

31


Kwalitatief vs Kwantitatief onderzoek

Kwantitatief onderzoek Kwalitatief onderzoekHypothesen vooraf Hypothesen ontwikkelen zichPrecieze definities Contextspecifieke definitiesNumerieke scores Verhalen - “dike beschrijving”Betrouwbaarheid van instrumenten Aanname van betrouwbare

gevolgtrekkingenValiditeit: statistisch bepaald Validiteit: triangulatieA-selecte steekproef Gerichte steekproefBias-controle door design Bias-controle door onderzoekerOpdelen Geheel behoudenControle door manipulatie Niet manipuleren

32


Filosofische Aannames

Kwantitatief KwalitatiefPositivisme PostmodernismeKenbare objectieve werkelijkheid Werkelijkheid is een mentale

constructieOnderzoeker kan buiten de werkelijkheid staan

Onderzoeker kan niet los staan van het object

Feiten en waarden staan los van elkaar

Feiten en waarden zijn onlosmakelijk verbonden

Op zoek naar wetmatigheden Op zoek naar begrip - “Verstehen”

33


Vijf kenmerkende eigenschappen

De natuurlijke omgeving is een directe bron en essentieel element

Gegevensverzameling in de vorm van woorden en beelden

Centraal staat hoe dingen gebeuren - proces en product

Inductief vormen van een beeld terwijl de gegevens worden verzameld (deductief, hypothesetoetsend)

Speciale belangstelling voor de gedachten (wereld) van en zingeving door het individu / de individuen.

34


Stappen in kwalitatief onderzoek

Identificatie van het te bestuderen fenomeen “foreshadowed problems”

Identificatie van de te bestuderen onderzoekseenheden – “purposive sample”

Gaandeweg ontwikkelen van hypothesen

(Continue) gegevensverzameling

Gegevensanalyse

Gaandeweg interpreteren en concluderen

35


Qualitative ResearchQualitative Research

Biografische studieBiografische studie

Fenomenologische studieFenomenologische studie

Grounded TheoryGrounded Theory Case StudyCase Study

Ethnografisch onderzoekEthnografisch onderzoek

Historisch onderzoek Historisch onderzoek

Intrinsic cases

Instrumental cases

Multiple case

Gaandeweg een theorie ontwikkelen

Autobiografie, levensgeschiedenis, oral history

betekenisverlening

36

Chapter 18 The Nature of Qualitative Research Steekproeftrekking – begrippen die zoal voorkomen

Typische steekproef Kritische steekproef Homogene steekproef Extreme case steekproef Theoretische steekproef

Opportunistische steekproef Confirmatieve steekproef Steekproef met maximale variatie Sneeuwbal steekproef

37


Steekproeftrekking – begrippen die zoal voorkomen Typische steekproef Kritische steekproef Homogene steekproef Extreme case steekproef Theoretische steekproef Opportunistische steekproef Confirmatieve steekproef Steekproef met maximale variatie Sneeuwbal steekproef

38


Generaliseren Bewering overstijgt een persoon, een groep, een situatie

Voordeel: verwachtingen

Beperking van kwalitatief onderzoek: amper generalisatiemogelijkheden

Daarom: replicatie is bij kwalitatief onderzoek nog veel belangrijker dan bij kwantitatief onderzoek

39


Ethische kwesties Privacy en bescherming identificeerbaarheid van een persoon

Respectvolle bejegening van deelnemers

Berokken geen fysieke of psychologische schade

40


Kwalitatief of kwantitatief Kunnen samen gebruikt worden

Beschrijvende statistiek inzetten om details van een kwalitatief onderzoek voor het voetlicht te brengen

No one best method

Fase van inductie versus fase van deductie!

41

Chapter 19 Observation and Interview

Observation

42


Variatie in typen observaties Rol van de observator -- Bekend of niet? Manipulatie of niet?

Doel van de observatie -- Bekend of niet?

Duur van de observatie -- kort of lang?

Focus van de observatie -- smal of breed?

43


Variatie in typen observaties Rol van de observator -- Bekend of niet? Manipulatie of niet? Doel van de observatie -- Bekend of niet? Duur van de observatie -- kort of lang? Focus van de observatie -- smal of breed?

complete participant researcher’s identity is unknown to any of the participants

participant-as-observer researcher makes clear that he is doing a research, but he fully participates in group activities.

observer-as-participant researcher makes clear that he is doing a research, and only participates in group activities superficially.

complete observer researcher’s identity is known to all, without any participation in the activities.

44


Variatie in typen observaties Rol van de observator -- Bekend of niet? Manipulatie of niet? Doel van de observatie -- Bekend of niet? Duur van de observatie -- kort of lang? Focus van de observatie -- smal of breed?

naturalistic observation

researcher makes no effort to manipulate variables or control activitiese.g. Jean Piaget

simulation researcher creates a situation and asks subjects to act out certain roles=simulate

45

Observer effect


Reactivity

Curiosity Disguise

Aanwezigheid van de observator beinvloedt het te observeren fenomen

Mensen gaan zich onder invloed van de observatie anders gedragen

Oplossing: kijk even hoe mensen zich normaal gedragen alvorens met het observeren te beginnen vertel niet waarom je observeert

Na verloop van tijd vermindert het observer effect

46

Observer bias


Expectation of the observer

Oplossing:

meerdere observatoren

Kenmerken of ideeen van de observator leiden tot een vertekening in wat hij of zij waarneemt

47

Observatie-gegevens


Who? What?

Event-sampling--scoren als het gedrag zich voordoet

Time-Sampling--steekproef in de tijd

When?How?Where?

48

Voorbeeld: Interactie in de klas


49

Betrouwbaarheid

Inter-beoordelaarsbetrouwbaarheid

Mate van overeenstemming (na corrective voor overeenstemming door toeval)

Te gebruiken bij training van observatoren


50

Interview


Wanneer is interview nodig?

Check the accuracy of observation

Find out what is on the mind

51


Typen van interview

structural interview verbal questionnaireat the end of studytest specific hypotheses

semi-structural interview

informal interview resemble causal conversation no specific type questionsthe most difficult to do

retrospective interview can be structured, semi-structured, or informalget a respondent to recall and reconstruct something from memory the least likely to get reliable and accurate data

52

Typen interviewvragen Achtergrond / demografisch

Kennisvragen

Ervaringen en/of gedragingen

Meningen en/of waarden

Gevoelens

Zintuigelijk


53

Gedrag tijdens het interview Respecteer de groepscultuur Respecteer het individu Gedraag je natuurlijk

Ontwikkel een rapportage met de geinterviewde Stel maar een vraag


54

Interviewer’s error


55

Gedrag tijdens het interview Stel dezelfde vraag op een aantal verschillende manieren Vraag om het antwoord nog eens te herhalen (bij twijfel) Vermijd “leidende” vragen Geen interrupties


56

Gedrag tijdens het interview Stel dezelfde vraag op een aantal

verschillende manieren Vraag om het antwoord nog eens te

herhalen (bij twijfel) Vermijd “leidende” vragen Geen interrupties


57


The primary advantages of the interview are:

A) high response rate and opportunity for clarification of questions

B) cost and training required

C) anonymity and cost

D) time required and response rate

58


The longitudinal method in developmental studies has the advantage of:

A) more extensive data on individual subjects

B) data for different age groups at the same point in time

C) prompt data gathering

D) no sampling errors

59


Which of the following is an example of participant observation?

A) A teacher decides to observe her students on the playground.

B) A researcher becomes a member of a street gang.

C) A researcher records student behavior in the lunchroom.

D) A researcher teaches an observation method to a graduate student.

60

Chapter 20 Content Analysis Wat is inhoudsanalyse

Inhoudsanalyse kunnen onderzoekers het menselijke gedrag indirect observeren, namelijk door hun communicatie te analyseren

Communicatie-typen Studieboeken Studiegidsen Essays Afbeeldingen Liedjes

An investigator wishes to determine how much coverage current high school history texts give to the contributions of African Americans to our history. An investigator wishes to determine how much coverage current high school history texts give to the contributions of African Americans to our history.

61

Voorbeeld: Analyse van tv-programma’s

Chapter 20 Content Analysis

62

Chapter 20 Content Analysis Wat is inhoudsanalyse

Bewuste en onbewuste overtuigingen, houdingen en waarden komen daarin tot uiting

63

Inhoudsanalyse


64

Stappen bij inhoudsanalyse


Bepaal het doel:Bepaal het doel:

Beschrijvende informatieOntwikkelen van thema’s Repliceren of validerenProbleem oplossenSamenhangen onderzoeken

Bepaal de analyse-eenheidBepaal de analyse-eenheid

Definieer begrippenDefinieer begrippen

65



Lokaliseer relevante gegevensLokaliseer relevante gegevens

Ontwikkel een rationaleOntwikkel een rationale

Stel een plan voor steekproeftrekking opStel een plan voor steekproeftrekking op

Ontwikkel codeerschemaOntwikkel codeerschema

A-selecte steekproefGestratificeerde steekproefCluster steekproef

Verbinding gegevens – doel van inhoudsanalyse

66

Chapter 20 Content Analysis Coding system

67



Check reliability and validityCheck reliability and validityTest-hertest methodeCheck manifeste tegen latente inhoud

Analyze dataAnalyze dataTurfenGeef referentiepuntBeschrijvende statistieken – zoals frequentiestaten en percentages

68

Voordelen van inhoudsanalyse

Unobtrusive Methode om observatie – en interviewdata te analyseren Niet beperkt qua tijd en plaats Relatief eenvoudig en goedkoop (qua tijdsinvestering en

hulpbronnen)


69

Nadelen van inhoudsanalyse

Beperkt tot vastgelegde informatie

Validiteit: wat is de “echte” betekenis van de categorieen

Historische gegevens zijn letterlijk en figuurlijk gedateerd

Verleidelijk om toch een uitspraak over oorzaak – gevolg te doen, maar het gaat om een reflectie op gebeurtenissen


70

Voorbeeld: student characters in textbooksChapter 20 Content Analysis

Tom still does his masculine job!

Bob is so aggressive!

oct11 college 5

Education