estudos mistos estudos de avaliação - google accounts · de categorias pré-definidas pela teoria...

Estudos Mistos Estudos Mistos Estudos de AvaliaçãoEstudos de Avaliação

Metodologia de Investigação IProf. Doutora Isabel Chagas

FCU

L FC

UL

––D

epar

tam

ento

de

Educ

ação

Dep

arta

men

to d

e Ed

ucaç

ão

Maria Teresa RelvasMaria Teresa RelvasPalmira AlexandrinoPalmira Alexandrino

Silvina CarvalhoSilvina CarvalhoTeresa Alves MarquesTeresa Alves Marques


ESTU

DO

S M

ISTO

SES

TUD

OS

MIS

TOS

Os métodos mistosmétodos mistos correspondem a uma “combinação” das duas tradições metodológicas progenitoras – a tradição quantitativa (mais empirista) e a tradição qualitativa (mais construtivista ou interpretativa), consideradas por alguns fundamentalistas epistemológicos como posições antagónicas extremadas. (Bryman, 1995; in Lourenço, 1998)

Características dos Paradigmas Quantitativo e Qualitativo Características dos Paradigmas Quantitativo e Qualitativo ES

TUD

OS

MIS

TOS

ESTU

DO

S M

ISTO

S

Paradigma QuantitativoParadigma Quantitativo Paradigma QualitativoParadigma Qualitativo

Positivismo lógico de Comte –cada fenómeno deverá ter uma e só uma interpretação objectiva (científica); procura as causas dos fenómenos sociais, prestando escassa atenção aos aspectos subjectivos dos indivíduos.

Idealismo de Kant – há tantas interpretações da realidade quantos os indivíduos (investigadores) que a procuram interpretar.

Fenomenologismo –compreensão de fenómenos/condutas humanas a partir dos próprios pontos de vista daquele que actua.

Interaccionismo simbólico –encara a vida social como um processo segundo o qual os indivíduos interpretam o seu mundo e actuam com base nessa interpretação.

((AdaptadoAdaptado de de ReichardtReichardt e Cook, 1986, 29, in e Cook, 1986, 29, in MetodologiasMetodologias dada InvestigaçãoInvestigação, , UniversidadeUniversidade AbertaAberta))



TUD

OS

MIS

TOS

ESTU

DO

S M

ISTO

S



Observação naturalista e sem controlo

Medição rigorosa e controlada

SubjectivoObjectivo

Próximo dos dados; perspectiva a partir de dentro: o investigador é o “instrumento” de recolha de dados

À margem dos dados;perspectiva a partir de fora



TUD

OS

MIS

TOS

ESTU

DO

S M

ISTO

S



Fundamentado na realidade, orientado para a descoberta, exploratório, expansionista, descritivo e indutivo.

Não fundamentado na realidade, orientado para a comprovação, confirmatório, reducionista, inferencial e hipotético-dedutivo

Válido; dados “reais”, “ricos” e “profundos”

Fiável; dados “sólidos” e reprodutíveis

Orientado para o resultado Orientado para o processo. Requer muito tempo



TUD

OS

MIS

TOS

ESTU

DO

S M

ISTO

S



Não generalizável: estudos de casos isolados

Generalizável: estudos de casos múltiplos

Assume uma realidade dinâmicaAssume uma realidade estável

Particularista Holístico



TUD

OS

MIS

TOS

ESTU

DO

S M

ISTO

S((AdaptadoAdaptado de de ReichardtReichardt e Cook, 1986, 29, in e Cook, 1986, 29, in MetodologiasMetodologias dada InvestigaçãoInvestigação, , UniversidadeUniversidade AbertaAberta))


RecorreRecorre--se às metodologias mistas quando se se às metodologias mistas quando se pretende simultaneamente realizar análises pretende simultaneamente realizar análises comparativas e desenvolver aspectos do estudo comparativas e desenvolver aspectos do estudo em termos compreensivos e em profundidade em termos compreensivos e em profundidade

O recurso aos métodos mistos permite O recurso aos métodos mistos permite ultrapassar as limitações das metodologias ultrapassar as limitações das metodologias quantitativas e qualitativas, permitindo uma quantitativas e qualitativas, permitindo uma complementaridade dos dados (TRIANGULAÇÃO) complementaridade dos dados (TRIANGULAÇÃO) e obter informações de tal forma ricas que não e obter informações de tal forma ricas que não poderiam ser obtidas utilizando cada um dos poderiam ser obtidas utilizando cada um dos métodos isoladamentemétodos isoladamente

ESTU

DO

S M

ISTO

SES

TUD

OS

MIS

TOS


Dois tipos de Dois tipos de Metodologias MistasMetodologias Mistas::

ESTU

DO

S M

ISTO

SES

TUD

OS

MIS

TOS


Correspondem à associação de Correspondem à associação de metodologias provenientes de estudos metodologias provenientes de estudos parcelares, tendo cada um a sua parcelares, tendo cada um a sua metodologia específica e sendo todos metodologia específica e sendo todos eles incluídos num mesmo projecto eles incluídos num mesmo projecto investigativo global investigativo global ((HubermannHubermann e e MilesMiles, , 1991, 1991, inin Lourenço, 1998)Lourenço, 1998)

11-- Casos “Casos “multimulti--sideside” ou “” ou “multimulti--methodmethod””

ESTU

DO

S M

ISTO

SES

TUD

OS

MIS

TOS


Existência no mesmo estudo (mesmo Existência no mesmo estudo (mesmo problema, mesma amostra) de elementos problema, mesma amostra) de elementos de ambas as tradições de ambas as tradições –– quantitativa e quantitativa e qualitativaqualitativa--, ou seja, corresponde a uma , ou seja, corresponde a uma fusão que engloba vários elementos de fusão que engloba vários elementos de ambas as metodologias ambas as metodologias ((BrymanBryman, 1995, , 1995, ininLourenço, 1998).Lourenço, 1998).

22-- Metodologia híbridaMetodologia híbrida

ESTU

DO

S M

ISTO

SES

TUD

OS

MIS

TOS


Constrangimentos:Constrangimentos:

ESTU

DO

S M

ISTO

SES

TUD

OS

MIS

TOS


Em virtude de corresponder a vários Em virtude de corresponder a vários estudos parcelares, cada um deles com estudos parcelares, cada um deles com uma metodologia própria, assume uma metodologia própria, assume naturalmente as limitações e naturalmente as limitações e potencialidades de cada metodologia potencialidades de cada metodologia (qualitativa ou quantitativa). Neste (qualitativa ou quantitativa). Neste caso,caso,o problema incide na articulação dos o problema incide na articulação dos resultados das diferentes partes, em resultados das diferentes partes, em particular quando estes não são particular quando estes não são convergentes. convergentes.

11-- Casos “Casos “multimulti--sideside” ou “” ou “multimulti--methodmethod””

ESTU

DO

S M

ISTO

SES

TUD

OS

MIS

TOS


Uma vez que corresponde à fusão de Uma vez que corresponde à fusão de elementos provenientes de ambas as elementos provenientes de ambas as tradições de pesquisa (qualitativa e tradições de pesquisa (qualitativa e quantitativa) numa mesma situação quantitativa) numa mesma situação investigativa, a sua utilização é mais investigativa, a sua utilização é mais complexa, devendo adequarcomplexa, devendo adequar--se os se os aspectos conflituantes entre a existência aspectos conflituantes entre a existência de categorias préde categorias pré--definidas pela teoria a definidas pela teoria a validar e as categorias emergentes do validar e as categorias emergentes do processo de observação naturalísticaprocesso de observação naturalística

22-- Metodologia híbrida Metodologia híbrida


““Contexto regulador e ensino das Contexto regulador e ensino das Ciências Ciências –– um estudo com crianças um estudo com crianças dos estratos sociais mais baixos”dos estratos sociais mais baixos”

Maria Helena LourençoMaria Helena Lourenço(Tese de Doutoramento, 1998)(Tese de Doutoramento, 1998)

Um exemplo de aplicação de metodologia mista Um exemplo de aplicação de metodologia mista (associação e fusão)(associação e fusão)

ESTU

DO

S M

ISTO

S ES

TUD

OS

MIS

TOS

––ex

empl

o de

apl

icaç

ãoex

empl

o de

apl

icaç

ão

ESTU

DO

S M

ISTO

S ES

TUD

OS

MIS

TOS

––ex

empl

o de

apl

icaç

ãoex

empl

o de

apl

icaç

ão


““Contexto regulador e ensino das Ciências Contexto regulador e ensino das Ciências –– um estudo com um estudo com crianças dos estratos sociais mais baixos” (crianças dos estratos sociais mais baixos” (M. H. Lourenço, M. H. Lourenço, 19981998))

A pesquisa foi subdividida em 3 estudos interrelacionadosA pesquisa foi subdividida em 3 estudos interrelacionados::

1ª Parte1ª Parte -- caracterização do código da escola em que as crianças caracterização do código da escola em que as crianças se inserem em termos de poder e controlo ;se inserem em termos de poder e controlo ;

2ª Parte2ª Parte -- analisar o posicionamento das crianças da amostra em analisar o posicionamento das crianças da amostra em dois contextos: escola e família, relacionandodois contextos: escola e família, relacionando--os com os com determinadas variáveis;determinadas variáveis;

3ª Parte3ª Parte -- analisar em que medida um grupo de crianças em risco analisar em que medida um grupo de crianças em risco adquiriu regras de reconhecimento e/ou de realização para adquiriu regras de reconhecimento e/ou de realização para específicos contextos pedagógicos da escola.específicos contextos pedagógicos da escola.

ESTU

DO

S M

ISTO

S ES

TUD

OS

MIS

TOS

––ex

empl

o de

apl

icaç

ãoex

empl

o de

apl

icaç

ão


““Contexto regulador e ensino das Ciências Contexto regulador e ensino das Ciências –– um estudo com um estudo com crianças dos estratos sociais mais baixos” (crianças dos estratos sociais mais baixos” (M. H. Lourenço, 1998M. H. Lourenço, 1998))

1ª Parte 1ª Parte –– Processo Metodológico (etnografia estruturada, Processo Metodológico (etnografia estruturada, quer na obtenção, quer no tratamento dos dados) quer na obtenção, quer no tratamento dos dados)

Estrutura:Estrutura:

Esta metodologia permitiu a captação da realidade de forma estruEsta metodologia permitiu a captação da realidade de forma estruturada, turada, evitando a dispersão e correspondente processo de acumulação de evitando a dispersão e correspondente processo de acumulação de dados inerentes aos processos etnográficos puros.dados inerentes aos processos etnográficos puros.


2ª Parte 2ª Parte –– Aplicação de questionários Aplicação de questionários –– análise estatística análise estatística (metodologia quantitativa)(metodologia quantitativa)


Os questionários foram “feitos à medida” e assentes em grande paOs questionários foram “feitos à medida” e assentes em grande parte em rte em dados de observação naturalística (associada à tradição qualitatdados de observação naturalística (associada à tradição qualitativa).iva).

ESTU

DO

S M

ISTO

S ES

TUD

OS

MIS

TOS

––ex

empl

o de

apl

icaç

ãoex

empl

o de

apl

icaç

ão““Contexto regulador e ensino das Ciências Contexto regulador e ensino das Ciências –– um estudo com um estudo com

crianças dos estratos sociais mais baixos” (crianças dos estratos sociais mais baixos” (M. H. Lourenço, 1998M. H. Lourenço, 1998))


3ª Parte 3ª Parte –– Entrevista semiEntrevista semi--estruturada (metodologia híbrida)estruturada (metodologia híbrida)


Combinou questões prévias, estruturadas com a informação adicionCombinou questões prévias, estruturadas com a informação adicional al que foi surgindo ao longo da entrevista e também dados de natureque foi surgindo ao longo da entrevista e também dados de natureza za naturalística. Relativamente ao tratamento dos dados, combinou anaturalística. Relativamente ao tratamento dos dados, combinou análises nálises desenvolvidas rigorosamente em paralelo (obedecendo a uma estrutdesenvolvidas rigorosamente em paralelo (obedecendo a uma estrutura ura prévia), com análises relativas a aspectos singulares (adicionaiprévia), com análises relativas a aspectos singulares (adicionais) s) eventualmente surgidos durante a entrevista ou a partir de outraeventualmente surgidos durante a entrevista ou a partir de outras fontes. s fontes. Esta análise combinada permitiu uma compreensão em profundidade,Esta análise combinada permitiu uma compreensão em profundidade,difícil de atingir de outro modo.difícil de atingir de outro modo.

ESTU

DO

S M

ISTO

S ES

TUD

OS

MIS

TOS

––ex

empl

o de

apl

icaç

ãoex

empl

o de

apl

icaç

ão““Contexto regulador e ensino das Ciências Contexto regulador e ensino das Ciências –– um estudo com um estudo com

crianças dos estratos sociais mais baixos” (crianças dos estratos sociais mais baixos” (M. H. Lourenço, 1998M. H. Lourenço, 1998))

ESTU

DO

S D

E A

VALI

AÇ

ÃO

ESTU

DO

S D

E A

VALI

AÇ

ÃO


São concebidos como uma pesquisa aplicada a campos como a educação, a saúde ou a sociedade cuja abordagem permite avaliar, com objectivos definidos ou sem objectivos, a continuidade de estratégias implementadas.

Estudos de Avaliação Estudos de Avaliação

ESTU

DO

S D

E A

VALI

AÇ

ÃO

ESTU

DO

S D

E A

VALI

AÇ

ÃO


Estudos de avaliação vs. pesquisa educacional

SemelhançasDesignsInstrumentosMetodologias de análise

DiferençasÊnfase dada à decisãoAmplitude da aplicação de conclusõesJuízos de valor

Natureza e Objectivos

ESTU

DO

S D

E A

VALI

AÇ

ÃO

ESTU

DO

S D

E A

VALI

AÇ

ÃO


Fases Preparatórias de um Estudo de Avaliação

Clarificação das razões que levam à realização do estudoIdentificação dos intervenientesDecisão sobre os elementos do programa a avaliar:

MetasEstratégias e metodologiasGestão do programa

Identificar as questões da avaliaçãoDesenvolver o design da avaliação e a calendarizaçãoRecolher e analisar a informaçãoElaborar o relatório do estudo

ESTU

DO

S D

E A

VALI

AÇ

ÃO

ESTU

DO

S D

E A

VALI

AÇ

ÃO


Critérios de um Estudo de Avaliação

UTILIDADEUTILIDADETem carácter informativo e útil para os envolvidos

PRATICABILIDADEPRATICABILIDADEApresenta apropriação do design para o enquadramento

em que está a ser conduzido e se tem rentabilidade

ADEQUAÇÃOADEQUAÇÃOOferece protecção dos direitos das pessoas envolvidas

EXACTIDÃOEXACTIDÃORevela validade, interligação e informação credível sobre

a entidade avaliada

ESTU

DO

S D

E A

VALI

AÇ

ÃO

ESTU

DO

S D

E A

VALI

AÇ

ÃO


Orientação QuantitativaOrientação QuantitativaAvaliação por objectivos (Tyler, 1940)

Avaliação DiscrepanteAvaliação de Rentabilidade

Avaliação sem objectivos (Scriven, 1978)

Modelos de Avaliação

Julgamento final dos efeitos dos materiais.

Julgamento final dos materiaisSomativa

Julgamento dos efeitos intermediários do programa

Julgamento da estrutura e dos conteúdos do programa

Formativa

ExtrínsecoOutput

Intrínseco Input

Julgamento

Função

ESTU

DO

S D

E A

VALI

AÇ

ÃO

ESTU

DO

S D

E A

VALI

AÇ

ÃO


Orientação QualitativaOrientação Qualitativa

Avaliação responsiva ( Stake, 1977)Resposta contínua da audiência e interacção com o avaliador

Avaliação adversáriaConfrontação de grupos numa perspectiva adversária

Avaliação de perícia ( Eisner, 1977)Baseada na crítica artística

Modelos de Avaliação

ESTU

DO

S D

E A

VALI

AÇ

ÃO

ESTU

DO

S D

E A

VALI

AÇ

ÃO


Alguns erros que surgem em estudos de avaliação

(Borg, W. e Gall, M., 1989, Educational Research, An Introduction, p. 777)

Não exploração de todas as razões que originaram o pedido do estudo de avaliação

Falhas na identificação ou no envolvimento dos intervenientes

Falhas na delineação de todos os aspectos do programa

A não abertura a novas questões que interfiram nos procedimentos da avaliação

Não produção de relatórios das necessidades específicas de cada envolvido

Não considerar modelos alternativos no design do estudo

Não utilizar medidas adaptadas às metas do programa

Ignorar efeitos laterais, não incluídos na apresentação inicial das metas do programa

Tentar fazer uma avaliação orientada qualitativamente, sem treinar suficientemente a metodologia de pesquisa qualitativa.

BIB

LIO

GR

AFI

AB

IBLI

OG

RA

FIA


Estudos MistosEstudos Mistos

Bogdan, R. e Biklen, S. (1994). Investigação qualitativa em educação: uma introdução à teoria e aos métodos. Colecção Ciências da Educação. Porto: Porto Editora. Carmo, H. e Ferreira, M.M. (1998). Metodologia da investigação- Guia para auto-aprendizagem. Lisboa: Universidade Aberta.Cohen, L., Manion, L. e Morrison, K. (2000). Research methods in education. 5ª Edição. Londres: RoutledgeFalmer.Fernandes, D. (?). Notas sobre os paradigmas da investigação em educação. Noesis (?), 64-66.Jones, I. (1997). Mixing qualitatives and quantitative methods in sports fan research. The qualitative report, vol.3, nº4, Dez.1997. (http://www.nova.edu/ssss/QR/QR3-4/jones.html)Lourenço, M.H.S. (1998). Contexto regulador e ensino das Ciências – um estudo com crianças dos estratos sociais mais baixos. Tese de Doutoramento

Estudos de AvaliaçãoEstudos de Avaliação

Borg, Walter e Gall, Meredith Damien (1989). Educational research, an introduction. Fifth Edition. New York& London. Longman.Figari, Gérard (1996). Avaliar: Que referencial. Colecção Ciências da Educação. Porto. Porto Editora.Roldão, Maria do Céu (2004). Gestão do currículo e avaliação de competências, a questão dos professores. 2ª Edição. Editorial Presença. Lisboa.Scheerens, Jaap (2003). Melhorar a eficácia das escolas. Colecção em foco. porto. Asa Editores.

Sites:Sites:http://www.serprofessoruniversitário.pro.brhttp://members.tripod.com/RMoura/evaluation.htm

estudos mistos estudos de avaliação - google accounts · de categorias pré-definidas pela teoria...

Documents