-
Representaciones involucradas
en la evaluacin de Portafolios
docentes
Mara Rosa Garca -MIDE UC
Pablo Torres - University of Cambridge
Carolina Leyton -MINEDUC
Primer Congreso Latinoamericano de Medicin y
Evaluacin Educacional (COLMEE)
4 y 5 Octubre de 2012
-
Antecedentes (1)
Este estudio se desarroll en el Centro de Medicin MIDE UC,
especficamente en el proyecto Docentems, Sistema de
Evaluacin del Desempeo Profesional Docente.
Esta es una evaluacin obligatoria para los ms de 70.000
docentes de aula que se desempean en establecimientos
municipales a lo largo del pas.
El MINEDUC es responsable por la coordinacin global e
implementacin de la Evaluacin a travs del Centro de
Perfeccionamiento, Experimentacin e Investigaciones Pedaggicas (CPEIP), y ha encargado la asesora tcnica a
MIDE UC.
MIDE UC es responsable del diseo, supervisin y
evaluacin de los distintos componentes del programa, segn los acuerdos suscritos en el convenio a partir de la
licitacin pblica del mismo.
-
Antecedentes (2)
El Portafolio es el instrumento central utilizado para evaluar
a los docentes, el cual recoge evidencia directa acerca de
la enseanza, la evaluacin y las decisiones pedaggicas
de los docentes.
Incluye evidencia escrita que es corregida por profesores
de aula, seleccionados y capacitados para realizar esta
tarea, por medio de rigurosos protocolos que buscan
garantizar una correccin confiable.
Este estudio fue desarrollado buscando mejorar la
comprensin del proceso de correccin e informar futuros
procesos de entrenamiento.
-
Marco terico: supuestos investigacin
Las actividades cognitivas se han comprendido como una gran
fuente de varianza en la evaluacin de portafolios (Van der Shaff et al., 2005).
La manipulacin eficiente de las representaciones mentales es
clave para llevar a cabo tareas con una meta definida (Gourgey, 1998).
Las actividades cognitivas son influenciables y aprendibles a
travs de entrenamiento, aumentando la precisin y
disminuyendo el error en las puntuaciones (Lievens, 2001; Woehr & Huffcutt, 1994; Jonassen, 2000).
-
Qu entendemos por representacin?
Las representaciones son estados mentales,
tales como pensamientos, creencias,
deseos, percepciones e imgenes sobre
cosas, cuentan con intencionalidad y
pueden ser evaluadas en trminos de su
consistencia, adecuacin, precisin y
verdad. (Stanford Encyclopedia of Philosophy, Jul -2008, Mental Representation).
-
Preguntas de Investigacin
Qu tipos de representaciones estn involucradas
en la correccin de portafolios docentes y en qu
magnitud?
Hay alguna relacin entre la cantidad y cualidad
de las representaciones involucradas en la
correccin, y la precisin de correccin?
Si hay alguna relacin entre las representaciones y
la precisin de la correccin, cmo es esa
relacin?
-
Mtodo: recopilacin de datos (1)
Se utiliz el mtodo de pensamiento en voz alta (PVA)
(Ericsson and Simon, 1993).
La instruccin dada a los correctores fue:
A fin de que yo entienda lo que va pensando, le pido que corrija este portafolio "ponindole volumen a su pensamiento", es decir, contando lo que va leyendo,
pensando, las dudas que le van surgiendo, etc., y
explicando cada paso de su razonamiento lo mejor que
pueda.
Los correctores podan ser interrumpidos para pedirles
explicaran en mayor detalle su razonamiento.
Adems, si se mantenan en silencio por ms de 10
segundos, se le repeta un breve recordatorio.
-
Mtodo: recopilacin y anlisis de datos (2)
Muestra: 6 profesores de distintos niveles educativos que
participaban por primera vez de la correccin de portafolios.
Cada uno corrigi 6 entradas (indicadores) de portafolio escrito
usando rbricas de evaluacin y el mtodo de PVA.
Cada rbrica tena entre 2 a 4 criterios de evaluacin. Esto
configur una muestra 90 episodios de pensamiento evaluativos.
El anlisis de los pensamientos registrados incluy tres grandes
categoras: representaciones, juicios y metacogniciones.
Se determin la precisin de la evaluacin (precisa, imprecisa) en
base a criterio externo de miembros del equipo elaborador y de
entrenamiento de las rbricas de la Evaluacin Docente.
Se transcribieron los episodios de razonamiento, y se codificaron de
manera paralela por dos codificadores. El 100% de los cdigos
fueron posteriormente consensuados e ingresados al Software ATLAS
ti.
-
Qu resultados encontramos?
-
Esquema de proceso evaluativo
Evaluador
Corrector de Portafolio
Evidencia
Portafolio escrito
Pauta de Correccin
Rbricas
Evaluacin precisa
Evaluacin imprecisa
-
1. Tipos de Representaciones segn nivel
de abstraccin
-
Representaciones segn nivel de abstraccin
y precisin de la evaluacin
52%
40%
7%
47% 41%
13%
0%
10%
20%
30%
40%
50%
60%
Rep. Concretas Rep. Medianas Rep. Altas
Precisa
Imprecisa
-
Tipos de representaciones concretas y
de mediana abstraccin
-
Formas de representarse la EVIDENCIA y
precisin de las evaluaciones
0%
10%
20%
30%
40%
Lec
tura
Re
p. EV
IDEN
CIA
/PA
UTA
usa
nd
o c
on
ce
pto
s
ev
ide
nc
ia
usa
nd
o c
on
ce
pto
s
pe
rso
na
les
Representacin de EVIDENCIA
Precisa
Imprecisa
-
Formas de representarse la PAUTA y precisin de
las evaluaciones
0%
10%
20%
30%
Lectura Rep. EVIDENCIA/
PAUTA
usando
conceptos
pauta
usando
conceptos
personales
Representacin de PAUTA
Precisa
Imprecisa
-
Naturaleza de conceptos con que se realizan las
representaciones y precisin de la evaluacin
0%
4%
8%
12%
16%
20%
Rep. PAUTA con
conceptos de
PAUTA
Rep. EVIDENCIA
con conceptos de
EVIDENCIA
Rep. PAUTA usando
conceptos
personales
Rep. EVIDENCIA
usando conceptos
personales
Rep.
EVIDENCIA/PAUTA
Etiquetamiento Elaboracin
Precisa
Imprecisa
-
2. Tipos de representaciones segn nivel de
adecuacin
-
Nivel de apego del contenido representacional
a la tarea y precisin de la evaluacin
94% 90%
6% 10%
0%
20%
40%
60%
80%
100%
Precisa Imprecisa
Rep. inadecuadas
Rep. adecuadas
-
Origen de inadecuacin de los contenidos
representacionales y precisin
46%
71%
54%
29%
0%
20%
40%
60%
80%
100%
Precisa Imprecisa
Por seleccin de
informacin equvoca o
insuficiente
Por sobre
interpretacin personal
-
Conclusiones (1)
Existe una relacin entre representaciones y precisin evaluativa.
Ms que la cantidad, lo que impacta en la precisin es la cualidad de las representaciones.
Al representarse la evidencia, pareciera ayudar hacerlo de forma concreta, es decir, a partir de relecturas o alusiones textuales a esta, y no por medio de categoras o conceptos personales del
corrector.
Al representarse la pauta parece ms conveniente hacerlo en
funcin de conceptos personales o de la evidencia.
-
Usar conceptos personales para elaborar la informacin es
beneficioso para la evaluacin cuando esta informacin es abstracta en s misma, pero es contraproducente cuando dicha
informacin es factual.
Internalizar la pauta y examinar la evidencia con ojos de pauta lleva a juicios ms precisos.
Correctores que caen en la sobre-interpretacin (interpretar
aquello que no se condice directamente) pueden ser un
importante riesgo para la correccin.
Conclusiones (2)
-
Representaciones involucradas
en la evaluacin de Portafolios
docentes
Mara Rosa Garca -MIDE UC
Pablo Torres - University of Cambridge
Carolina Leyton -MINEDUC
Primer Congreso Latinoamericano de Medicin y
Evaluacin Educacional (COLMEE)
4 y 5 Octubre de 2012