MEDICIÓN DEL DESARROLLO DE CAPACIDADES
Róger Saavedra Salas 2008
EVALUACIÓN DE LOS APRENDIZAJES
Proceso pedagógico, mediante el cual se observa, recoge y analiza información relevante, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para mejorar los procesos de aprendizaje de los estudiantes.
EVALUACIÓN DEL DESARROLLO DE
CAPACIDADES
Proceso pedagógico, mediante el cual se observa, recoge y analiza información relevante, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para el desarrollo de las capacidades de los estudiantes.
MEDICIÓN DEL DESARROLLO DE CAPACIDADES
Proceso pedagógico, mediante el cual se recoge y analiza información relevante asignando números o símbolos a las capacidades desarrolladas de acuerdo a criterios, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para el desarrollo de las capacidades de los estudiantes.
Evaluación y Medición del Desarrollo de Capacidades
EVALUACIÓN
MEDICIÓN
MEDICIÓN EVALUACIÓNEs asignar un número a los niveles de desarrollo de las capacidades de acuerdo a criterios.
Compara datos con unos resultados previstos y requiere de procesos de seguimiento.
Equivale a un proceder estático.
Equivale a un proceder dinámico.
Está subsumida en la evaluación.
Subsume a la medición, teniendo más extensión.
Constituye sólo un medio para valorar.
La evaluación es la misma valoración.
La medición no implica evaluación.
Evaluar implica; entre otras cosas, medir.
Es en un solo momento. Entre otras cosas, mide en uno o varios momentos.
CAPACIDAD
Las capacidades son potencialidades inherentes a la persona y que éstas pueden desarrollarse a lo largo de toda su vida. Ellas se cimentan en la interrelación de los procesos cognitivos, socioafectivos y motores.
MODELO DE MEDICIÓNMétodo para convertir las observaciones en la ejecución de pruebas en mediciones de la capacidad.
Construir un prueba que defina una línea. Convertir el resultado de un estudiante en la prueba en una ubicación en esa línea.
Medida
Capacidad
ELABORACIÓN DE PRUEBAS PARA LA MEDICIÓN DEL DESARROLLO DE
CAPACIDADES
Tener idea clara de la variable que queremos medir.Se debe construir ítems que sean realizaciones claras de esta idea.Se debe tener evidencia que la variable se realiza a través de los ítems de la prueba.El patrón de respuestas debe ser consistente con nuestras intenciones.
CONSTRUCCIÓN DE ÍTEMS QUE DEFINEN LA VARIABLE
δ2δ1 δ3 δ4
β
Medición del estudiante
PuntajeEsperado
3
PuntajeEsperado
3
Calibración de los ítems
Ítem
Más fácil
Ítem
Más difícil
Baja
Capacidad
Alta
Capacidad
1
βMedición estimada del estudiante
Calibración de ítems
Ítems difíciles
Baja
Capacidad
Alta
Capacidad
δ1 δ2 δ3 δ5 δ6 δ7 δ8 δ9 δ10δ4
Ítems fáciles
1 1 1 1 1 0 0 0 0Patrón A:
Puntaje=6Puntaje=6
VALIDANDO LOS PATRONES DE RESPUESTAVALIDANDO LOS PATRONES DE RESPUESTA
Medición estimada del estudiante
Calibración de ítems
Ítems difíciles
Baja
Capacidad
Alta
Capacidad
δ1 δ2 δ3 δ5 δ6 δ7 δ8 δ9 δ10δ4
Ítems fáciles
0 0 0 0 1 1 1 1 1Patrón B:
Puntaje=6Puntaje=61
1=Respuesta correcta0=Respuesta incorrectaδ= Ítems de la PruebaPuntaje= Suma de respuestasCorrectas.
1=Respuesta correcta0=Respuesta incorrectaδ= Ítems de la PruebaPuntaje= Suma de respuestasCorrectas.
¿Aquí? ¿Aquí? ¿Aquí?
ÍTEM DE PREDICCIÓNÍTEM DE PREDICCIÓN
1. En el punto de ebullición del agua, la presión atmosférica es igual a la presión de vapor: Patm.=Pvap.
La presión atmosférica (Patm.) está determinada por el número de colisiones de las moléculas de aire de la atmósfera a la superficie de la tierra (superficie del agua en el vaso) por unidad de área.
La presión de vapor del agua (Pvap.) está determinada por el número de colisiones de las moléculas del vapor de agua cuando sale del recipiente, por unidad de área. El calentamiento aumenta el número de
colisiones de las moléculas
El agua hierve en Lima a 100ºC y en Huancayo a 90ºC porque:
A) La presión de vapor en Lima es igual a la presión de vapor en Huancayo.
B) La presión atmosférica en Lima es mayor que la presión atmosférica en Huancayo.
C) La presión atmosférica en Lima es menor que la presión atmosférica en Huancayo.
D) La temperatura en Lima es mayor que la temperatura en Huancayo.
CLASIFICACIÓN DE FORMATOS
VelocidadVelocidad
ProyectivasProyectivas
EstructuradasEstructuradas
Aplicación individualAplicación individual
Aplicación colectivaAplicación colectiva
EjecuciónEjecución
Lápiz y papelLápiz y papel
Ejecución típicaEjecución típica
Ejecución máximaEjecución máxima
PoderPoder
Respuesta libreRespuesta libre
Respuesta AlternativaRespuesta Alternativa
PRUEBA DE:PRUEBA DE:
Tipo de respuestaTipo de respuesta
Calificación Calificación
Presencia o Ausencia de Intervención
Presencia o Ausencia de Intervención
Forma de Aplicación
Forma de Aplicación
Claridad de estímulosy tareas
Claridad de estímulosy tareas
Presentación y forma de respuesta
Presentación y forma de respuesta
4° FORMATO4° FORMATO
POR:POR:
DEFINICIÓN DE LA VARIABLE A SER EVALUADA
Variable: Capacidad EvaluadaComprensión Lectora: Capacidad que se manifiesta mediante la activación de procesos cognitivos para la comprensión de textos escritos en los niveles literal, inferencial y reflexivo1.
Comprensión Lectora
La medida
1. El nivel reflexivo de la capacidad no será evaluada por el formato del instrumento
NIVELES DE COMPRENSIÓN LECTORA
Nivel Literal.- El lector obtiene información que se encuentra de manera literal en el texto.
Nivel Inferencial.- El lector obtiene información más allá de la superficie del texto y llena los “vacíos” de significado.
Nivel Reflexivo.- El lector examina las ideas propuestas en el texto o los recursos utilizados por el autor para transmitir para transmitir ese significado, y juzgar sin son adecuados o no.
CAPACIDADES Y NIVEL LITERAL DE COMPRENSIÓN LECTORA
Identifica datos y hechos específicos expresados en una, dos o más proposiciones: el estudiante identifica datos, hechos relevantes en diversos tipos de textos.
Identifica ideas específicas en diversos tipos de textos: el estudiante localiza ideas específicas expresadas en una, dos o más proposiciones en diversos tipos de textos.
CAPACIDADES Y NIVEL INFERENCIAL DE COMPRENSIÓN LECTORA
Reconoce relaciones semánticas implícitas entre dos o más proposiciones . Identifica referentes de distinto tipo.Reconoce el significado de palabras o expresiones a partir de lo leído.Reconoce el tema central y las ideas principales del texto.Deduce el propósito del texto.Deduce el receptor implícito del texto.
CAPACIDADES Y NIVEL REFLEXIVO DE COMPRENSIÓN LECTORA
Evalúa el contenido del texto: el estudiante interpreta afirmaciones del texto y evalúa su contenido. Los estudiantes contrapesan su comprensión del texto con su conocimiento del mundo con la finalidad de rechazar, aceptar o permanecer neutrales frente a las ideas que se plantean en el texto. Identifica y evalúa recursos formales: El estudiante reflexiona y evalúa los recursos formales que usa el autor para transmitir el significado de su texto y para tratar de influir en el receptor (tales como el estilo y el uso de signos gráficos) .
MATRIZ PARA LA ELABORACIÓN DE LA PRUEBA
CAPACIDADES INDICADORESITEMS POR INDICADOR
1. Obtiene información explícita. 1.1. Identifica ideas específicas expresadas en una, dos o más
proposiciones.12
2. Hace inferencias
2.1. Reconoce relaciones semánticas implícitas entre dos o más proposiciones. 7
2.2. Identifica referentes de distinto tipo. 3
2.3.Reconoce el significado de palabras o expresiones a partir de lo leído.
4
2.4. Reconoce el tema central y las ideas principales del texto. 3
2.5. Deduce el propósito del texto 5
2.6. Deduce el receptor implícito del texto 1
3. Reflexiona y evalúa.
3.1. Evalúa el contenido del texto 0
3.2. Identifica y evalúa recursos formales 1
MODELO DE EVALUACIÓN
La peregrinación comienza con la visita a la mezquita del profeta Mahoma, en la ciudad de Medina, donde se encuentra su tumba. Desde ahí, los devotos se dirigen a la Mina y luego hacia la efímera ciudad de Arafat, situada a 20 kilómetros de la Meca. Sus dos millones y medio de habitantes -todos fieles peregrinos- solo viven en ella un día y la abandonan antes de que llegue la noche. Tras la puesta del Sol, la multitud regresa a la Mina, donde se preparan para la fiesta del Sacrificio.
Texto 1: Lee y observa el siguiente texto con mucha atención.
NIVEL LITERAL DE COMPRENSIÓN LECTORA
Capacidad: Obtiene información explícita del texto.Indicador: Identifica ideas específicas en una o más proposiciones:Ítem:
¿Dónde se realizan los rituales de la Kaaba y del Sai? a) En la ciudad de la Mina.b) En la ciudad de Arafat.c) En la ciudad de la Meca.d) En la ciudad de Medina.
NIVEL INFERENCIAL DE COMPRENSIÓN LECTORA
Capacidad:Hace inferencias.Indicador: Deduce el significado de palabras o expresiones a partir de lo leido.Ítem:
¿Qué significa la expresión “la efímera ciudad de arafat” del texto? a) Que sus dos millones y medio de habitantes son todos fieles peregrinos.b) Que sus dos millones y medio de habitantes viven en
ella solo un día.c) Que es una ciudad situada sólo a 20 kilómetros de la
ciudad de la Meca.d) Que es una ciudad muy pobrey sus habitantes no permanecen en ella.
METODOLOGÍAS DE MEDICIÓN
Considera sólo las puntuaciones obtenidas por los estudiantes evaluados en cada ítem y en toda la prueba.Las puntuaciones de los estudiantes obtenidas en la prueba y la capacidad evaluada se relacionan en forma lineal.
Los parámetros obtenidos para describir los ítems dependen de la muestra de estudiantes para los cuales fueron calculados.
La ejecución de un estudiante en una prueba puede predecirse, explicarse por un conjunto de factores llamados habilidades.La relación entre la ejecución del estudiante y las habilidades que la sustentan por una función monotónicamente creciente llamada “curva característica del ítem” (CCI).Unidimensionalidad: Se asume que cuando se diseña una prueba, esta deberá medir, preferiblemente, una dimensión, una habilidad.Independencia local: Un estudiante responde a un ítem en particular sin recurrir a la información de otros ítmes para hacerlo correctamente.
TEORÍA CLÁSICA DE LOS TESTTEORÍA CLÁSICA DE LOS TEST TEORÍA DE RESPUESTA AL ÍTEMTEORÍA DE RESPUESTA AL ÍTEM
RELACIÓN ENTRE LAS PUNTUACIONES DE LOS ESTUDIANTES Y LA CAPACIDAD
TEORIA CLASICA DE LOS TEST
0
5
10
15
20
25
0 5 10 15 20 25
RESGO LATENTE
PU
NT
UA
CIO
NE
S D
IRE
CT
AS
1. DIFICULTAD DEL ÍTEM
La dificultad del ítem ( P ) se define como la probabilidad de acierto o la probabilidad de que el estudiante responda correctamente el ìtem.
aP
= n0 ≤ P ≤ 1
a - número de aciertos al ítem
n – número de estudiantes que respondieron al ítem
P – índice de dificultad del ítem.
Donde:
β
δ1 δ8
DEPENDENCIA DE LOS PUNTAJES DEL NIVEL Y DISTRIBUCIÓN DE DIFICULTAES DE LOS ÍTEMSDEPENDENCIA DE LOS PUNTAJES DEL NIVEL Y DISTRIBUCIÓN DE DIFICULTAES DE LOS ÍTEMS
Prueba muy fácil
PuntajeEsperado
8
βEstudiante
Prueba muy
difícil PuntajeEsperado
0
βEstudiante
δ1 δ8
βPrueba difícil
estrecho
PuntajeEsperado
1
Estudiante
δ1 δ8
Estudiante βPrueba
fácil estrech
oPuntaje
Esperado7
δ1 δ8
Prueba fácil
amplio PuntajeEsperado
5
Estudiante
δ1 δ2 δ3δ4 δ7 δ8
2. ÍNDICE DEDISCRIMINACIÓN DEL ÍTEM
Si la prueba y un ítem miden la misma habilidad o capacidad, podemos esperar que, quien tuvo una puntuación alta en todo el test, deberá tener altas probabilidades de contestar correctamente el ítem.
Di =GAaciertos - GBaciertos
Ngrupomayor
GAaciertos : Número de aciertos al ítem “i” del 27 % de estudiantes con las puntuaciones más altas de la prueba.
GBaciertos : Número de aciertos al ítem “i” del 27 % de estudiantes con las puntuaciones más bajas de la prueba.
Ngrupomayor : Número de estudiantes en el grupo más numeroso.
CRITERIOS DE SELECCIÓN DE ÍTEMS
iD Criterios de selección de Ítems por Discriminación
Calidad Recomendaciones
Mayor a 0.39 Excelente Conservar
De 0.30 a 0.39 Buena Posibilidades de mejorar
De 0.20 a 0.29 Regular Necesidad de revisar
De 0 a 0.20 Pobre Descartar o necesidad de revisar
Menor a -0.01 Pésima Descartar definitivamente
iD
3. COEFICIENTE DE DISCRIMINACIÓN
El coeficiente de discriminación se define a través de la correlación biseral puntual (ρ). La correlación biseral puntual es el grado de asociación entre la puntuación dei ítem y la puntuación total de la prueba. Se calcula por la fórmula:
fallosdeoporciónq
aciertosdeoporciónp
pruebadeestándarDesviación
pruebaladeMedia
ítemelacierquelosdeMedia
q
p
x
x
p
x
xp
Pr
Pr
tan
Si la correlación biseral puntual (ρ) es mayor que 0.2, concluimos que la prueba discrimina adecuadamente.
3. CONFIABILIDAD DE LA PRUEBA
La confiabilidad de la prueba se determina a través del alfa de Crombach( ). Con este indicador se determina qué tan confiables son las puntuaciones obtenidas por los estudiantes. Se calcula por la fórmula:
Para que las puntuaciones obtenidas por los estudianes sean confiables desde la perspectiva de la TCT, lo recomendable es que el ( ) de Crombach sea duperior a 0.6 y que se aproxime a 1.
totalespuntajeslosdeianza
iítemdelianza
ítemsdenúmerok
donde
k
k
x
i
x
k
ii
var
var
:
11
2
2
21
2
δ8
δ1 δ6δ3
δ5δ2 δ7
δ8
LA NO LINEARIDAD DE LOS PUNTAJESLA NO LINEARIDAD DE LOS PUNTAJES
Prueba I δ3δ4 δ8δ1 δ6 Diferencia de
puntajes:
8-0=8
PuntajeEsperado
0
βA
PuntajeEsperado
8
βB
Prueba V δ1 δ2 δ3 δ4 δ7δ5 δ6
Diferencia de puntajes:
6-4=2
PuntajeEsperado
4
βA
PuntajeEsperado
6
βB
Prueba IV δ1 δ2 δ3 δ4 δ5 δ6 δ7
Diferencia de puntajes:
4-4=0
PuntajeEsperado
4
βA
PuntajeEsperado
4
βB
Prueba II δ5δ2
δ4 δ7δ8 Diferencia de puntajes:
8-8=0
PuntajeEsperado
8
βA
PuntajeEsperado
8
βB
Prueba III Puntaje
Esperado0
βB
δ1 δ8δ2 δ3δ4 δ5 δ6 δ7
Diferencia de puntajes:
0-0=0
PuntajeEsperado
0
βA
NIVELES DE DESEMPEÑO
Nivel suficiente: Los estudiantes ubicados en este nivel demuestran el desarrollo adecuado de las capacidades evaluadas para el grado. No son estudiantes destacados los que predominan en este nivel, sino los estudiantes que han alcanzado lo establecido para el grado.
Nivel básico: Los estudiantes agrupados en este nivel demuestran un desarrollo incipiente o elemental de las capacidades esperadas para el grado. Esto quiere decir que han desarrollado parcialmente la capacidad.
Nivel previo: Los estudiantes de este nivel demuestran el desarrollo de las capacidades
esperadas para grados anteriores.Esto quiere decir, que a pesar de que se encuentran en el grado indicado, solo tienen las capacidades que ya han trabajado en grados anteriores.
SUFICIENTE
BÁSICO
PREVIO
NIVEL BÁSICO EN LA PRUEBA DE COMPRENSIÓN LECTORA
Obtienen información que se encuentra en partes evidentes del texto. Además, el texto no presenta contenidos en disputa que desvíen la atención del estudiante en la identificación y selección de la información.
Interpretan el significado de palabras o símbolos a partir del contexto de la lectura y de su conocimiento del mundo.Estos símbolos o palabras que son utilizados varias veces a lo largo del texto y/o son fundamentales para la comprensión del párrafo en el que aparecen o en todo el texto.
Identifican el tema general del texto entre varias alternativas y/o eligen un título que engloba el contenido general del texto.
Deducen a quien se dirige el texto aun cuando el receptor se encuentra implícito.
NIVEL INTERMEDIO EN LA PRUEBA DE COMPRENSIÓN LECTORA
Obtienen información explícita que se encuentra en partes no tan evidentes del texto y cuya recuperación requiere – en muchos casos- más de un solo paso, es decir, ubican el dato solicitado de manera indirecta. Además, el texto presenta una mayor extensión y cantidad de contenidos en disputa con la alternativa correcta lo que dificulta la tarea.
Interpretan el mensaje implícito del texto, para lo que deben inferir las ideas que no son manifiestas en la superficie del escrito.
Interpretan el significado de palabras del texto poco conocidas en su entorno escolar a partir del contexto de la lectura, lo que involucra comprender el texto en su conjunto y/o tener una mayor experiencia lectora.
Deducen el propósito de textos comunes en la vida cotidiana de los estudiantes y que presentan contenidos que le son familiares, como afiches o recibos. El estudiante necesita tomar cierta distancia del texto para evaluarlo de manera global y poder calcular, con qué intención fue producido, lo que implica cierto nivel de abstracción.
Interpretan las acciones de los personajes y el final de los textos narrativos literarios lo que implica hacer inferencias- a partir de los hechos del texto y con ayuda de sus conocimientos sobre el mundo- para llenar los vacíos de significado.
NIVEL SUFICIENTE EN LA PRUEBA DE COMPRENSIÓN LECTORA
Obtienen información explícita que se encuentra en partes incrustadas del texto y cuya recuperación requiere varios pasos, es decir, ubican el dato solicitado de manera indirecta. Además, el texto presenta muchos contenidos en disputa con la alternativa correcta lo que dificulta la tarea.
Deducen el propósito con el cual el autor escribió el texto. En este sentido los estudiantes deben calibrar la intención del emisor del mensaje, deben ser capaces de descentrarse y – desde el punto de vista del autor- comprender para qué fue escrito el texto, determinar qué quería lograr en el receptor del mensaje.
Hacen inferencias en las que se deben interpretar metáforas y diferenciar el discurso del narrador omnisciente del cuento de los hechos narrados por éste, lo que implica un mayor nivel de abstracción.
RESULTADOS POR NIVELES DE DESEMPEÑO
TEORÍA DE RESPUESTA AL ÍTEM
La ejecución de un estudiante en una prueba puede predecirse, explicarse por un conjunto de factores llamados habilidades.La relación entre la ejecución del estudiante y las habilidades que la sustentan por una función monotónicamente creciente llamada “curva característica del ítem” (CCI).Unidimensionalidad: Se asume que cuando se diseña una prueba, esta deberá medir, preferiblemente, una dimensión, una habilidad.Independencia local: Un estudiante responde a un ítem en particular sin recurrir a la información de otros ítmes para hacerlo correctamente.
CONDICIONES ESENCIALES QUE CAUSAN UNA RESPUESTACONDICIONES ESENCIALES QUE CAUSAN UNA RESPUESTA
Dificultad de Ítem
δt
Capacidad del
estudiante
βνχνt
Respuesta observada
Cuando la respuesta es “correcta”,
X=1
Cuando la respuesta es “incorrecta”,
X=0
EFECTOS DE LAS DIFERENCIAS ENTRE LA CAPACIDAD DEL ESTUDIANTE Y LA DIFICULTAD DEL ÌTEM EN LA PROBABILIDAD DE UNA RESPUESTA CORRECTA
EFECTOS DE LAS DIFERENCIAS ENTRE LA CAPACIDAD DEL ESTUDIANTE Y LA DIFICULTAD DEL ÌTEM EN LA PROBABILIDAD DE UNA RESPUESTA CORRECTA
βν
δt
(βν-δt)>0
y P{Xvt=1} >1/2
1. Cuando
βν > δt
βν
δt
(βν-δt) < 0
y P{Xvt=1} < 1/2
2. Cuando
βν < δt
βν
δt
(βν-δt)=0
y P{Xvt=1} = 1/2
3. Cuando
βν = δt
CURVA DE RESPUESTA AL ÍTEMCURVA DE RESPUESTA AL ÍTEM
0
P
βν < δt βν > δtβν = δt
(βν-δt)0.0
0.5
1.0
Posición relativa de
βν y δt sobre la variable.
P{Xvt=1| βν,δt} = ƒ(βν-δt)
P{Xvt=1} >1/2
P{Xvt=1}< 1/2
Posición relativa de
βν y δt sobre la variable.
MODELO RASCH PARA CALIBRAR Y MEDIRMODELO RASCH PARA CALIBRAR Y MEDIR
La respuesta Xvt=1 toma únicamente dos valores,
Xvt=0 cuando la respuesta es incorrecta y
Xvt=1 cuando la respuesta es correcta.
P{Xvt| βν,δt} = eXvt(βν-δt)
1+ e(βν-δt)
(1)
Sustituyendo los valores anteriores en la ecuación (1) se obtienen las ecuaciones:
P{Xvt=1| βν,δt}= e(βν-δt)
1+ e(βν-δt)
(2) P{Xvt=0|βν,δt}= 1+ e(βν-δt)
(3)1
Para una respuesta correcta Para una respuesta incorrecta
RELACIÓN ENTRE LAS PROBABILIDADES DE RESPUESTA Y LA CAPACIDAD
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
-5 -4 -3 -2 -1 0 1 2 3 4 5
Habilidad de la persona / Dificultad del item
Pro
bab
ilid
ad d
e re
spo
nd
er c
orr
ecta
men
te a
l it
em
CURVA CARACTERISTICA DEL ITEM (CCI)