evaluacion-diagnostica-cognitiva

7/26/2019 Evaluacion-Diagnostica-Cognitiva

1/68

Evaluacin Diagnstica Cognitiva

(Cognitive

DiagnosticAssessment, CDA)

Roberto D. Cceres Bauer

Unidad de Evaluacin, Dep. de Educacin Mdica, Facultad de Medicina,UDELAR.


2/68

Teoras Psicomtricas

yEvaluacin Cognitiva

(PARTE I)


3/68

TEORA CLSICA DE LOSTESTS(CTT) Y EVALUACIN

COGNITIVA.


4/68

1. Introduccin.

La construccin de tests

de evaluacin cognitiva, basada enCTT, en su origen, se sustentan en teoras y tcnicas que noincorporan el conocimiento actual en ciencias cognitivas(Psicologa Cognitiva, Neurociencia Cognitiva).

No se consideran modelos acerca de las estructurasespecficas de conocimiento o los procesos mentales ocognitivos involucrados.


5/68

CTT y Evaluacin Cognitiva.

El anlisis factorial exploratorio de tests

construidos usando laCTT ha permitido desarrollar una taxonomia

de habilidadescognitiva en los seres humanos.

Puntaje Observado del Test

= Puntaje Verdadero Test

+ error

La aplicacin de CTT a la evaluacin cognitiva permite

desarrollar instrumentos de evaluacin con propiedadespsicomtricas

conocidas que caracterizan el test: confiabilidad,validez predictiva, validez de criterio.

La estrategia para establecer la validez de constructo, esrelativamente dbil y limitada.


6/68

CTT y Evaluacin Cognitiva.

La seleccin de contenidos de los tests

es artesanal

ysubjetiva.

No obstante, los escores totales de tests

desarrollados dentrodel marco de la CTT son una forma limitada de caracterizacin

de los sistemas cognitivos relacionadas con las respuestas aun test.

La relacin entre el puntaje total en un test

y las estructuras de

conocimiento y procesos mentales involucrados es muycompleja.


7/68

TEORA DE RESPUESTA A LOSTEMS (IRT)Y

EVALUACIN

COGNITIVA.


8/68

TRI y Evaluacin Cognitiva.

La estimacin de los parmetros de los tems esestadsticamente independiente de la muestra de sujetos.

En la TRI se obtienen modelos probabilsticos

que dan laprobabilidad de respuesta correcta a un tem.

Un tem est

compuesto por un estmulo complejo y unconjunto de prescripciones acerca de cmo responder a dichoestmulo.

La interaccin de un cierto dominio de sujetos y tems escaracterizada en un espacio latente en el cual cada sujeto y cadatem tiene sus coordenadas.


9/68


Ejemplo Modelo unidimensional 3pl:

( 1 / , ) (1 ) 1

j i j

j i ji j j j

e

P X c c e

i

: habilidad latente

j

: dificultad del tem

j

: asntota inferior

cj

: asntota inferior


10/68

Ejemplo Modelo unidimensional 3pl: Test

de Evaluacinde Paridad.

j Item c

1 4 -1.836 12.19 0.023

2 7 -0.672 16.24 0.7563 9 -0.609 14.44 0.611

4 6 -1.309 14.32 0.331

-4 -2 0 2 4

0.0

0.2

0

.4

0.6

0.8

1.0

Item Characteristic Curves

Ability

Pro

ba

bility

par1

par2

par3 par4


11/68


La distribucin conjunta de los patrones de respuesta sonuna caracterizacin ms rica del proceso de respuestaque la distribucin de puntajes totales y dificultadesclsicas de los tems, potencialmente ms informativapara el estudio del sistema cognitivo subyacente

relacionado con un test.

El hecho de que el tem es el elemento bsico, es en simismo un avance importante desde el punto de vista de laevaluacin cognitiva, si se pretende estudiar cmo se

procesan los estmulos que forman parte de un tem.

En general, los modelos de TRI se usan para modelizar

ladistribucin conjunta del patrn de respuesta de los tems.


12/68


(Parte II)


13/68


La evaluacin diagnstica cognitiva (CDA) en el contexto dela educacin, tiene el propsito de medir las estructuras deconocimiento especficas y habilidades de procesamiento en

sujetos de tal forma de proveer informacin sobre susfortalezas y debilidades cognitivas.

La evaluacin diagnstica cognitiva se basa en la psicologacognitiva y ciencias cognitivas que dan los fundamentos

tericos para la evaluacin, en particular para la seleccin decontenidos de la evaluacin.


14/68

Diferentes Enfoques en EvaluacinDiagnstica Cognitiva


15/68

Diseo Cognitivo de Test.


16/68

Diseo Cognitivo de Test.

El marco procedural

es una serie de etapas requeridaspara alcanzar simultaneamente

propiedades optimaspsicomtricas

y cognitivas.

El diseo cognitivo de test

es un marco para utilizar lateora cognitiva en el diseo de test

de habilidades.

El marco conceptual

es una reformulacin del concepto dela validez de constructo

para darle un papel central a la teora

cognitiva en el desarrollo de tests.

Embretson

(1992)


17/68

Ejemplo: Linear Logistic

Trait

Model: LLTM

exp( )

( 1) 1 exp( )

i m jm

mij

i m jm

m

q d

P X q d

*

j m jm

mb q d

qjm

=factor

m de complejidad cognitiva del item

jm

=peso del factor m en la dificultad del tem

d=constante

de normalizacin

Fischer

(1973)


18/68

Propiedades del sistema de diseocognitivo de test.

(1) El contenido del test

es delimitado por principios explcitos.

(2) El significado de los puntajes est

vinculado a los procesoscognitivos subyacentes.

(3) Los parmetros de los tems representan las fuentes decomplejidad cognitiva en el tem.

(4) Las habilidades son vinculadas a los procesos quesubyacen a la dificultad de la tarea.


19/68

Modelos de Estudiantes


20/68

Sistemas de Produccin

Un sistema de produccin

es un conjunto de reglas decondiciones y acciones que son llamadas producciones.

Anderson

(1993)

Cuando la condicin de una produccin se verifica, suaccin se produce, resultando en un cambio que puede

hacer que se verifiquen las condiciones para nuevasproducciones.

Se producen comportamientos dinmicos flexibles y

complejos.

Las acciones cognitivas tienen lugar con la restriccinde un sistema de capacidad limitada llamado Memoria de

Trabajo.


21/68

Sistemas de Produccin

Pueden estar involucradas cientos de producciones en elmodelo.

Anderson

(1993)

Las operaciones de muchas producciones son internas alsistema cognitivo y no observables.

Se asume que el aprendizaje puede ocurrir con lapresentacin de cada problema adicional.

Estimaciones del aprendizaje del estudiante de cada

regla de produccin son mantenidas y actualizadasmediante tcnicas bayesianas.

Este modelo puede ser usado de hecho para resolverproblemas.


22/68

Sistemas de ProduccinAnderson

(1993)

1 1( / ) ( / ) 1 ( / ) ( )n n n n n nP L C P L C P L C P T

1 1( / ) ( / ) 1 ( / ) ( )n n n n n nP L E P L E P L E P T

11

1 1

( ) ( / )( / )

( ) ( / ) ( ) ( / )

nn n

n n

P L P C LP L C

P L P C L P U P C U

11

1 1

( ) ( / )( / )

( ) ( / ) ( ) ( / )

nn n

n n

P L P E LP L E

L P E L P U P E U

E -> Error;C-> accincorrecta;

L-> EstadoAprendido;

U-> Estado noAprendido,

n-> etapa n-simade aplicacin de unaregla;

T-> transicin del

estado U al estado Ldado la oportunidadde aplicar la regla.


23/68

Inferencia basada en probabilidad endiagnstico cognitivo.

Mislevy

(1995)

Espacio de modelos de estudiantes: caracterizacin

simplificada de los conocimientos de los estudiantes, habilidades,y/o estrategias, indexadas por variables que indican sus aspectosclave.

A partir de la teora y datos, se postulan probabilidades para lasformas en que los estudiantes con diferentes configuraciones enel espacio resolvern problemas, respondern preguntas, etc.

La aplicacin de teora de probabilidades permite asignar a lasobservaciones de las acciones de un estudiante valores ms

probables de los parmetros en un modelo de estudiante.


24/68

Redes de Inferencia.

Mislevy

(1995)

Independencia Condicional: Un conjunto de variables puedeestar relacionado en una poblacin, pero son independientesdado un segundo conjunto de variables.

La representacin recursiva y las relaciones de independenciay dependencia condicional simplifican en gran medida la

expresin de la distribucin conjunta.

Representacin Recursiva de la distribucin conjunta de lasvariables:

1 2 1 1

1

( , ,..., ) ( / ,..., )n

n j j

j

X X X P X X X


25/68

Redes de Inferencia.Mislevy

(1995)

La red se puede representar por un grafo dirigido acclico

Las direcciones indican que variables son escritas cmocondicionales en otras en la representacin.

Acclico

refiere a que no se pueden dar ciclos de dependenciaentre las variables.

Cada variable es un nodo en el grafo.

La direccin de la flecha va de los eventos condicionantes alos eventos condicionados.


26/68


Mislevy

(1995)

Cliques:subconjunto de variables que estn todas ligadas porpares unas a las otras.

Interseccin de cliques: conjunto de variables comunes ados cliques.

Cliques

y Intersecciones de Cliques

son la estructura para laactualizacin local de la red.

Representacin conjunta del rbol

representa la estructuraconectada en forma simple (por un solo camino) de cliques

yintersecciones de cliques.

R d d I f i


27/68


Mislevy

(1995)

Tablas Potenciales

contienen distribucin conjunta de cliquesy intesecciones.

Las tablas potenciales

se usan para hacer actualizacioneslocales de la red.

Las actualizaciones se realizan cada vez que se recoge nuevaevidencia, esto es cada vez que una variable observable cambia

de valor.

A li i l di ti iti


28/68

Aplicacin al diagnstico cognitivo.Mislevy

(1995)

Universo de modelos de estudiantes: es un supermodeloque est

indexado por parmetros que significan distincionesentre estados de comprensin.

es un vector de parmetros del modelo de estudiante.

Los parmetros en

pueden ser cuantitativos o cualitativos, ylos cualitativos pueden ser ordenados, parcialmente ordenados

o no ordenados.

El problema de modelizacin

es delinear los estados oniveles de comprensin en el dominio de aprendizaje.

A li i l di ti iti


29/68

Aplicacin al diagnstico cognitivo.

Mislevy

(1995)

Modelo de rendimiento

consiste de una base de

conocimiento y reglas de manipulacin que pueden serejecutadas en un dominio de inters.

El problema de construccin de tareas

es la elaboracin

de situaciones para las cuales los estudiantes que difieren enlos parmetros del espacio es probable que se comporten enformas observables diferentes.

P(X/), es la probabilidad condicional de diferentescomportamientos dado los estados no observables delestudiante, X representa las observaciones.

A li i l di ti iti


30/68

Aplicacin al diagnstico cognitivo.

Mislevy

(1995)

El problema de inferencia es razonar desde las observaciones

a los modelos de estudiante, para lo cual se usan las redes deinferencia y los cmputos locales.

La construccin del modelo y construccin de tems

definen las variables relevantes (variables del modelo deestudiante y las variables observables X) y proveen de lasprobabilidades condicionales.

A li i l di ti C iti


31/68

Aplicacin al diagnstico Cognitivo.Mislevy

(1995)

P( ) y P(X/ )

implican lo que se espera inicialmente para lo

que se puede observar a partir de un estudiante.

Una vez que se tienen nuevas observaciones se revisan las

probabilidades sobre la red para hacer inferencias acerca dedado X

mediante P(/ X )

P(X/ ) P( ).

P(/ X ) carcteriza la creencia acerca de un modelo particularde estudiante despus de haber observado una muestra de elcomportamiento del estudiante.


32/68

Atributos Psicomtricos

At ib t i t i


33/68

Atributos psicomtricos.

Los atributos caracterizan los tems de un test.

Los atributos pueden ser interpretados como procesoscognitivos o habilidades que son requeridos para undesempeo correcto en un tem particular de un test.

Un atributo puede ser tambin una produccin individualen un modelo de sistema de produccin de habilidad.

Un atributo puede ser en otros casos conceptos ms vagoscomo aprendizaje de fracciones

o habilidades derazonamiento matemtico.


34/68

Rule

Space

Model.

Kikumi

K. Tatsuoka


35/68

Rule

Space

Model.

Kikumi

K. Tatsuoka

El anlisis de espacio de reglas

es una aproximacin probabilistica a la

evaluacin diagnstica cognitiva cuyo propsito es identificar los estados deconocimiento de los examinados, basndose en el anlisis de los requerimientoscognitivos de la tarea, tambin llamados atributos.

Un atributo de una tarea es una expresin de una dimensin latente de la tareaque es requerida en orden de completar la tarea exitosamente.

Algunos ejemplos de tipos de atributos son: procedimientos, heursticas,estrategias, habilidades, y otros conocimientos componentes.


36/68

Rule

Space

Model.

Kikumi

K. Tatsuoka

El modelo de espacio de reglas permite el mapeo de patrones de atributos(estados de conocimiento) en patrones ideales de escores de tems,

correspondientes a los diversos estados de conocimiento.

Los atributos de una tarea se definen a partir del conocimiento

del dominioevaluado y del conocimiento de la psicologa cognitiva relevante para la tarea.


37/68

Modelos Multidimensionales deTeora de Respuesta a los tems.

(MIRT)

M d l M ltidi i l d T d


38/68

Modelos Multidimensionales de Teora deRespuesta a los tems.

Se asume que la respuesta a un tem depende de la posicindel sujeto en un espacio latente multidimensional en el cual serepresenta la habilidad del sujeto para respondercorrectamente a un tem.

Modelos Compensatorios

vs Parcialmente

Compensatorios.


39/68

Modelos Multidimensionales de

Teora de Respuesta a los tems.

'

'

exp( 1| , , )

1 exp

j i j

ij i j j

j i j

P x

1,...,j j jK j

1,...,i i iK


40/68

Discriminacin Multidimensional del

tem.

2

1

F

j ij

f

A

Aj

es la capacidad de un tem de

discriminar individuos a travs de las F-

dimensiones del espacio latente

Aj

es una funcin de la pendiente de la superficie de respuestaa los tems (SRI) definida por el modelo en el punto dondeocurre el mximo de las pendientes mximas, en la direccin

indicada por la localizacin multidimensional.

Este punto ocurre sobre la lnea de inflexin de la SRI.


41/68

Dificultad Multidimensional del tem:

MDIFF.

La localizacin multidimensional de un tem

est

dada por,

y sus cosenos directores.

Indica la distancia a partir del origen en el espacio alpunto de mxima pendiente (las discriminacionesmximas de los items) en una direccin particular a partir

del origen.

j

j

j


42/68

Direccin de la pendiente mxima a

partir del origen.

2

1

cos( ) jf

jf

F

jf

f


43/68

tem-vectores

El origen del vector esta dado por la dificultad

multidimensional , esto es, la distancia del origen del espacio alpunto de mxima pendiente.

Su longitud est

dada por Aj.

La direccin se deriva de los cosenos directores.


44/68

Ejemplo: Modelizacin

del patrn de

respuesta de un test

de Evaluacin de laParidad. Existen dos grandes tipos de modelos de evaluacin de la paridad.

Uno se basa en asumir que la extraccin de la paridad involucra alguna forma declculo mental. De acuerdo a dicha hiptesis se espera que exista un efecto

denominado efecto del tamao, en el cual existe una relacin montona crecienteentre la magnitud de los nmeros y los tiempos de respuesta y la frecuencia deerrores, y la magnitud del nmero es entonces una variable relevante para explicartiempos de respuesta y tasas de error .

Otro tipo de modelos considera que en la extraccin de la paridad estainvolucrada la recuperacin de informacin de la paridad de un nmero, a partir deuna memoria semntica almacenada en la memoria a largo plazo, y queposiblemente involucra otras propiedades del nmero.


45/68

i v

1 42 7

3 9

4 6

5 33

6 747 86

8 149 51

10 38

i v

11 2712 66

13 58

14 40

15 71

16 8517 123

18 26919 496

20 346

Tarea de Evaluacin de laParidad

Los tems se presentan en forma visual, enun test

psicomtrico

convecional.

Al principio del test

se encuentra unaconsigna que explica en que consiste latarea y define las restricciones que existen ala forma de respuesta a los tems.

La consigna fue leda por un evaluadorpreviamente.

La respuesta a cada tems se hizo

escribiendo una P

para indicar un nmeropar, y una I

para indicar un nmero impar.

RESULTADOS: Test de Evaluacin de la Paridad


46/68

Figura 1. Parmetros estimados para el modelo MIRT para la solucin de 2 y 3 dimensiones.

Valores ms negativos de MDIFF corresponden a tems de menor dificultad. Con azul se

sealan los tems ms fciles y con rojo los ms difciles dentro de cada grupo de tems (1

cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el tem ms difcil (celeste) y

ms fcil (rosa).

Figura 1. Parmetros estimados para el modelo MIRT para la solucin de 2 y 3 dimensiones.

Valores ms negativos de MDIFF corresponden a tems de menor dificultad. Con azul se

sealan los tems ms fciles y con rojo los ms difciles dentro de cada grupo de tems (1

cifra, 2 cifras, 3 cifras).Los valores sombreados corresponden a el tem ms difcil (celeste) y

ms fcil (rosa).

RESULTADOS: Test

de Evaluacin de la Paridad.


47/68

Ejemplo de Curvas Obtenidas.

4


48/68


7


49/68


9


50/68


6


51/68


38


52/68


27

Modelizacin Cognitiva de los tems


53/68

Modelizacin

Cognitiva de los tems.

La aproximacin seguida para elaborar un modelo cognitivo de lasrespuestas a los tems se bas

en la idea usada por Embretson

deanalisar el efecto de factores de complejidad cognitiva.

Tatsuoka

(rule

space

methods) usa tambin una aproximacin similarpara evaluar las matrices Q o de incidencia de atritutos

cognitvos

de lostems de un test. Usa un modelo de regresin lineal que considera lavariable respuesta dificultad unidimensional del tem, y las columnasde la matriz Q de atributos cognitivos como variables explicativas(considera R2 y R2ajustado para comparar entre modelos).

Para Tatsuoka

la matriz Q es una definicin operativa del modelocognitivo utilizado.

En este caso se utiliz

como medida para caracterizar el procesamiento

de informacin cogntiva

el MDIFF.Se consideraron todos los factores de complejidad cognitiva de acuerdoa las dos hiptesis alternativas.

Se incluyeron en el modelo todos aquellos factores de complejidadcognitiva que tuvieran algn efecto en el MDIFF o bien si actan comofactores de confusin.

Modelizacin Cognitiva de los tems


54/68

Modelizacin


El enfoque seguido se basa en la Teora de procesamiento deinformacin cognitiva.

Informacin cognitiva.

La informacin

refiere a las representaciones derivadas por un sujeto apartir de la estimulacin ambiental o a partir del procesamiento dedichas influencias que producen selecciones entre opciones alternativaspara la creencia o la accin.

Procesamiento de informacin Cognitiva.Elprocesamiento de informacin

refiere a cmo la informacin esmodificada para que sta eventualmente produzca su influenciaobservada.

Modelos de Procesamiento de informacin cognitiva.

Los modelos de procesamiento de informacin

son descripcionestericas de una secuencia de pasos o etapas a travs de la cual esteprocesamiento es llevado a cabo.


55/68

Modelizacin


Figura 4.

Modelo final de MDIFF, tabla anova

para el modelo y tabla de estimacin de los coeficientes del modelo. E(MDIFF) es el valor esperado de acuerdo al modelo. El modelo explicaun 82,7% de la varianza de MDIFF y el efecto conjunto de las variables explicativas es altamente significativo, valor-p


56/68

pEstructura Dimensional.

Una aproximacin a la determinacin de la dimensin del espaciolatente necesario para modelar bien las relaciones en los datos eshacer un anlisis de cluster de una medida de similaridad

de los

constructos

medidos por los tems.

El nmero de cluster encontrados es un lmite superior para ladimensin del espacio latente.

El nmero de dimensiones se puede determinar usando anlisis decluster comparando los resultados de anlisis con diferente nmero dedimensiones.

Si los anlisis de cluster son esencialmente los mismos paradiferentes nmeros de dimensiones, el menor nmero de dimensionesusado para el anlisis es suficiente para modelizar

las relaciones en lamatriz de datos.

Medidas de Similaridad


57/68


ngulo entre cada par de vector-item

(Miller

y Hirsch, 1992)

'12 1 2cos(cos cos )ar

'1 2

12

2 2

1 21 1

cosm m

l ll l

a a

a a



58/68


Covarianza

condicional entre items.

0

[cov( , )] ( ) cov( , )n

i j i j

k

E U U Y P Y k U U Y k

Y = nmero de respuestascorrectas.


59/68

Mtodos de Anlisis de Cluster.

Kim

(2001) encontr

que el mtodo que parece funcionar mejor conel ngulo entre tems es el mtodo de Ward

(1963).

Roussos

(1998) encontr

que el mtodo que parece funcionar mejorcon covarianzas

condicionales es unweighted pair-group method ofaverages (UPGMA)(Sokal y Michener 1958).


60/68

Ejemplo: Dimensin del espacio

latente en el Test

de Paridad.

Se aplic

cmo medida de similaridad

el ngulo entre tems y elmtodo de anlisis de cluster fue el mtodo de anlisis de cluster

gerrquico

de Ward.

Para ello se compara la solucin para d=2,3,4,5 y 6.

Test de Evaluacin de la Paridad: Grfico


61/68

-4 -2 0 2 4

-4

-2

0

2

4

1

21 234

5

6

7

89

10

12

13

14

15

16

17

181920

Test

de Evaluacin de la Paridad: GrficoVectorial en 2 dimensiones.

i v1 4

2 73 9

4 65 33

6 74

7 868 14

9 5110 38

i v

11 27

12 6613 58

14 4015 71

16 85

17 123

18 269

19 49620 346

Cluster Dendrogram


62/68

40

85 7

438

14

123

71

86

269 6

6

346 7

496

4 633

51

27 9

58

0

100

200

300

400

hclust (*, "ward")Valor del tem

He

ight

14

16 6 1

0 817

15 7

18 1

220 2

19

1 4 5 911 3

13

0

100

200

300

400

hclust (*, "ward")Nmero de tem.

He

ight

400

Cluster Dendrogram:2D

300



63/68

40

85

74

38

14

123

71

86

269

66

346 7

496 4 6

33

51

27 9

58

0

100

200

300

4


H

eight

58

346

86

14

496

74

38

951 4 6 4

07

66 8

5

269

27

123 3

371

0

10

0

200


Height

496

86

14

58

346

74

38 6 4 9 4

07

66 8

5

269

123

27

71 3

351

0

50

150

2

50



He

ight

74

496

58

346 3

8

86

14 3

39 6

4

66

740 8

5

269

27

123

51

71

0

50

150



Height

300


250



64/68

58

346

86

14

496

74

38

951 4 6 4

07

66 8

5

269

27

123 3

371

0

10

0

200


Heig

ht

496

86

14

58

346

74

38 6 4 9 4

07

66 8

5

269

123

27

71 3

351

0

50

150

2

hclust (*, "ward")

Valor del tem

H

eight

74

496

58

346 3

8

86

14 3

39 6

4

66

740 8

5

269

27

123

51

71

0

50

150



Height

74

496 1

4

86

38

58

346

9 6

466

740 8

5

269

27

123 3

3

51

71

0

50

100

150

2

00



He

ight

Resumen de la interpretacin de los


65/68

dimensin = 2, no captura apropiadamente las

relaciones entre los tems. dimensin = 3, se observa una mejora importante.

dimensin = 4 y 5 una mejora relativamente pequearespecto a dimensin = 3, pero poco diferencia entre d=4

y d=5.

Resumen de la interpretacin de losresultados anteriores.

Resumen de la interpretacin de los


66/68

Cluster 1: Contiene tems de una sola cifra, 66, 40.

Resumen de la interpretacin de losresultados anteriores.

Cluster 2: Contiene tems pares

de mltiples cifras: ej.38.

Cluster 3: Contiene tems impares

de mltiples cifras:ej. 27.

Una hiptesis de Trabajo y muchas preguntas.


67/68

Codificacin delestmulo

Extraccinde la paridadde cadacifra.

Procesamiento

Sintctico

Respuesta

Extraccin dela magnitudde cada cifra


68/68

Gracias

evaluacion-diagnostica-cognitiva

Documents