anÁlisis de un test en la teorÍa de la respuesta al Ítem · aunque el conjunto total de datos...

15
ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM UTILIZANDO EL PROGRAMA BILOG-MG. El programa más utilizado para el análisis de tests formados por ítems dicotómicos es el programa BILOG, actualmente incluido en el programa BILOG-MG (que además permite el análisis multi-grupo). El programa proporciona estadísticos de la TCT, estimadores de los parámetros de la TRI, según el modelo seleccionado, así como funciones de información, error típico y estimadores de la habilidad (θ). Para ítems politómicos deberán utilizarse otros programas como PARSCALE o MULTILOG. 1. Preparación de los datos Los archivos de datos para analizar con BILOG-MG deben ser datos ASCII (también llamados MSDOS, texto, etc..), es decir, archivos en texto plano (sin caracteres de formato). La mayor parte de los programas (por ejemplo el SPSS) permiten exportar a este formato. Pueden grabarse con TextPad o Bloc de Notas. En la figura puede verse el archivo de datos tratado anteriormente con SPSS en dicho formato. Puede observarse que aparecen unos caracteres alfabéticos que corresponderían a un identificador de sujeto, con variable cadena, que es requerido por el programa. En la parte superior del archivo, coincidiendo con cada uno de los ítems, se presenta su clave de respuesta correcta. En este caso, como ya están expresados como “0” y “1”, la clave de respuesta correcta es 1. Si partiésemos del archivo original, con las respuestas a las opciones, se incluiría la clave de la respuesta correcta. Si hubiese omisiones o no alcanzados, se añadirían las líneas OMIT KEY y encima de los ítems, la clave de la omisión. NOT Presented Key y encima de cada ítem la correspondiente clave. 1

Upload: others

Post on 27-Apr-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM UTILIZANDO EL PROGRAMA BILOG-MG. El programa más utilizado para el análisis de tests formados por ítems dicotómicos es el programa BILOG, actualmente incluido en el programa BILOG-MG (que además permite el análisis multi-grupo). El programa proporciona estadísticos de la TCT, estimadores de los parámetros de la TRI, según el modelo seleccionado, así como funciones de información, error típico y estimadores de la habilidad (θ). Para ítems politómicos deberán utilizarse otros programas como PARSCALE o MULTILOG.

1. Preparación de los datos Los archivos de datos para analizar con BILOG-MG deben ser datos ASCII (también llamados MSDOS, texto, etc..), es decir, archivos en texto plano (sin caracteres de formato). La mayor parte de los programas (por ejemplo el SPSS) permiten exportar a este formato. Pueden grabarse con TextPad o Bloc de Notas. En la figura puede verse el archivo de datos tratado anteriormente con SPSS en dicho formato.

Puede observarse que aparecen unos caracteres alfabéticos que corresponderían a un identificador de sujeto, con variable cadena, que es requerido por el programa. En la parte superior del archivo, coincidiendo con cada uno de los ítems, se presenta su clave de respuesta correcta. En este caso, como ya están expresados como “0” y “1”, la clave de respuesta correcta es 1. Si partiésemos del archivo original, con las respuestas a las opciones, se incluiría la clave de la respuesta correcta. Si hubiese omisiones o no alcanzados, se añadirían las líneas OMIT KEY y encima de los ítems, la clave de la omisión. NOT Presented Key y encima de cada ítem la correspondiente clave.

1

Page 2: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

2. Instrucciones A diferencia del SPSS, el programa BILOG, igual que los restantes utilizados en el ámbito de la TRI, no funcionan por selección desde el Menú, sino que requiere escribir una Sintaxis, con una serie de comandos, que se pueden consultar en el correspondiente Manual. Todos los comandos comienzan con > y finalizan con “;”. Dentro de cada comando existen opciones (diferentes formas de ejecución) que se encuentran separadas por comas. En la figura siguiente se presenta el conjunto de instrucciones básico para analizar un test como el que nos ocupa.

3. Resultados del programa BILOG-MG El programa proporciona 3 ficheros de resultados, etiquetados con las extensiones de PH1 (fase 1, correspondiente a los análisis de la TCT); PH2 (fase 2), correspondientes a la estimación de parámetros de los ítems y PH3 (fase 3) donde se recogen los datos de información y los estimadores de la habilidad y correspondientes errores típicos. Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados sobre una muestra aleatoria de N=1000, seleccionados aleatoriamente por el programa. La razón de la selección se debe a la sensibilidad de los estadísticos de ajuste basados en ji-cuadrado al tamaño muestral. En la tabla 1 se incluyen los estadísticos de la TCT.

2

Page 3: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

Tabla 1. Resultados PH1. Estadísticos de la TCT ITEM STATISTICS FOR SUBTEST RAZONAM (N) Aciertos ID bis-puntual ITEM NAME #TRIED #RIGHT PCT LOGIT/1.7 PEARSON BISERIAL ------------------------------------------------------------------------- 1 RA01 1000.0 595.0 59.5 -0.23 -0.067 -0.085 2 RA02 1000.0 945.0 94.5 -1.67 0.186 0.380 3 RA03 1000.0 758.0 75.8 -0.67 0.199 0.273 4 RA04 1000.0 417.0 41.7 0.20 0.249 0.314 5 RA05 1000.0 344.0 34.4 0.38 0.285 0.368 6 RA06 1000.0 506.0 50.6 -0.01 0.243 0.304 7 RA07 1000.0 943.0 94.3 -1.65 0.329 0.665 8 RA08 1000.0 758.0 75.8 -0.67 0.454 0.623 9 RA09 1000.0 852.0 85.2 -1.03 0.356 0.547 10 RA10 1000.0 771.0 77.1 -0.71 0.330 0.457 11 RA11 1000.0 624.0 62.4 -0.30 0.434 0.553 12 RA12 1000.0 683.0 68.3 -0.45 0.368 0.481 13 RA13 1000.0 507.0 50.7 -0.02 0.335 0.420 14 RA14 1000.0 651.0 65.1 -0.37 0.445 0.574 15 RA15 1000.0 623.0 62.3 -0.30 0.426 0.544 16 RA16 1000.0 876.0 87.6 -1.15 0.424 0.683 17 RA17 1000.0 814.0 81.4 -0.87 0.392 0.569 18 RA18 1000.0 493.0 49.3 0.02 0.344 0.431 19 RA19 1000.0 379.0 37.9 0.29 0.306 0.390 20 RA20 1000.0 345.0 34.5 0.38 0.320 0.413 21 RA21 1000.0 589.0 58.9 -0.21 0.411 0.520 22 RA22 1000.0 269.0 26.9 0.59 0.190 0.256 23 RA23 1000.0 686.0 68.6 -0.46 0.438 0.573 24 RA24 1000.0 544.0 54.4 -0.10 0.378 0.475 25 RA25 1000.0 506.0 50.6 -0.01 0.335 0.420 -------------------------------------------------------------------------

Tabla 2. Resultados fase 2: Estimadores de los parámetros de los ítems del modelo de 3PL y estadísticos de ajuste de los ítems al modelo. Estos son los puntos de cuadratura en que se divide el rango de θ para la estimación de MVMarginal. QUADRATURE POINTS AND PRIOR WEIGHTS: 1 2 3 4 5 POINT -0.4000E+01 -0.3733E+01 -0.3467E+01 -0.3200E+01 -0.2933E+01 WEIGHT 0.3569E-04 0.1001E-03 0.2614E-03 0.6358E-03 0.1440E-02 6 7 8 9 10 POINT -0.2667E+01 -0.2400E+01 -0.2133E+01 -0.1867E+01 -0.1600E+01 WEIGHT 0.3039E-02 0.5972E-02 0.1093E-01 0.1863E-01 0.2958E-01 11 12 13 14 15 POINT -0.1333E+01 -0.1067E+01 -0.8000E+00 -0.5333E+00 -0.2667E+00 WEIGHT 0.4374E-01 0.6023E-01 0.7725E-01 0.9228E-01 0.1027E+00 16 17 18 19 20 POINT -0.7772E-15 0.2667E+00 0.5333E+00 0.8000E+00 0.1067E+01 WEIGHT 0.1064E+00 0.1027E+00 0.9228E-01 0.7725E-01 0.6023E-01 21 22 23 24 25 POINT 0.1333E+01 0.1600E+01 0.1867E+01 0.2133E+01 0.2400E+01 WEIGHT 0.4374E-01 0.2958E-01 0.1863E-01 0.1093E-01 0.5972E-02 26 27 28 29 30 POINT 0.2667E+01 0.2933E+01 0.3200E+01 0.3467E+01 0.3733E+01 WEIGHT 0.3039E-02 0.1440E-02 0.6358E-03 0.2614E-03 0.1001E-03

3

Page 4: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

Últimos ciclos del algoritmo EM y ciclos NEWTON para la estimación de los parámetros CYCLE 11; LARGEST CHANGE= 0.00229 -2 LOG LIKELIHOOD = 26830.240 CYCLE 12; LARGEST CHANGE= 0.00141 -2 LOG LIKELIHOOD = 26830.240 CYCLE 13; LARGEST CHANGE= 0.00088 [NEWTON CYCLES] -2 LOG LIKELIHOOD: 26830.2253 CYCLE 14; LARGEST CHANGE= 0.00137 -2 LOG LIKELIHOOD: 26830.2256 CYCLE 15; LARGEST CHANGE= 0.00048

Frecuencias de los intervalos en que se divide la habilidad para calcular los estadísticos ji-cuadrado de ajuste y valores promedio de θ INTERVAL COUNTS FOR COMPUTATION OF ITEM CHI-SQUARES ---------------------------------------------------------------------------- 62. 41. 63. 115. 182. 205. 167. 87. 78. ---------------------------------------------------------------------------- INTERVAL AVERAGE THETAS ---------------------------------------------------------------------------- -2.321 -1.524 -1.079 -0.627 -0.205 0.225 0.654 1.092 1.712 ---------------------------------------------------------------------------- Tabla 2. Resultados Fase 2. Estimadores de los parámetros y bondad de ajuste SUBTEST RAZONAM ; ITEM PARAMETERS AFTER CYCLE 15 Ji-cuad (p-valor) Intercepto ai bi Saturación ci gl ITEM INTERCEPT SLOPE THRESHOLD LOADING ASYMPTOTE CHISQ DF S.E. S.E. S.E. S.E. S.E. (PROB) ------------------------------------------------------------------------------- RA01 | -0.878 | 0.154 | 5.687 | 0.153 | 0.500 | 32.5 9.0 | 0.494* | 0.045* | 3.214* | 0.044* | 0.078* | (0.0002) | | | | | | RA02 | 1.825 | 0.634 | -2.879 | 0.535 | 0.196 | 4.9 7.0 | 0.133* | 0.095* | 0.382* | 0.081* | 0.088* | (0.6698) | | | | | | RA03 | 0.571 | 0.441 | -1.294 | 0.404 | 0.181 | 7.7 9.0 | 0.100* | 0.060* | 0.319* | 0.055* | 0.080* | (0.5674) | | | | | | RA04 | -0.609 | 0.594 | 1.025 | 0.511 | 0.170 | 8.9 9.0 | 0.177* | 0.118* | 0.181* | 0.102* | 0.051* | (0.4501) | | | | | | RA05 | -1.100 | 0.925 | 1.190 | 0.679 | 0.171 | 13.7 9.0 | 0.233* | 0.188* | 0.118* | 0.138* | 0.033* | (0.1331) | | | | | | RA06 | -1.077 | 0.917 | 1.174 | 0.676 | 0.367 | 5.9 9.0 | 0.321* | 0.235* | 0.161* | 0.173* | 0.039* | (0.7529) | | | | | | RA07 | 2.495 | 1.256 | -1.987 | 0.782 | 0.167 | 3.9 5.0 | 0.222* | 0.175* | 0.174* | 0.109* | 0.076* | (0.5614) | | | | | |

4

Page 5: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

RA08 | 0.688 | 0.849 | -0.809 | 0.647 | 0.181 | 6.9 8.0 | 0.098* | 0.104* | 0.169* | 0.079* | 0.070* | (0.5514) | | | | | | RA09 | 1.165 | 0.747 | -1.560 | 0.598 | 0.160 | 3.9 8.0 | 0.096* | 0.085* | 0.201* | 0.068* | 0.072* | (0.8641) | | | | | | RA10 | 0.761 | 0.639 | -1.192 | 0.538 | 0.114 | 21.3 9.0 | 0.075* | 0.070* | 0.177* | 0.059* | 0.054* | (0.0112) | | | | | | RA11 | 0.227 | 0.800 | -0.283 | 0.625 | 0.117 | 15.1 9.0 | 0.087* | 0.101* | 0.127* | 0.079* | 0.051* | (0.0877) | | | | | | RA12 | 0.451 | 0.754 | -0.599 | 0.602 | 0.109 | 11.4 8.0 | 0.076* | 0.089* | 0.135* | 0.071* | 0.050* | (0.1800) | | | | | | RA13 | -0.225 | 0.592 | 0.380 | 0.510 | 0.146 | 8.9 9.0 | 0.127* | 0.096* | 0.177* | 0.082* | 0.057* | (0.4498) | | | | | | RA14 | 0.364 | 0.902 | -0.404 | 0.670 | 0.103 | 6.3 8.0 | 0.078* | 0.105* | 0.109* | 0.078* | 0.045* | (0.6176) | | | | | | RA15 | 0.048 | 0.844 | -0.057 | 0.645 | 0.214 | 4.9 8.0 | 0.130* | 0.143* | 0.161* | 0.109* | 0.063* | (0.7686) | | | | | | RA16 | 1.595 | 1.056 | -1.511 | 0.726 | 0.118 | 14.9 7.0 | 0.104* | 0.097* | 0.133* | 0.067* | 0.055* | (0.0374) | | | | | | RA17 | 1.200 | 1.067 | -1.125 | 0.730 | 0.097 | 13.4 7.0 | 0.086* | 0.105* | 0.111* | 0.072* | 0.045* | (0.0624) | | | | | | RA18 | -0.345 | 0.796 | 0.433 | 0.623 | 0.162 | 15.5 9.0 | 0.137* | 0.126* | 0.129* | 0.099* | 0.048* | (0.0770) | | | | | | RA19 | -0.635 | 0.730 | 0.870 | 0.590 | 0.111 | 11.4 9.0 | 0.142* | 0.119* | 0.120* | 0.096* | 0.038* | (0.2477) | | | | | | RA20 | -1.227 | 1.044 | 1.175 | 0.722 | 0.183 | 10.9 9.0 | 0.273* | 0.227* | 0.111* | 0.157* | 0.031* | (0.2840) | | | | | | RA21 | 0.109 | 0.960 | -0.113 | 0.693 | 0.114 | 19.6 9.0 | 0.087* | 0.106* | 0.098* | 0.077* | 0.041* | (0.0207) | | | | | | RA22 | -2.162 | 1.120 | 1.930 | 0.746 | 0.209 | 8.8 9.0 | 0.572* | 0.355* | 0.204* | 0.236* | 0.023* | (0.4521) | | | | | | RA23 | 0.503 | 1.011 | -0.497 | 0.711 | 0.119 | 13.2 8.0 | 0.082* | 0.121* | 0.110* | 0.085* | 0.049* | (0.1039) | | | | | | RA24 | -0.172 | 0.830 | 0.207 | 0.639 | 0.170 | 14.2 9.0 | 0.130* | 0.132* | 0.135* | 0.102* | 0.053* | (0.1144) | | | | | | RA25 | -0.140 | 0.733 | 0.192 | 0.591 | 0.092 | 12.5 9.0 | 0.090* | 0.091* | 0.111* | 0.073* | 0.040* | (0.1857) -------------------------------------------------------------------------------

Finalmente, el programa proporciona un resumen de los parámetros para el test total. PARAMETER MEAN STN DEV ----------------------------------- ASYMPTOTE 0.171 0.089 SLOPE 0.816 0.234 LOG(SLOPE) -0.264 0.410 THRESHOLD -0.002 1.649 Puede observarse en la media de Threshold (parámetro b) que en promedio el test tiene una dificultad media, ya que la media de los parámetros de dificultad de los ítems está en torno a 0, en escala de puntuaciones típicas.

5

Page 6: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

El programa dispone de un interface gráfico que permite representar las CCI, funciones de información del ítem, así como las funciones de información y error típico del test total. A continuación se presentan dichas representaciones gráficas para algunos ítems seleccionados.

3-Parameter Model, Normal Metric Item: 1Subtest: RAZONAM Chisq = 32.48 DF = 9.0 Prob< 0.0002

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

Ability

Prob

abili

tyItem Characteristic Curv e: RA01

a = 0.154 b = 5.687 c = 0.500

3-Parameter Model, Normal Metric Item: 2Subtest: RAZONAM Chisq = 4.92 DF = 7.0 Prob< 0.6698

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curv e: RA02 a = 0.634 b = -2.879 c = 0.196

6

Page 7: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

3-Parameter Model, Normal Metric Item: 3Subtest: RAZONAM Chisq = 7.67 DF = 9.0 Prob< 0.5674

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curv e: RA03 a = 0.441 b = -1.294 c = 0.181

3-Parameter Model, Normal Metric Item: 4Subtest: RAZONAM Chisq = 8.86 DF = 9.0 Prob< 0.4501

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curv e: RA04 a = 0.594 b = 1.025 c = 0.170

3-Parameter Model, Normal Metric Item: 6Subtest: RAZONAM Chisq = 5.87 DF = 9.0 Prob< 0.7529

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curve: RA06 a = 0.917 b = 1.174 c = 0.367

7

Page 8: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

3-Parameter Model, Normal Metric Item: 7Subtest: RAZONAM Chisq = 3.92 DF = 5.0 Prob< 0.5614

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curv e: RA07 a = 1.256 b = -1.987 c = 0.167

El programa también proporciona las funciones de información de los ítems

Scaling of the Information axis Item: 1The axis range is based on the maximum of the information values over all the itemsused in the analysis. (Item 7 contains the maximum value in this case)

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Inf

orm

atio

n

Item Information Curv e: RA01

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA02

8

Page 9: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA03

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curv e: RA04

Scaling of the Information axis Item: 4The axis range is based on the maximum of the information values over all the itemsused in the analysis. (Item 7 contains the maximum value in this case)

Scaling of the Information axis Item: 6The axis range is based on the maximum of the information values over all the itemsused in the analysis. (Item 7 contains the maximum value in this case)

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curv e: RA06

9

Page 10: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA07

También proporciona gráficos conjuntos de CCI e Información:

3-Parameter Model, Normal Metric Item: 1The parameter a is the item discriminating power, the reciprocal (1/a) is the itemdispersion, b is an item location parameter and c the guessing parameter.

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA01

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

Ability

Prob

abili

ty

Item Characteristic Curve: RA01 a = 0.154 b = 5.687 c = 0.500

3-Parameter Model, Normal Metric Item: 2The parameter a is the item discriminating power, the reciprocal (1/a) is the itemdispersion, b is an item location parameter and c the guessing parameter.

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA02

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curve: RA02 a = 0.634 b = -2.879 c = 0.196

10

Page 11: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

3-Parameter Model, Normal Metric Item: 3The parameter a is the item discriminating power, the reciprocal (1/a) is the itemdispersion, b is an item location parameter and c the guessing parameter.

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA03

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curve: RA03 a = 0.441 b = -1.294 c = 0.181

3-Parameter Model, Normal Metric Item: 4The parameter a is the item discriminating power, the reciprocal (1/a) is the itemdispersion, b is an item location parameter and c the guessing parameter.

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA04

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curve: RA04 a = 0.594 b = 1.025 c = 0.170

3-Parameter Model, Normal Metric Item: 6The parameter a is the item discriminating power, the reciprocal (1/a) is the itemdispersion, b is an item location parameter and c the guessing parameter.

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA06

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abil

ity

Item Characteristic Curve: RA06 a = 0.917 b = 1.174 c = 0.367

11

Page 12: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

3-Parameter Model, Normal Metric Item: 7The parameter a is the item discriminating power, the reciprocal (1/a) is the itemdispersion, b is an item location parameter and c the guessing parameter.

-3 -2 -1 0 1 2 30

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

Scale Score

Info

rmat

ion

Item Information Curve: RA07

0

0.2

0.4

0.6

0.8

1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Prob

abili

ty

Item Characteristic Curve: RA07 a = 1.256 b = -1.987 c = 0.167

Funciones de información y error típico para el test total

Test information curve: solid line Standard error curve: dotted lineThe total test information for a specific scale score is read from the left vertical axis.The standard error for a specific scale score is read from the right vertical axis.

-4 -3 -2 -1 0 1 2 3 40

1

2

3

4

5

6

Scale Score

Info

rmat

ion

RAZONAM FORM: 1

0

0.53

1.05

1.58

2.11

2.64

Standard Error

Puede verse que el test resulta informativo en un amplio rango de la habilidad, aunque tiene su máximo en el centro entre + y – 1 desviación típica.

12

Page 13: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

Correlación entre el estimador de la habilidad y el % de aciertos al test

Click and drag right mouse button to zoom.Double click the right mouse button to reset.The graph will rescale the axes and the corresponding plot.

Intercept= -3.085 Slope= 0.049 Correlation= 0.970

0 10 20 30 40 50 60 70 80 90 100-3.43

-3.09

-2.74

-2.40

-2.05

-1.71

-1.37

-1.02

-0.68

-0.33

0.01

0.35

0.70

1.04

1.39

1.73

2.07Fitted Values95% C.I.(low)

95% C.I.(up)

Regression of Ability on Percentage Correct. Group: 1

Percentage Correct

Abili

ty

Ajuste a una distribución normal

Histogram of abilities Ability scores are transformed to have a mean of zero and a standard deviation of 1.

The area under the bell-shaped curve equals the total area of the histogram.

-3 -2 -1 0 1 2 30

100

200

300

400

500

Ability

Freq

uenc

y

Gaussian Fit to Ability Scores for Group: 1

Resultados Fase 3: Estimaciones de la información y ESTIMACIONES DE LA HABILIDAD, θ y los errores típicos individualizados

13

Page 14: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

Tabla 3. Estadísticos de información de los ítems ITEM INFORMATION STATISTICS FOR TEST RAZONAM FORM 1 FOR A NORMAL POPULATION WITH MEAN = 0.000 AND S.D. = 1.000 MAXIMUM POINT OF MAXIMUM AVERAGE ITEM STANDARD STANDARD POINT OF INDEX OF

INFORMATION MAX INFORMATION EFFECTIVENESS INFORMATION

ERROR * ERROR * MAX EFFECTIVENESS * RELIABILITY * ---------------------------------------------------------------------------- RA01 | 0.0062 | 7.5211 | 0.0007 | 0.0017 | 0.0026* | 3.3969* | 0.3348* | 0.0017* | | | | RA02 | 0.1993 | -2.6350 | 0.0230 | 0.0518 | 0.0658* | 0.3509* | -0.8390* | 0.0492* | | | | RA03 | 0.0993 | -0.9620 | 0.0354 | 0.0786 | 0.0258* | 0.2896* | -0.2281* | 0.0729* | | | | RA04 | 0.1839 | 1.2599 | 0.0539 | 0.1061 | 0.0542* | 0.1791* | 0.4923* | 0.0959* | | | | RA05 | 0.4454 | 1.3411 | 0.1030 | 0.1642 | 0.1467* | 0.1269* | 0.8169* | 0.1410* | | | | RA06 | 0.2967 | 1.4306 | 0.0626 | 0.0977 | 0.1056* | 0.1702* | 0.8964* | 0.0890* | | | | RA07 | 0.8265 | -1.8773 | 0.0954 | 0.1549 | 0.2345* | 0.1624* | -1.2824* | 0.1341* | | | | RA08 | 0.3685 | -0.6373 | 0.1315 | 0.2323 | 0.0731* | 0.1551* | -0.3448* | 0.1885* | | | | RA09 | 0.2966 | -1.3811 | 0.0759 | 0.1496 | 0.0691* | 0.1860* | -0.6202* | 0.1301* | | | | RA10 | 0.2364 | -1.0302 | 0.0767 | 0.1560 | 0.0509* | 0.1646* | -0.3934* | 0.1349* | | | | RA11 | 0.3693 | -0.1518 | 0.1464 | 0.2614 | 0.0761* | 0.1180* | -0.0780* | 0.2073* | | | | RA12 | 0.3324 | -0.4669 | 0.1259 | 0.2343 | 0.0692* | 0.1254* | -0.2223* | 0.1898* | | | | RA13 | 0.1914 | 0.5913 | 0.0714 | 0.1416 | 0.0461* | 0.1647* | 0.2255* | 0.1240* | | | | RA14 | 0.4819 | -0.2984 | 0.1874 | 0.3182 | 0.0958* | 0.1019* | -0.1695* | 0.2414* | | | | RA15 | 0.3418 | 0.1382 | 0.1356 | 0.2299 | 0.0791* | 0.1407* | 0.0773* | 0.1869* | | | | RA16 | 0.6406 | -1.4105 | 0.1365 | 0.2318 | 0.1243* | 0.1265* | -0.8685* | 0.1882* | | | | RA17 | 0.6814 | -1.0403 | 0.1924 | 0.3138 | 0.1300* | 0.1054* | -0.6559* | 0.2388* | | | | RA18 | 0.3355 | 0.6025 | 0.1216 | 0.2115 | 0.0788* | 0.1192* | 0.3192* | 0.1746* | | | | RA19 | 0.3108 | 1.0081 | 0.0973 | 0.1781 | 0.0823* | 0.1210* | 0.4818* | 0.1512* | | | | RA20 | 0.5542 | 1.3163 | 0.1243 | 0.1836 | 0.1960* | 0.1198* | 0.8780* | 0.1551* | | | | RA21 | 0.5344 | -0.0056 | 0.2132 | 0.3445 | 0.0972* | 0.0916* | -0.0034* | 0.2563* | | | | RA22 | 0.6077 | 2.0744 | 0.0538 | 0.0763 | 0.3296* | 0.2353* | 1.4550* | 0.0709* | | | |

14

Page 15: ANÁLISIS DE UN TEST EN LA TEORÍA DE LA RESPUESTA AL ÍTEM · Aunque el conjunto total de datos incluye más sujetos, los mismos analizados en la TCT, los estimadores están calculados

RA23 | 0.5868 | -0.3921 | 0.2231 | 0.3566 | 0.1155* | 0.1024* | -0.2446* | 0.2628* | | | | RA24 | 0.3594 | 0.3751 | 0.1379 | 0.2356 | 0.0828* | 0.1226* | 0.2060* | 0.1907* | | | | RA25 | 0.3246 | 0.3103 | 0.1266 | 0.2336 | 0.0672* | 0.1059* | 0.1462* | 0.1894* ----------------------------------------------------------------------------

MAXIMUM INFORMATION APPROXIMATELY 0.5491D+01 AT -0.2500 FOR A NORMAL POPULATION WITH MEAN 0.000 AND S.D. 1.000 AVERAGE INFORMATION= 0.4744D+01 AND RELIABILITY INDEX= 0.826 Estimaciones de la habilidad y errors tipicos En la figura siguiente, la primera columna de datos corresponde al número de ítems intentados, la segunda el porcentaje de aciertos, la tercera es la estimación de la habilidad en puntuaciones típicas y la cuarta el error típico de la estimación de la habilidad, o error específico de dicha puntuación

15