s1 pi usach 2014-a(subrrayado)
TRANSCRIPT
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
1/181
SESIÓN N°1: PSICOMETRÍA I
1. Introducción: Definición de Instrumentos o Pruebas
Psicológicas.2. Etapas en la Construcción de una Prueba.3. Fuentes de Error en el Proceso de Medición.4. Poniendo a Prueba los Test .
5. Los modelos de los test.6. Modelos Básico en la Construcción de los Test.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
2/181
¿Qué es la Ciencia?
¿ La Psicologíaes una Ciencia?
DIMENSIONES DE LASESTRATEGIAS
1. Diseño2. Ambiente3. Recopilación de
los datos
METODOLOGÍA NO EXPERIMENTAL*HIPÓTESIS DE COVARIACIÓN
DISEÑOS NO EXPERIMENTALES
CaracterísticasLógica, Determinista, General, Parsimoniosa,Específica, Empírica, Intersubjetiva, Pública
Fases investigaciónPlanteamiento ProblemaFormulación HipótesisElección MetodologíaOPERATIVIZACIÓN VARIABLESMEDICIÓN VARIABLES
EVALUACIÓN MÉTRICA INSTRUMENTOS*Selección muestraRecogida de los datosAnálisis de datosContrastación HipótesisInterpretación resultadosReporte de investigación
Modalidades investigaciónen PsicologíaManipulativo-ExperimentalAsociativo Correlacional
Método CientíficoObjetivos
Describir, Explicar, Predecir, Controlar
METODOLOGÍA EXPERIMENTALHIPÓTESIS CAUSALES
DISEÑOS EXPERIMENTALES - CUASI EXPERIEMNTALES
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
3/181
1. INTRODUCCIÓN: Meta de las Ciencias delComportamiento es el ESTABLECIMIENTO DEPRINCIPIOS GENERALES para:
1. DESCRIBIR.
2. EXPLICAR.
3. PREDECIR
IMPLICA: Recoger y comparar datos (MEDICIÓN).Ejemplo: Estudios de Fester y Skinner (1957) hechossobre el registro de UN CUARTO DE BILLÓN DE
RESPUESTAS.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
4/181
- La rama que se dedica a LOS PROCESOS DEMEDICIÓN en Psicología es la Psicometría.
1
.
1 DISCIPLINA METODOLÓGICA con una doblevertiente:
1. Teórica : Fundamentación teórica de lamedida.
2. Práctica : Construcción, evaluación y
aplicación de instrumentos demedida para EVALUAR o MEDIRCONDUCTAS.
(Escudero y Pérez-Gil, 2007).
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
5/181
Psicologíacomo
Ciencia
OBJETOESTUDIO
MEDICIÓN ENPSICOLOGÍA
Comportamiento Humano(Objeto con características
particulares)
3. ¿Qué es medir?: Establecer correspondencia entre un conjunto particular de elementos reales y otro de elementosformales.* ROL TRADUCTOR AL EXPRESAR DIFERENTES
FENÓMENOS PSICOLÓGICOS EN LENGUAJEFORMAL Y UNIVERSAL*
4. Medir lo Psicológico: Consideraciónde constructos o características latentes (noobservables directamente).
*RELACIONAR CONCEPTOS ABSTRACTOS CONINDICADORES EMPÍRICOS*
1. Precisa de aspectosespecíficos.
2. Precisa de técnicas einstrumentos de medicióndiferentes
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
6/181
1. OBSERVARUNA
CONDUCTA3. INDICADORES2. CONSTRUCTO 4. ITEMS
4.1 ESTRUCTURAFACTORIAL
TEÓRICA
2.1 DEFINICIÓNCONCEPTUAL
2.2DIMENSIONES
5. PRUEBAPILOTO
(MUESTRA No
Objetivo)
6. ANÁLISIS**PUNTUACIONES
DE LOS ITEMS
(PropiedadesMétricas)
4.2 ANÁLISISVALIDEZ
CONTENIDO(JUECES
EXPERTOS)**
7. SELECCIÓNPRELIMINAR DE LOS
ITEMS **
9. ANÁLISIS **PUNTUACIONESÍTEMS Y DE LA
PRUEBA(Propiedades
Métricas)
10. ANÁLISISCOMPLEMENTARIOS
(TEST)
11. DEFINICIÓNOPERACIONAL
**ÍNDICES ESTADÍSTICOS
8. APLICACIÓNPRUEBA (MUESTRA
Objetivo)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
7/181
2 .DEFINICIÓN DE INSTRUMENTOS O PRUEBASPSICOLÓGICAS:
1.2.1 Prueba Psicológica: Es un procedimientoestandarizado para obtener una muestra de conductay describirla con base en categorías o puntuaciones(normas o estándares) que permiten utilizar losresultados para predecir otras conductas.
(Gregory, 2012).
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
8/181
1.2.1.1 Características de las pruebas (Gregory, 2012):
1. Procedimientos Estandarizados.2. Muestra de Conducta.
3. Permite obtener puntuaciones o derivar
categorías.
4. Contemplan Normas o Estándares.
5º Predicen conductas no evaluadas.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
9/181
1.2.1.1 Características de las pruebas (Gregory, 2012):
1. Procedimientos Estandarizados: Implica que losprocedimientos de aplicación de la prueba son
uniformes de un examinador a otro y de una situacióna otra.
- Implica en parte las habilidades del evaluador.
- Depende principalmente de las instrucciones deaplicación.
- Presentar materiales con estímulos similares atodos los aplicadores (psicometristas oevaluadores).
- Aconsejar al evaluador o examinador sobre laforma de manejar diversas dudas del examinado.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
10/181
2. Muestra de Conducta: Es una muestra limitada deconductas dado que existen RESTRICCIONESPRÁCTICAS (el evaluado y el examinador no tienen
tiempo suficiente) para una prueba realmentedetallada de un dominio conductual bien definido yfinito.
- La muestra de conductas es de interés en lamedida que permite hacer inferencias acerca deldominio relevante de conductas.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
11/181
Ejemplo: Se le aplica a un adulto la Escala deInteligencia de Adultos IV (WAIS-IV) y es capaz dedefinir 35 palabras de una sub prueba devocabulario.
Aplicación:
Consecuencias directas: Es un puntaje alto en la subprueba.
Significado Indirecto: El nivel de conocimientogeneral del evaluado.
Cuestión Esencial: Permite predecir conductas que
no se evalúan directamente.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
12/181
3. Permite obtener puntuaciones o derivar categorías:
- Las pruebas psicológicas resumen el desempeño de
los evaluados en números y, posteriormente losclasifican.
- En términos psicométricos, las pruebas miden
diferencias individuales respecto a rasgos ocaracterísticas, las cuales, están presentes endiferente cantidad.
Dos advertencias:
1º Toda puntuación de la prueba reflejará SIEMPREcierto grado de ERROR DE MEDICIÓN.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
13/181
- La IMPRECISIÓN de las pruebas es INEVITABLE.
- Las Pruebas deben basarse en una MUESTRAEXTERNA DE CONDUCTAS para ESTIMAR(paradójicamente) una CONDUCTA NO OBSERVABLE(inferida).
- La TCT la expresa con la ecuación X = V ± e
donde;
X= Es la puntuación observada.
V = Es la puntuación verdadera
e = Componente de error positivo o negativo.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
14/181
- Un Psicómetra y, posteriormente un evaluador tratará que el error sea muy pequeño aunque, nuncase puede eliminar por completo ni esa posible
conocer su efecto exacto sobre el caso individual.
2º Los resultados de un test representan unaABSTRACCIÓN DE LA CONDUCTA OBSERVADA , la
cual, ha demostrado ser útil para PREDECIRCONDUCTAS QUE NO SE EVALÚAN.
- Evitar materializar las características medidas dado
que el Modelo Predictivo está formalizado medianteun Modelo Estadístico, a saber: P (X )
donde: = Conducta No Observada y X = Conducta
Observada.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
15/181
4. Contemplan Normas o Estándares: La puntuación deun sujeto en un test es interpretada al COMPARARLAcon las puntuaciones obtenidas por otros individuos en
el mismo test.
- Los Psicómetras (Diseñadores y Constructores dePruebas) comunican las NORMAS (CRITERIOS
ESTADÍSTICOS), las cuales, son un resumen de losresultados obtenidos en un grupo grande yrepresentativo de sujetos (GRUPO NORMATIVO es unaMUESTRA DE ESTANDARIZACIÓN), la cual, permite
determinar la posición del evaluado con referencia aél.
NORMAS: Establecen desempeño promedio e indican
la frecuencia con que se obtienen distintos puntajes.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
16/181
5º Predicen conductas no evaluadas:
- La prueba no es un fin en si misma.
- Es importante conocer el desempeño en lasconductas que la prueba mide, así como también,
en conductas que a partir de ellas se puedenhacer predicciones.
Ejemplo: Al conocer los niveles de CI de una
persona es posible hacer predicciones sobre elrendimiento cognitivo.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
17/181
1. 2.2 Variables de los Instrumentos:
1. Contenido.2. Formato.3. Aplicación.4. Puntuación.5. Calidad Técnica.
(Cohen y Swerdlik, 2006)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
18/181
1.2.3 Contenido: Refiere a los temas de la prueba.
- Varían según el enfoque teórico que la misma
maneje.
Ejemplo: Personalidad.
- Los reactivos de una prueba de personalidad a
partir de la teoría Psicoanalítica tiene poco parecidoa la prueba basada en la Teoría Existencial.
- Ambas son pruebas de Personalidad.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
19/181
Formato: Refiere a
1. Forma
2. Plan:
3. Estructura: Protocolo de la Prueba.
4. Arreglo o disposición de los reactivos.
5.Consideraciones específicas: Registro derespuesta, instrucciones y límites de tiempo.
6. Computarizada o de lápiz y papel.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
20/181
Procedimiento de aplicación:
1. Evaluación Individual.
2. Evaluación Grupal.
3. Rol del Evaluador:
3.1 Presente (Hetero aplicación)
3.2 Ausente (Auto aplicación).
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
21/181
2.2.4 Puntuación:
1. Proceso sumatorio de los puntos.
2. En función de las respuestas de un sujeto en eldesempeño de una prueba o tareas.
3. Opciones de respuesta:
3.1 Desacuerdo hasta Acuerdo.
3.2 Presente - Ausente
4. Categorización de respuestas: Uso de Puntos deCorte (Mediana u otro criterio).
é
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
22/181
Calidad Técnica:
1. Refiere al SONDEO PSICOMÉTRICO de una prueba.
2. Implica: Consistencia y Precisión de las puntuaciones de laprueba.
3. FIABILIDAD:
3.1 Consistencia de las Puntuaciones.
3.2 Error No Sistemático.
3.3 Responde a la pregunta de investigación
¿ Con cuánta exactitud la muestra de ítems o tareas representa al universo de ítems desde donde fueron seleccionados?
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
23/181
PERSPECTIVAS TEÓRICAS (Navas, 2001)
TeoríasClásicaTest (TCT)
CONSISTENCIAINTERNA
1. Dos mitades2. Alpha
Cronbach
2 Aplicaciones
Test
Información
TeoríasGeneralizabilidad
(TG)
TeoríaRespuestaÍtem (TRI)
1 AplicaciónTest
ESTABILIDADTEMPORAL
1. Test-Retest2. Formas
Paralelas
Teoría de laGeneralizabilidad
AcuerdoInterjueces
Consistenciade las
clasificaciones
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
24/181
ESTUDIO DE LA FIABILIDAD TCT (Doval, 2002)
Más de unaaplicación del
instrumento
Formas Paralelas
Coeficientes de
Equivalencia(Entre-evaluadores)
PROCEDIMIENTO
1. Coeficiente deFiabilidad conr de Pearson
ESTABILIDAD CONSISTENCIA INTERNA
Test- Retest
Coeficientes deEstabilidad
(Intra-evaluadores)
PROCEDIMIENTO
1. Coeficiente deFiabilidad conr de Pearson
Dos mitades
Coeficiente de dosMitades
PROCEDIMIENTOS
1. Rulón2. Spearman Brown3. Gutmann
K-partes
Coeficiente deconsistencia interna
PROCEDIMIENTOS
1. Alpha Cronbach2. KR -203. KR-21
Una única aplicación delinstrumento compuesto por k
unidades
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
25/181
4. VALIDEZ:
4.1 Precisión de las puntuaciones.4.2 Error Sistemático.4.3 Responde a la pregunta de investigación:
¿ Con qué fidelidad corresponde este universo alatributo latente que se va a medir?
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
26/181
1.1 PROPIEDADES PSICOMÉTRICAS
FIABILIDAD: Grado deconsistencia de una medida.
Tipos:
1. Más de una Aplicación:ESTABILIDAD
1.1 Formas Paralelas.1.2 Test-Retest.
2. Una única aplicación:CONSISTENCIA INTERNA.
2.1 Dos mitades.2.2 K-partes.
Validez: Grado en el que el instrumento demedición con exactitud el constructo teórico para el que fue diseñado.
TIPOS:
1. Contenido : Aparente, Muestral y Curricular.
2. Constructo : Convergente, Discriminante,Factorial.
3. Criterial : Predictiva, Concurrente,Retrospectiva.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
27/181
Ejemplo Coeficiente de Fiabilidad mediante Formas paralelas: Un psicómetra se encuentra interesado enconocer la fiabilidad de una Prueba de Ansiedad
que ha construido con dos formas (A y B). Para talefecto, administra a 10 pacientes seleccionados alazar por un psicólogo clínico encuentra lossiguientes resultados:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
28/181
Matriz de Datos:
Pacientes X
(Forma A)
Y
(Forma B)
1 19 39
2 5 11
3 9 13
4 1 285 7 4
6 3 6
7 20 39
8 3 2
9 29 29
10 23 24
11 9 14
12 37 26
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
29/181
FÓRMULAS COEFICIENTES DE FIABILIDAD
ESTABILIDAD CONSISTENCIA INTERNA
2 APLICACIONES 2 MITADES 1 APLICACIÓN) 1 APLICACIÓN
FORMAS PARALELAS MÉTODO DE RULÓN ALPHA DE CRONBACH
TEST-RETEST SPEARMAN BROWN KUDER RICHARDSON 20
GUTMANN KUDER RICHARDSON 21
22
22
1
n
X
n
X
n
i p
n
i p
r vx
2
2
120
t
t pq
N
N KR
2
)(
121
x
x x
n
n
N
N KR
0
0
)1(1 r k
kr r SB
2
2
11
t
i
S
S
N
N
y x
xy
xyS S
S r
y x
xy
xyS S
S r
2
2
2
2
112
t
G
S
S S r
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
30/181
- Fórmula Coeficiente de Fiabilidad FormasParalelas:
2222
iiii
iiii
xy
Y Y n X X n
Y X Y X nr
Á Ó
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
31/181
1. ANÁLISIS DE LA RELACIÓN:1.1 Tipo de Relación.
1.2 Valor del Coeficiente de Correlación.
1.3 Patrón de Correlación.1.4 Criterio de Clasificación (descriptor del valor derxy) e Interpretación Coeficiente Correlación.
1.5 Error Típico (Desviación Estándar del
Coeficiente)1.6 Varianza Explicada (Proporción y Porcentaje).
1.7 Varianza No Explicada (Proporción yPorcentaje).
1.8 Covarianza y Comprobación rxy
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
32/181
- CRITERIOS DE CLASIFICACIÓN COEF. CORRELACIÓN(Pérez, García. Gil y Galan,2009):
Valor Coeficiente Interpretación
±1.00 - ± 0.91 Correlación Muy Alta (Muyelevada)
±0.90 - ± 0.71 Correlación Alta(Elevada)
±0.70 - ± 0.41 Correlación Media (Marcada,Notable)
±0.40 - ± 0.21 Correlación Baja
±0.20 - 0.00 Correlación Muy Baja
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
33/181
- Integración de Rangos Interpretación Coeficientes deFiabilidad (Nunally, 1978; Magnusson, 1983; Thorndike,1989; Carretero-Dios, 2007; EFPA, 2011).
Rangos Magnitud CampoAplicación MODELO EFPA(Muñiz, 2011)0.81-1.00 Muy Alta
(ACEPTABLE)Decisiones
Importantes Personas(0.90 o más)
Comparación de
Grupos (0.80 o más)
r > 0.90(EXCELENTE)
0.80 < r < 0.90(BUENA)
0.70 < r < 0.80(ADECUADO)
0.61-0.80 Alta
(ACEPTABLE)
Investigación
(0.70 o más)
r < 0.70
(INADECUADO)
0.41-0.60 Moderada
0.21-0.40 Baja
0.00-0.20 Muy Baja
Á
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
34/181
2. ANÁLISIS INFERENCIAL:
2.1 Hipótesis Estadísticas.
2.2 Diagrama Contraste.2.3 Conclusión Breve.
2.4 Cálculo Error Estándar de la Medición (Error Psicométrico).
2.5 Cálculo Intervalos de Confianza.2.6 Cálculo de Longitud de la Prueba (en caso deser necesario).
2.7 Cálculo Error Muestral (Error Estadístico)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
35/181
CONTRASTE DE HIPÓTESIS:
1. Hipótesis Nula(No hay relación estadísticamente significativa entre las puntuaciones de las Formas A y B).
2. Hipótesis Alterna(Hay relación estadísticamente significativa entre las
puntuaciones de las Formas A y B).
0:0
H
0:1 H
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
36/181
FÓRMULA :
21
2
xyr
n xyr obs
t
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
37/181
Construcción de los Intervalos de Confianza:
NOTA: En estas ecuaciones r xy es el coeficiente decorrelación de la muestra y F es el valor crítico en función delos grados de libertad (n-2) y un error permitido mediante .(Blair y Taylor, 2008).
xycríticocríticocrítico xycrítico
erior límiter F F
F r F r
11
11
inf
xycríticocrítico
crítico xycrítico
erior límiter F F
F r F r
1111
sup
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
38/181
ERROR ESTÁNDAR:
donde:
EEM = Error estándar de medición
Sp = Desviación estándar de las puntuaciones
totales del test
r F = Coeficiente de Fiabilidad
F p r 1SEEM
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
39/181
Para cálculo de Sp utilice la fórmula:
11
11 22
y x
y y x x
pnn
sn snS
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
40/181
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
41/181
1-. Calcule cuál debería ser la longitud de la prueba(número de ítems que debería tener) para alcanzar un nivel de fiabilidad de 0.70, 0.80 y 0.90.
Utilice la Fórmula:
donde:R xx= Es el coeficiente de Fiabilidad que se esperaalcanzar.
r F = Es el coeficiente de fiabilidad obtenido.
1 = Constante.
)1(
1
F F
F xx
r r
r R N
2 Cál l d ít d ( ´)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
42/181
2-. Cálculo de ítems esperados (n´):
donde:
n´ = número de ítems que tendía el testn = número de ítems que tiene el test actualmenteN = Razón obtenida entre la fiabilidad esperada y lafiabilidad obtenida.
n N n
ERROR MUESTRAL PARA MUESTRAS FINITAS (n
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
43/181
ERROR MUESTRAL PARA MUESTRAS FINITAS (n100,000)
nq p z EM
2
2
2
q p z
n
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
44/181
Ejemplo Coeficiente de Validez Convergente: Unpsicómetra se encuentra interesado en conocer lavalidez mediante el uso de un criterio externo de
una Prueba de Ansiedad que ha construido. Para talefecto, administra a 10 pacientes seleccionados alazar por un psicólogo clínico la prueba que él haconstruido (variable X) y una prueba que otro
investigador ha construido para medir la ansiedad yencuentra los siguientes resultados:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
45/181
Matriz de Datos:
Pacientes X
(Test Investigador)
Y
(Test del Otro Investigador )
1 15 6
2 37 34
3 33 8
4 22 36
5 11 11
6 10 20
7 15 12
8 25 16
9 31 40
10 2 8
11 10 34
12 37 32
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
46/181
- Fórmula Coeficiente de Validez Convergente:
2222
iiii
iiii xy
Y Y n X X nY X Y X nr
1 ANÁLISIS DE LA RELACIÓN:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
47/181
1. ANÁLISIS DE LA RELACIÓN:
1.1 Tipo de Relación.
1.2 Valor del Coeficiente de Correlación.1.3 Patrón de Correlación.
1.4 Criterio de Clasificación (descriptor del valor derxy) e Interpretación Coeficiente Correlación.
1.5 Error Típico (Desviación Estándar delCoeficiente)
Ó Ó
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
48/181
- CRITERIOS DE CLASIFICACIÓN COEF. CORRELACIÓN(Pérez, García. Gil y Galan,2009):
Valor Coeficiente Interpretación
±1.00 - ± 0.91 Correlación Muy Alta (Muyelevada)
±0.90 - ± 0.71 Correlación Alta(Elevada)
±0.70 - ± 0.41 Correlación Media (Marcada,Notable)
±0.40 - ± 0.21 Correlación Baja
±0.20 - 0.00 Correlación Muy Baja
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
49/181
Coeficiente de Validez:Correlación Test-Criterio (Muñiz, 2011)
SIGNIFICACIÓN VALOR COEFICIENTECORRELACIÓN
INADECUADA r < 0.20ADECUADA 0.20 < r < 0.35
BUENA 0.35 < r < 0.50
EXCELENTE r > 0.50
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
50/181
Validez Convergente: Correlaciones con escalassimilares (Muñiz, 2011)
SIGNIFICACIÓN VALOR COEFICIENTECORRELACIÓN
INADECUADA r < 0.55ADECUADA 0.55 < r < 0.65
BUENA 0.65 < r < 0.75
EXCELENTE r > 0.75
2 ANÁLISIS INFERENCIAL:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
51/181
2. ANÁLISIS INFERENCIAL:
2.1 Hipótesis Estadísticas.
2.2 Diagrama Contraste.2.3 Conclusión Breve.
2.4 Cálculo Error Estimación del Criterio (Error Psicométrico).
2.5 Cálculo Intervalos de Confianza.2.6 Cálculo de Longitud de la Prueba (en caso deser necesario).
2.7 Cálculo Error Muestral (Error Estadístico)
Ó
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
52/181
CONTRASTE DE HIPÓTESIS:
1. Hipótesis Nula(No hay relación estadísticamente significativa entre las puntuaciones de las Formas A y B).
2. Hipótesis Alterna(Hay relación estadísticamente significativa entre las
puntuaciones de las Formas A y B).
0:0
H
0:1 H
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
53/181
FÓRMULA :
21
2
xyr
n xyr obs
t
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
54/181
Construcción de los Intervalos de Confianza:
NOTA: En estas ecuaciones r xy es el coeficiente decorrelación de la muestra y F es el valor crítico en función delos grados de libertad (n-2) y un error permitido mediante .(Blair y Taylor, 2008).
xycríticocríticocrítico xycrítico
erior límiter F F
F r F r
11
11
inf
xycríticocrítico
crítico xycrítico
erior límiter F F
F r F r
1111
sup
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
55/181
- ERROR DE ESTIMACIÓN DEL CRITERIO: Para ello seutiliza la siguiente fórmula:
Donde:
Sy = Es la desviación típica de las puntuaciones enel criterio.
xy = Es el coeficiente de validez en el test.
21 xy y x y S
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
56/181
1-. Calcule cuál debería ser la longitud de la prueba(número de ítems que debería tener) para alcanzar un nivel de fiabilidad de 0.70, 0.80 y 0.90.
Utilice la Fórmula:
donde:R xx= Es el coeficiente de Fiabilidad que se esperaalcanzar.
r F = Es el coeficiente de fiabilidad obtenido.
1 = Constante.
)1(
1
F F
F xx
r r
r R N
2- Cálculo de ítems esperados (n´):
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
57/181
2 . Cálculo de ítems esperados (n ):
donde:
n´ = número de ítems que tendía el testn = número de ítems que tiene el test actualmenteN = Razón obtenida entre la fiabilidad esperada y lafiabilidad obtenida.
n N n
ERROR MUESTRAL PARA MUESTRAS FINITAS (n
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
58/181
ERROR MUESTRAL PARA MUESTRAS FINITAS (n 100,000)
TAMAÑO MUESTRAL PARA POBLACIONES INFINITAS(n>100,000)
n
q p z EM
2
2
2
q p z
n
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
59/181
2
F
A
E
D
E
D
E
A
L
O
D
E
U
N
A
PR
E
FASE 1: DEFINICIÓN DE LA PRUEBA
FASE 2: ELECCIÓN MÉTODO DE
ESCALAMIENTO DE LA PRUEBA
Gregory, 2012)
FASE 3: ELABORACIÓN DE
LOS REACTIVOS
FASE 4: ANÁLISIS DE
LOS REACTIVOS
FASE 5: REVISIÓN DEL
INSTRUMENTO
FASE 6: PUBLICACIÓN DEL
INSTRUMENTO
Esquema de la relación entre los planos teórico, empírico
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
60/181
y matemático desde el punto de vista de la medición.
Representación formal delos modelos
Representación empírica Representación numérica de los
de los constructos indicadores
PLANO MATEMÁTICO
Representación formalizada delmodelo y representación
numérica de los indicadoresempíricos
PLANO EMPÍRICO
Indicadores empíricos de lasvariables latentes
(Favorece laOperacionalización)
PLANO TEÓRICO
Modelo teórico que incluye losconceptos (constructos) que
definen a las VARIABLESLATENTES .
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
61/181
RESPONDER A LAS SIGUIENTES PREGUNTAS
PREGUNTAS RESPUESTAS
¿ Cuál va a ser el contenido del test ? CONTENIDO
¿ Qué tipo de ítems se van a utilizar ? FORMATO
¿ Cuántos ítems debe tener la prueba ? LONGITUD
¿ Qué propiedades métricas debe tener ? INDICADORES PSICOMÉTRICOS
ESPECIFICACIÓN DE LAS ETAPAS:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
62/181
ESPECIFICACIÓN DE LAS ETAPAS:
1. Definición de la Prueba:
-Definir Teoría de Base del constructo,
- Selección del Constructo,
- Objetivos de la Escala,
- Revisión de la literatura
- Detección de indicadores y dimensiones emergentes
(Técnica Grupos Focales) .
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
63/181
Diseño de Investigación: EXPLORATORIO SECUENCIAL (FaseDerivativa. Ver en Hernández Sampieri, 2010)
FORMATO GENERAL
FASE CUALITATIVA FASE CUANTITATIVA
1. Recolección Datos Cualitativos(Grupos Focales)
1. Recolección Datos Cuantitativos1.1 Estudio Piloto (Versión
Preliminar).
2. Análisis Cualitativo (Indicadores,Dimensiones Emergentes delConstructo)
2. Análisis Propiedades Métricas2.1 Ítems2.2 Prueba
3. Ensamblaje Definitivo3.1 Versión Final.
2 Elección método de escalamiento de la prueba:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
64/181
2. Elección método de escalamiento de la prueba:
- Establecimiento de reglas de medición : asignación
de números a las respuestas).
2.1 Método de escalamiento representativo(ordenamiento de expertos validez de contenido) :
Clasificación ordinal de los jueces expertos paraanalizar la validez de contenido de los ítems;
Los jueces expertos calificarán los ítems con la siguiente escala:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
65/181
j p g
Adaptado de (Gregory, 2012)
REVISOR: ______________________________________ FECHA: _________
Por favor, lea con cuidado la especificación de dominio para esta
prueba. A continuación indique qué tan bien considera que elreactivo refleja la especificación del dominio. Juzgue el reactivoúnicamente con base en la correspondencia entre su contenido y elcontenido definido por la especificación del dominio.AFIRMACIÓN: Acostumbro a sonrojarme cuando tengo que hablar conpersonas desconocidas.
Utilice la Escala de calificación de cuatro puntos que se muestra a continuación.
1. IRRELEVANTE
_____________
2. BAJA RELEVANCIA
_____________
3. MODERADA RELEVANCIA
_____________
4. ALTA RELEVANCIA
_____________
Señale la Dimensión a la cuál pertenecería la presente afirmación.COGNITIVO _____________
EMOCIONAL _____________
CONDUCTUAL _____________
OTRA _____________
Propuesta de Redacción del Ítem (si lo estima del caso):
Interpretación valores obtenidos conforme a los rangos
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
66/181
Interpretación valores obtenidos conforme a los rangosseñalados:
Adaptado de (Pardo y Ruiz, 2002)
VALOR OBTENIDO ACUERDO INTERPRETACIÓN DECISIÓN0.75 o MÁS Excelente Alta Relevancia Incorporarlo en
la Prueba (I)0.60-0.74 Excelente Alta Relevancia Incorporarlo en
la Prueba (I)0.40-0.59 Bueno Moderada
RelevanciaIncorporarlo enla Prueba previa
si el segundoacuerdo de los
jueces es igual omayor que 0.60
(R)
0.39 o MENOS Pobre Baja Relevancia Eliminarlo de laPrueba (E)
2.2 Método de Escalamiento Absoluto 1: Clasificación
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
67/181
2.2 Método de Escalamiento Absoluto 1: Clasificaciónordinal de los datos registrados (formato deautoinforme) a partir de las respuestas de losparticipantes del estudio para analizar ladiscriminación, fiabilidad y validez de los ítems.
Ejemplo: ESCALA DE RESPUESTA de 5 categorías
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
68/181
- Según De la Garza, Morales y González (2013)
1 2 3 4 5
Totalmente en
desacuerdo
En
desacuerdo
Ni de acuerdo
ni en
desacuerdo
De acuerdo Totalmente de
acuerdo
- CRITERIOS CLASIFICACIÓN ÍNDICES DE DISCRIMINACIÓN (Ebel, 1965;
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
69/181
CRITERIOS CLASIFICACIÓN ÍNDICES DE DISCRIMINACIÓN (Ebel, 1965;García-Cueto y Fidalgo, 2005), FIABILIDAD Y VALIDEZ ÍTEMS (Thorndike,1989; Magnusson, 1983) :
ÍNDICE DISCRIMINACIÓN ÍNDICE FIABILIDAD Y VALIDEZ
VALOR INTERPRETACIÓN VALOR INTERPRETACIÓN
0.40 o más El ítem discriminamuy bien
(ACEPTABLE)
0.81-1.00 o Más Muy Alta(ACEPTABLE)
0.30 - 0.39 Alta(ACEPTABLE)
0.61-0.80 Alta(ACEPTABLE)
0.20 - 0.29 Moderada(ACEPTABLE CON REVISIÓN
NUEVA)
0.41-0.60 Moderada(ACEPTABLE CON REVISIÓN
NUEVA)
0.10 - 0.19 Baja(ELIMINAR)
0.21-0.40 Baja(ELIMINAR)
0.10 o Menos Muy Baja Menos de Cero -0.20 Muy Baja
2.3 Método de Escalamiento Absoluto 2:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
70/181
Escalamiento complejo de las puntuaciones por dimensiones y puntajes totales de los instrumentos(independencia, normalidad y homocedasticidad).
3. Fase de Elaboración de los reactivos (ítems): A
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
71/181
( )partir de los métodos de escalamiento indicados, seutilizará una Escala de Respuestas ordenadas sobreun continuo de respuestas con un continuo deacuerdo o desacuerdo y de aprobacióndesaprobación.
- En tal sentido, los procedimientos para laconstrucción de los ítems de las escalas serán:
3.1 Método Racional.
3.2 Método de Clave Empírica.
3 1 Método Racional (consistencia interna):
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
72/181
3.1 Método Racional (consistencia interna):
- Asume los puntajes de los reactivos de la escala
tendrán valores positivos en los coeficientes decorrelación entre los ítems y con los puntajes totalesde las dimensiones y de la escala
3.2 Método de Clave Empírica:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
73/181
p
- Algunos de los ítems no exhibirían una relación clara
con las evidencias obtenidas en las investigacionescientíficas revisadas (detección de indicadores ydimensiones emergentes del constructo en la fasecualitativa vía focus groups) y, porqueeventualmente permitiría distinguir diferentes gruposde sujetos.
- Se tratará de responder la las preguntas sobre lahomogeneidad de los reactivos (ítems), el rango dedificultad, fiabilidad y validez que tienen y,finalmente, cuántos reactivos se construirán y tendrálos instrumentos en su versión inicial
4. Fase de Análisis de los Reactivos:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
74/181
4.1 Fase Cualitativa: se realiza una codificación axial
de las evidencias procedentes tanto de la revisiónbibliográfica como de los datos obtenidos mediantefocus group.
- Posteriormente se realizará el proceso decodificación abierta y la obtención de categoríasemergentes.
4.2 Fase Cuantitativa:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
75/181
- Se realiza análisis de la frecuencia, obtención de
medidas de tendencia central (mediana, moda ymedia), medidas de variabilidad (desviaciónestándar, varianza y cuas varianza).
- Se aplica el instrumento provisorio a la muestraseleccionada previamente (muestreo noprobabilístico) .
- Se evalúan las propiedades métricas provisorias delas puntuaciones de los ítems, dimensiones y de laescala total. Las propiedades métricas provisorias aevaluar serán confiabilidad, validez, discriminación,homogeneidad y comparabilidad.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
76/181
Diseño de Investigación: EXPLORATORIO SECUENCIAL (FaseDerivativa. Ver en Hernández Sampieri, 2010)
FORMATO GENERAL
FASE CUALITATIVA FASE CUANTITATIVA
1. Recolección Datos Cualitativos(Grupos Focales)
1. Recolección Datos Cuantitativos1.1 Estudio Piloto (Versión
Preliminar).
2. Análisis Cualitativo (Indicadores,Dimensiones Emergentes delConstructo)
2. Análisis Propiedades Métricas2.1 Ítems2.2 Prueba
3. Ensamblaje Definitivo3.1 Versión Final.
- Para los escalamientos 1 y 2 se utilizan:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
77/181
4.2.1 Procedimientos estadísticos de distribución
libre (prueba de acuerdo interjueces a partir de lostrabajos de Martuza (1977), Hambleton (1984), Bausel(1986) (en Gregory, 2012) y la correlación de rangosordenados, la prueba de U de Mann Whitney).
4.2.2 Se evaluarán los índices de validez decontenido de las puntuaciones de los ítems, índicesde discriminación, fiabilidad (consistencia interna) yvalidez (criterio).
- Para el Escalamiento 2 se utiliza:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
78/181
4.2.3 Se utilizan los procedimientos estadísticos
paramétricos para:
1-. Evaluar supuestos (Prueba de Normalidad deKolmogorov-Smirnov o Shapiro Wilks en función de los
tamaños muestrales, Prueba de Rachas para evaluar independencia de las puntuaciones),
2-. Análisis de la Varianza para evaluar la
homocedasticidad, prueba de correlación producto-momento de Pearson para evaluar fiabilidad y validezprovisorias de las puntuaciones, análisis de laregresión lineal, múltiple y multinomial, Prueba dediferencias de medias “t” y ANOVA).
4.2.4 Análisis de la Fiabilidad Provisoria de las
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
79/181
puntuaciones de los instrumentos, se utiliza índice defiabilidad Alfa de Cronbach y el error típico demedida.
4.2.5 Análisis de la validez provisoria de laspuntuaciones mediante Análisis Factorial. La validezde criterio externo (convergente y/o divergente)provisoria se obtendrá mediante mediante el índicede correlación de Pearson.
4.2.6 Normas Provisorias de las puntuaciones de laprueba se evalúan mediante puntuaciones derivadas(rangos percentiles) y estándar (puntuaciones z,puntaje T, estaninas y el puntaje de aproximación a ladistribución normal).
5. Fase de Revisión del Instrumento:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
80/181
5.1 Una vez eliminados los ítems que tengan baja
discriminación fiabilidad y validez de la etapaanterior, con una muestra de similares característicasque las etapas anteriores a fin de recabar información adicional sobre el análisis de los reactivospara realizar los ajustes métricos que se estimennecesarios (menores o mayores).
5.2 En función de los ajustes que se identifiquen, serealizaría adicionalmente un procedimiento devalidación cruzada para confirmar nuevamente lavalidez de las puntuaciones de la prueba dado quela validez de criterio original (obtenida en la etapaanterior) es preliminar y tentativa (provisoria). .
5.3 El fundamento técnico de esta etapa es utilizar la
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
81/181
ecuación de regresión original en esta nueva muestrapara analizar si es que las puntuaciones delinstrumento construido predicen las del criterio.
NOTA: Dado que las evidencias muestran que lavalidación cruzada predice el criterio con menorprecisión, se puede hacer una prueba de reducciónde la validez a fin de evaluar mediante los índices decorrelación entre las puntuaciones totales de losinstrumentos y del criterio si es que la cantidad deítems de la escala será ajustado en términos leves,
moderados o fuertes.
6. Publicación de los Instrumentos: En el caso que los
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
82/181
instrumentos tengan un respaldo empírico yestadístico significativo, se procede a la produccióndel material de evaluación, la redacción de unmanual técnico (análisis métrico de los instrumentos) yun manual del usuario (aplicación e interpretación delas puntuaciones).
Estos manuales se hacen siguiendo los Estándarespara la Evaluación Educativa y Psicológica (APA,AERA Y NCME. Gregory, 2012).
De igual modo, se procede a la obtención de lasrespectivas patentes intelectuales.
2. CONFECCIÓN DE LOS ÍTEMS (Prat y Soval, 2003):
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
83/181
ESTRATEGIAS PARA LA GENERACIÓN DE ÍTEMS.
2.1 Diseño de la Escala debe estar fundamentado enque los ítems cumplan las siguientes condiciones.
1. Estar relacionada con la CONDUCTA que sepretende registrar y medir.
2. Representar todos los conceptos incluidos en
la definición de la CONDUCTA.
3. Ser adecuados para la población diana.
2.2 Una ESCALA puede CONSTRUIRSE a partir de:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
84/181
. U a SC puede CO S U S a pa de:
1. Ítems originales o adaptados provenientes de
otras escalas diseñadas con anterioridad.
2. Ítems construidos a partir de la opinión de
personas expertas sobre el comportamiento(OBJETO) que se pretende registrar y medir.
3. Ítems generados a partir de ideas y opiniones
manifestadas por personas provenientes de lapoblación diana.
4. Ítems generados a partir de ideas recogidas
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
85/181
g p gde diversas fuentes de información relacionadoscon la CONDUCTA:
- Libros
- Periódicos.
- Artículos científicos o Papers.
- Eslóganes
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
86/181
4. Evitar expresiones coloquiales y del argotdado que sólo serían comprensibles por ese
grupo y en un determinado tiempo.
5. Variar la dirección de la pregunta: Colocar igual número de ítems enunciados positiva y
negativamente.
2.3 Estrategias a seguir (Crocker y Algina, 1986):
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
87/181
1. ANÁLISIS DEL CONTENIDO: Definición del constructo
(PARTE DEL REPERTORIO DE CONDUCTAS NOOBSERVADO) requiere entre otras cosas realizar:
1. Preguntas abiertas a los sujetos a estudiar.
2. Agrupar respuestas por temas.
3. Temas recurrentes implican dimensionesprincipales.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
88/181
Ó
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
89/181
4. OBSERVACIÓN NATURAL: Identificar las conductasmediante observación directa.
Ejemplo: Registrar en Sala de Clases la cantidad degolpes en cualquier parte del cuerpo que un niño leda a otros. (Conducta de Agresión Física).
5. OPINIÓN DE EXPERTOS: Sistemas expertos quedefinen con mayor precisión el constructo.
6 OBJETIVOS DE LA INSTRUCCIÓN E ifi ió
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
90/181
6. OBJETIVOS DE LA INSTRUCCIÓN: Especificaciónde los objetivos que se busca medir.
7. MUESTREO DEL DOMINIO DEL ÍTEM: Definir lapoblación de ítems de la cual se extraerá unamuestra para formar el test.
8. TABLA DE ESPECIFICACIÓN DE LOS ÍTEMS:construir variables latentes (CONDUCTAS NOOBSERVADAS) en el ámbito cognitivo y siguiendo lataxonomía de Bloom.
NORMA ISO 10667 PARA INSTRUMENTOS ENPSICOLOGÍA (Muñiz y Fernández-Hermida 2010)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
91/181
PSICOLOGÍA (Muñiz y Fernández-Hermida, 2010).
- ISO: Sigla en inglés y que significa “OrganizaciónInternacional para la Estandarización” (www.iso.org).
- Desarrolla normativas en todos sectores industrialesy de servicios.
- INSTITUCIONES PARTICIPANTES EN SUCONSTRUCCIÓN:
1. Colegio Oficial de Psicólogos de España (COP).2. Asociación Americana de Psicología (APA).3. Asociación Británica de Psicología (BPS).
- Será aplicable a:
http://www.iso.org/http://www.iso.org/
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
92/181
1. Los procedimientos y métodos utilizados a:
1.1 Nivel Individual: Selección, Consejo yFormación.
1.2 Nivel Grupal: Clima y cohesión de equipos detrabajo.
1.3 Nivel Organizacional: Clima laboral, cultura de
empresa, satisfacción.
- Aspectos de la Norma: Se describen
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
93/181
1.Las competencias, obligaciones y responsabilidadesde los clientes y de los proveedores del servicio de
evaluación, antes, durante y después del procesoevaluativo.
2. Proporciona directrices para todas las partes
implicadas en el proceso evaluador, incluida la propiapersona evaluada y quienes reciban los resultados dela evaluación.
3. Tiene como objetivo la REGULACIÓN DEL PROCESODE EVALUACIÓN DE LAS PERSONAS EN CONTEXTOSLABORALES Y ORGANIZACIONALES.
- PROCESO DE EVALUACIÓN:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
94/181
1. Establecimiento del Contrato de Evaluación.
2. Metodología de la Evaluación .
3. Obtención de los Resultados.
4. Análisis de los Resultados.
5. Utilización de los resultados.
- INTERÉS PARA LOS PSICÓLOGOS: Esta nueva normalo es por algunas de las siguientes razones::
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
95/181
lo es por algunas de las siguientes razones::
1. Papel Central en la evaluación de personas en
contextos laborales.
2. Al ser vez aprobada las EMPRESAS E INSTITUCIONESPODRÁN CERTIFICARSE garantizando que
cumplen con la norma.
3. Aún no tiene rango legal (en sentido estricto),pero, constituye una importante NORMAREGULADORA DEL MERCADO (Estar certificado noes lo mismo que no estarlo).
2.4 ESCALAS DE VALORACIÓN:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
96/181
- Escalas de categorías: Son ítems que están
A-. Formados por un enunciado.
B-. Formado por un conjunto de alternativas
organizadas (Secuencia u orden).
C-. Las categorías usadas expresanmuchos características de las conductas
2.4.1 Diseño de Investigación: EXPLORATORIO
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
97/181
2.4.1 Diseño de Investigación: EXPLORATORIOSECUENCIAL (Fase Derivativa. Ver en HernándezSampieri, 2010)
FORMATO GENERAL
FASE CUALITATIVA FASE CUANTITATIVA
1. Recolección Datos Cualitativos(Grupos Focales)
1. Recolección Datos Cuantitativos1.1 Estudio Piloto (Versión
Preliminar).
2. Análisis Cualitativo (Indicadores,Dimensiones Emergentes delConstructo)
2. Análisis Propiedades Métricas2.1 Ítems2.2 Prueba
3. Ensamblaje Definitivo3.1 Versión Final.
2.4.2 TIPOS DE ESCALAS (Levy y Varela, 2003)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
98/181
LIKERT THURSTONE GUTTMAN
Objetivo Escalar Personas Escalar personas Escalar Personas e Ítems
Supuesto sobre los ítems Hipótesis:1. Ítems son homogéneos2. Ítems son formalmente
distintos3. Ítems miden lo mismo
Hipótesis:1. Ítems son diferentes
entre sí2. Ítems representan
niveles distintos delatributo
Hipótesis:1. Ítems son heterogéneos.2. Ítems representan niveles
distintos del atributo.
Papel de las Personas Objeto Estudio: DiferenciasPersonales
1. Fase Escalamiento
Ítems: Personas(jueces) constituyeninstrumento de medida.
2. Fase Dos: EstudiodiferenciasIndividuales.
Objeto Estudio: DiferenciasPersonales
Justificación de los valores de
la Escala
Comprobar:1. Respuestas son
coherentes (Medidas de laconducta)2. Si punto 1 se cumple,entonces, ítems se puedenagregar para EscalarPersonas
1. Fase 1: Comprobarobjetividad (acuerdo
entre ellos) respuestasjueces (Permite escalarestímulos).
2. Fase 2: EstímulosEscalados permiten
Escalar Personas.
1. Escalamiento de Personas:e Ítems: Coherencia deRespuestas.2. Cada respuesta en funcióndel nivel de la persona y delque representa el ítem.
2.4.3 ESCALA LIKERT: Permiten registrar
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
99/181
1-. EL GRADO DE ACUERDO O DESACUERDO CON ELENUNCIADO.
2-. Al Evaluado se le solicita POSICIONARSEACTITUDINALMENTE respecto de una idea, hecho u
objeto.
3. Se usan de forma intensa en Psicología.
4. Son fáciles de elaborar.
5. Se utilizan para medir actitudes.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
100/181
6. Son confiables.
7. Funcionan mejor utilizando como ESCALA DERESPUESTAS 5 categorías
1 : APROBACIÓN DEL REACTIVO EN UN EXTREMO
5: APROBACIÓN DEL REACTIVO EN EL OTROEXTREMO
Ejemplo: ESCALA DE RESPUESTA de 5 categorías
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
101/181
- Según De la Garza, Morales y González (2013)
1 2 3 4 5
Totalmente en
desacuerdo
En
desacuerdo
Ni de acuerdo
ni en
desacuerdo
De acuerdo Totalmente de
acuerdo
- En función de lo señalado por De la Garza, Morales y
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
102/181
p , yGonzález (2013) los componentes de una EscalaLikert se operacionalizarían como:
COMPONENTES DE LA ESCALA
COGNITIVO AFECTIVO CONDUCTUAL
1. Resume información de la
persona sobre objetoactitudinal(comportamiento uobjeto de interés).
2. Creencias que tiene sobrelas características delcomportamiento u objetode interés
1. Sentimientos que una
persona tiene en relacióna una conducta u objetode interés.
2. Preferencias que unapersona tiene en relacióna una conducta de interés
1. Representa las
EXPECTATIVAS (señalarverbalmente poradelantado cómo actuaríaen el caso que algosuceda) que una personatiene en relación con sucomportamiento.
2. Refiere a la INTENCIÓNde acción (hace “algo” en
función de unaconsecuencia anterior)respecto al objeto de
interés
8. Se basa en los siguientes supuestos:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
103/181
1. CONSIDERA LAS ACTITUDES COMO UN CONTÍNUO:
La probabilidad de respuesta de una persona es unaFunción Monótona con la posición que la personaocupe en el Continuo Hipotético de Respuesta.
P aProbabilidad P bRespuesta P cFavorable
Actitud
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
104/181
2. Es posible estudiar las dimensiones de lasactitudes a partir de un conjunto de enunciados
que responden los sujetos.
3. Los individuos pueden situarse respecto de lavariable desde un punto de vista más favorable o
desfavorable.
2.4.4 La VALORACIÓN de los sujetos en la variable:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
105/181
3.1 NO supone una DISTRIBUCIÓN UNIFORMESOBRE UN CONTINUO DE ACTITUD,
3.2 Supone su posición FAVORABLE ODESFAVORABLE SOBRE EL OBJETO ESTUDIADO.
2.4.5 PASOS PARA CONSTRUIR UNA ESCALA TIPO LIKERT:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
106/181
1. Redacte el mismo número de oraciones favorablesy desfavorables respecto de los indicadores de las
conductas a observar.
2. Solicite a los evaluados que se POSICIONENACTITUDINALMENTE para cada ítem utilizando LA
ESCALA DE RESPUESTA
1 2 3 4 5
Totalmente en
desacuerdo
En desacuerdo Ni en Desacuerdo
ni de Acuerdo
De Acuerdo Totalmente de
Acuerdo
3. Recuerde que:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
107/181
3.1 Los valores de esta escala como puntuación seacalificada entre dos extremos:
- Totalmente en Desacuerdo (1)
ITEM DESFAVORABLE
- Totalmente de Acuerdo (5)
ITEM FAVORABLE
4. Utilice una ESCALA SUMATIVA a partir de last i i t d d t
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
108/181
puntuaciones registradas para cada respuestacon el fin de determinar los reactivos más
discriminativos .
IMPLICANCIA
- Los ítems registrarán con mayor probabilidad (demanera global) puntajes ALTOS en aquellossujetos que tienen puntajes más altos en lavariable y viceversa.
5. Rechace los reactivos con bajo poderdi i i ti t i d ilib i l
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
109/181
discriminativo manteniendo un equilibrio con losreactivos favorables y desfavorables.
(Coolican, 1997)
2.6 NORMAS DE REDACCIÓN DE ENUNCIADOS:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
110/181
1. Lenguaje utilizado (vocabulario y estructura de
frases) debe ser sencillo (simple, claro y directo)y gramaticalmente correcto (respetar las reglas
oficiales del idioma español)
2. Los enunciados deben ser cortos (no más de 20palabras), redactados en tiempo presente (evitar
redactar en pasado y que se refieran a un solo
grupo) .
3. Deben contener una sola idea y relacionada conel objeto actitudinal (El objeto de la actitud debe ser
el sujeto de la oración del reactivo)
4. Deben ser específicos (evitar ambigüedad y doblesignificado), es decir, con una sola interpretación
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
111/181
g ), , pposible (interpretación unívoca).
5. Expresar actitudes, preferencias, sentimientos ocreencias (en el presente), pero NO HECHOS sobrelos cuales tendrían la misma respuesta.
6. Redactarse de manera favorable y desfavorable ensimilar proporción.
7. Deben evitarse palabras con significado genérico(Universalidad) como:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
112/181
(Universalidad) como:
“Siempre”, “Nunca”, “Nadie”, “Ninguno”, “Todos”
8. Deben evitarse palabras que tienen significadoindefinido como:
“ A veces”
“Apenas”
9. Redacte 20 por cada actitud o dimensión.
10. No formule afirmaciones demasiado extremas.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
113/181
11. Permita que quienes respondan indiquen su nivel
de acuerdo a la respuesta elegida.
12. Verificar que se califique la Escala de Respuesta
como:
Lado negativo: 1
Lado Positivo: 5
13. Seleccionar ítems que puedan cubrir toda la
escala de Respuesta.
14. Las personas deben responder diferencialmente(función monotónica el nivel actitudinal) por lo que
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
114/181
(función monotónica el nivel actitudinal) , por lo quese deben evitar los enunciados con los cuales todospueden estar de acuerdo.
15. Emplear moderadamente palabras como
“Solamente”,
“únicamente”“La mayor parte del tiempo”.
16. Evitar doble negación.
(Thurstone y Chave, 1929; Likert, 1932; Bird, 1940; Thorndike y Hagen, 1989, 2001;Aiken, 2003, Cortada de Kohan, 1999, 2000, 2004; Prat y Doval, 2003; Cohen ySwerdlik, 2006).
Ejemplo ÍTEM 1: La caza de animales es buena.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
115/181
- ¿ CONDUCTA O VARIABLE DE INTERÉS?
- ¿ ÍTEM FAVORABLE O DESFAVORABLE?
- ¿ EXISTE ESCALA DE RESPUESTA ?
1 2 3 4 5
Totalmente endesacuerdo Endesacuerdo Ni deacuerdo nien
desacuerdo
De acuerdo Totalmente deacuerdo
Ejemplo ÍTEM 2: Haría trampa en el pago de losimpuestos si tuviera la oportunidad.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
116/181
- ¿ CONDUCTA O VARIABLE DE INTERÉS?
- ¿ ÍTEM FAVORABLE O DESFAVORABLE?
- ¿ EXISTE ESCALA DE RESPUESTA ?
1 2 3 4 5Totalmente endesacuerdo
Endesacuerdo
Ni deacuerdo ni
endesacuerdo
De acuerdo Totalmente deacuerdo
Ejemplo ÍTEM 3: Las mujeres tiene una necesidadinstintiva de estar cerca de su hijo durante los
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
117/181
instintiva de estar cerca de su hijo durante los primeros dos o tres años de su vida”.
- ¿ CONDUCTA O VARIABLE DE INTERÉS?
- ¿ ÍTEM FAVORABLE O DESFAVORABLE?
- ¿ EXISTE ESCALA DE RESPUESTA ?
1 2 3 4 5Totalmente
endesacuerdo
Endesacuerdo
Ni deacuerdo ni
endesacuerdo
De acuerdo Totalmente deacuerdo
- Ejemplo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
118/181
AFIRMACIÓN: Acostumbro a sentir interés de ayudara otro cuando alguien me cuenta de sus problemas
REDACCIÓN DIMENSIÓN
Favorable Desfavorable Cognitivo Afectivo Conductual
- Ejemplo: CONDUCTA EMPÁTICA
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
119/181
AFIRMACIÓN: Acostumbro a sentir interés de ayudara otro cuando alguien me cuenta de sus problemas
REDACCIÓN DIMENSIÓN
Favorable Desfavorable Cognitivo Afectivo Conductual
- Ejemplo: CONDUCTA EMPÁTICA
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
120/181
AFIRMACIÓN: Acostumbro a sentir interés de ayudara otro cuando alguien me cuenta de sus problemas
REDACCIÓN DIMENSIÓN
Favorable
X
Desfavorable Cognitivo
X
Afectivo Conductual
VALIDEZ DE CONTENIDO ÍTEMS:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
121/181
Ejemplo 1.1: Calcule el Índice de Validez de Contenido
de los 10 ítems de la Escala de Honestidad evaluadapor 20 jueces expertos.
1.1 Calcule el Índice de Validez de Contenido con la
fórmula
(Marutza, 1977; Hambleton, 1984; Bausel; Gregory, 2012)
1.2 Señale el Tipo de Acuerdo, Relevancia y Decisiónrespecto del ICV de cada ítem.
DCBAD
IVC
Los 20 jueces expertos calificaran los ítems con la siguiente escala:
REVISOR: ______________________________________ FECHA: _________
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
122/181
Adaptado de (Gregory, 2012)
Por favor, lea con cuidado la especificación de dominio para estaprueba. A continuación indique qué tan bien considera que elreactivo refleja la especificación del dominio. Juzgue el reactivoúnicamente con base en la correspondencia entre su contenido y elcontenido definido por la especificación del dominio.AFIRMACIÓN: Acostumbro a sonrojarme cuando tengo que hablar conpersonas desconocidas.
Utilice la Escala de calificación de cuatro puntos que se muestra a continuación.1. IRRELEVANTE
_____________
2. BAJA RELEVANCIA
_____________
3. MODERADA RELEVANCIA
_____________
4. ALTA RELEVANCIA
_____________
Señale la Dimensión a la cuál pertenecería la presente afirmación.COGNITIVO
_____________ EMOCIONAL
_____________ CONDUCTUAL _____________
OTRA _____________
Propuesta de Redacción del Ítem (si lo estima del caso):
- Una vez finalizada esta etapa se registraron lossiguientes resultados:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
123/181
ÍTEM 1 ÍTEM 2 ÍTEM 3 ÍTEM 4 ÍTEM 5 ÍTEM 6 ÍTEM 7 ÍTEM 8 ÍTEM 9 ÍTEM 10
A 3 2 4 5 12 6 1 4 11 2B 5 9 5 3 4 8 9 4 4 3C 6 4 9 1 1 2 2 5 3 3D 6 5 2 11 3 4 8 7 2 12
Interprete los valores obtenidos conforme a los rangosseñalados.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
124/181
Adaptado de (Pardo y Ruiz, 2002)
VALOR OBTENIDO ACUERDO INTERPRETACIÓN DECISIÓN
0.75 o MÁS Excelente Alta Relevancia Incorporarlo enla Prueba (I)0.60-0.74 Excelente Alta Relevancia Incorporarlo en
la Prueba (I)0.40-0.59 Bueno Moderada
RelevanciaIncorporarlo enla Prueba previa
si el segundoacuerdo de los
jueces es igual omayor que 0.60
(R)0.39 o MENOS Pobre Baja Relevancia Eliminarlo de la
Prueba (E)
2.7 DEBILIDADES DE LA ESCALA LIKERT
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
125/181
1. Las puntuaciones en la escala sólo tiene un
significado relativo (respecto a la Distribución de losdatos de la conducta obtenida).
2. La puntuación 3 (indeciso) es ambigua.
¿ Implica una posición neutral (ninguna opinión) ouna posición indecisa en la que el respondiente seencuentra dudando con sentimientos en ambasdirecciones?.
3. Las puntuaciones centrales de la distribución(entre percentil 30 a 60) son ambiguas
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
126/181
(entre percentil 30 a 60) son ambiguas.
NOTA 1: Podrían reflejar muchas respuestasindecisas o que podrían comprender unacolección de respuestas totalmente a favor ototalmente en contra.
NOTA 2: En esta situación se podrían estar midiendo dos variables distintas.
4. Personas con una misma puntuación puedentener pautas de respuesta diferentes
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
127/181
tener pautas de respuesta diferentes.
5. No es posible tratar la calificación como situviera un significado único.
2.8 IMPORTANTE
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
128/181
1. La Escala Likert es un tipo de escala de estimación
y sus respuestas se registran en una Escala Ordinal.
2. Para tratar sus datos son como si estuvieranmedidos en una escala de intervalos se requiere
hacer un Contraste de Hipótesis acerca de laNormalidad de las Puntuaciones.
(Cortada de Kohan 2000, 2004; Hernández-Sampieri,
Fernández-Collado y Baptista, 2006; 2010;Tornimbeni, Pérez y Olaz, 2008).
3. La puntuación final de la prueba se obtienesumando las estimaciones de todos los reactivos
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
129/181
(ESCALA SUMATIVA).
4-. La puntuación obtenida por los sujetos en laescala está en función de los puntajes obtenidosen cada ítem.
2.9 Aspectos SE DEBEN EVITAR en la construcción delos reactivos:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
130/181
1° Ejemplo:
“Deberíamos empezar a tomar acciones compensatorias enáreas en donde, en el pasado, los miembros de un grupoétnico, sexo o tipo de invalidez han sufrido discriminación o hanexperimentado desventajas como resultado directo de ser un
miembro de esa categoría”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?
¿Qué modificaciones le haría a la construcción?
Errores:
1 Complejidad: La oración impide que se
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
131/181
1.Complejidad: La oración impide que secomprenda que es lo que se está diciendo opreguntando.
2. Ambigüedad: La oración se puede interpretar dedistintas maneras
3. Uso del término DEBERÍA.
SOLUCIÓN: Descomponer la frase lógicamente yredactarla de manera simple, directa y usandomenos de 20 palabras.
Ejemplo:
“ Los miembros de distintos grupos étnicos dentro de un país tendríanque acceder a los mismos derechos que los que los ciudadanos del
país que habitan si es cuentan con permiso de residencia”.
2º. Ejemplo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
132/181
“La sociedad debería comenzar a deshacerse del
racismo institucional siempre que sea posible”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?
¿Qué modificaciones le haría a la construcción
Errores:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
133/181
1. Términos técnicos: Muchos respondientes notendrán claro a que se está haciendo referencia.
2. Uso del término DEBERÍA.
SOLUCIÓN: Se tendrá que encontrar otro término oincluir un preámbulo especial que lo explique.
Ejemplo:
“Las reglas de la sociedad tendrían que ser claras prohibiendo un tratodiscriminatorio a las personas de raza diferente”.
3º. Ejemplo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
134/181
“No debería permitirse a los inmigrantes
establecerse en áreas de gran desempleo”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?
¿Qué modificaciones le haría a la
construcción
Errores:
1 Ambigüedad: Impide discriminar entre los que
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
135/181
1. Ambigüedad: Impide discriminar entre los quemanejan un contenido o conocimiento.
2. Introducción de negación.
3. Uso del término DEBERÍA.
SOLUCIÓN: Utilizar una frase con un solo sentido,positiva y con lógica.
Ejemplos:
“Los inmigrantes deberían tener posibilidades de empleo de acuerdo alas competencias que tienen”.
“Los inmigrantes deberían tener posibilidades de empleo de acuerdo alas necesidades del mercado”.
4º. Ejemplo:
“El aborto es de manera exclusiva una opción de laj d b í d t di i ió
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
136/181
pmujer y debería de estar a su disposicióngratuitamente”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?
¿Qué modificaciones le haría a laconstrucción
1. Reactivo de doble efecto: Se produce porque seestablecen dos preguntas o ideas en una mismaf
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
137/181
frase.
SOLUCIÓN: Utilizar una frase con una sola idea yredactada lógicamente.
Ejemplo:
“El aborto es una decisión a la que puede optar la mujer.
“El aborto debería de estar claramente legislado”.
5º. Ejemplo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
138/181
“No debería ser posible preguntarle a una mujer acerca del apoyo económico que recibe de suesposo, cuando a los maridos no se les hacen lasmismas preguntas”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?
¿Qué modificaciones le haría a la construcción
Errores:
i f
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
139/181
1. Negaciones: Puede resultar confuso responder unapregunta con doble negación porque cuesta
interpretar la respuesta.
2. Uso del término DEBERÍA.
SOLUCIÓN: Utilizar una frase con una sola idea yredactada lógicamente.
Ejemplo:
“Las mujeres merecen el mismo respeto que cualquier persona cuando se les pregunta acerca del manejo de sus finanzas”.
6. Ejemplo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
140/181
“Las personas deberían pensar de unívocamente
en temas como el transporte, la educación y la salud”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?
¿Qué modificaciones le haría a laconstrucción
Errores:
1 Lenguaje emotivo: Provoca activación de procesos
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
141/181
1. Lenguaje emotivo: Provoca activación de procesoscerebrales que interfieren en la capacidad de
respuesta del sujeto.2. Términos o palabras desconocidas:“UNIVOCAMENTE”
SOLUCIÓN: Utilizar una frase redactada objetivamentey en términos neutros.
Ejemplo:
“Es muy probable existan diferencias frente a los temas queimportan a la sociedad”.
7º. Ejemplo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
142/181
“¿Está usted de acuerdo con que deberían
aumentarse los subsidios a las personas de latercera edad?”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?¿Qué modificaciones le haría a la construcción
Errores:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
143/181
1. Preguntas sugestivas: Sitúan la respuesta en uncontexto donde la respuesta más probable esafirmativa.
Tienen la desventaja que muchas veces sonpreguntas con poco contenido real.
2. Uso del término DEBERÍA.
SOLUCIÓN: Utilizar una frase redactada concontenidos reales y que sea equiprobable la opciónde responder
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
144/181
de responder.
Ejemplo:
“ Es necesario que las políticas de apoyo a la tercera edad sean claras a fin de evitar recargar el aumento de los
impuestos a los contribuyentes”.
“ Es necesario que las políticas de apoyo a jubilados seanclaras a fin de evitar recargar el aumento de los impuestos a loscontribuyentes”.
8. Ejemplo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
145/181
“¿ Tiene usted antecedentes penales?”.
Analizar:
¿Es un ítem favorable o desfavorable?
¿Qué errores detecta en la construcción?
¿Qué modificaciones le haría a laconstrucción
Errores:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
146/181
1. Invasión de la intimidad: Son preguntas poco
pertinentes (vida privada o vida sexual), por lotanto la intromisión puede conducir aincomodidad y a falsear la respuesta.
SOLUCIÓN: Evitar este tipo de preguntas.
ETAPAS CONSTRUCCIÓN TAIS
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
147/181
EJEMPLOS DE NUEVOS ÍTEMS EN CONTEXTOSINFORMATIZADOS (Muñiz, 2011).
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
148/181
1. Highlighting Test, (Carey, 2001; Walker & Crandall, 1999)
Click on the sentence in the
paragraph to the left that best
describes the practical
meaning of the property of
invariance.
(Place the pointer on the
sentence you wish to
highlight, and click to select
it.)\
Previous NextHelp?
Multiple Selection
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
149/181
Marco has $7.00 to spend on his lunch. Click on a drink, a
sandwich, and a side that Marco could have for lunch so that the price of the three items adds up to $7.00 or less.
Drinks Sandwiches Sides
$1.25 Milk $3.75 Veggie $1.50 Chips
$.95 Tea $4.50 Turkey $1.00 Cookies
$1.50 Soda $4.75 Roast Beef $1.75 Rice
$1.25 Juice $5.00 Pastrami $1.50 Green Salad
$.95 Coffee $4.75 Ham $1.50 Fruit Salad
Inserting Text (Taylor et al., 1998)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
150/181
Image courtesy of ETS/C. Mills (2000)
Highlighting Text(Carey, 2001; Walker & Crandall, 1999)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
151/181
Directions: Click on the one value in the number sentence below that must be
changed in order for the number sentence to be correct.
3+2+5 = 5+2+9 = 10
This is one way to allow students todemonstrate understanding of the
commutative property of addition
Free-Response Mathematics(Braswell & Kupin, 1993)
Note, a calculator can be accessed
by clicking on the icon.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
152/181
Scores on two items for five examinees are given below. Complete thetable by computing the classical item difficulty for each of the items and
typing it into the highlighted boxes provided.
(You may use the calculator tool as needed.)Examinees Item 1 Item 2
1 0 1
2 1 1
3 1 1
4 0 0
5 1 1
Difficulty: Difficulty:
CALC
NEXTBACK
0.60 0.80
y g
Graphical Modeling(Bennett, Morley, & Quardt, 2000)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
153/181
Directions: Use the information in the table below to finish the bar
chart. Drag the bar labeled ‘Other Color’ to show the percent of
people in that category.
Eye
Color Percent
BrownEyes
50%
BlueEyes
30%
OtherColor
20%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Other Color
Blue Eyes
Brown Eyes
Computer-based essay
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
154/181
In the space provided,
please write an essay addressing the topic given below.
“The earliest known evidence of testing dates back to
Chinese employment testing thousands of years ago. Today,
we are talking about computer-based testing and the Internet.
Briefly (yet completely) describe three of the major
developments in measurement practice that have taken place
in history.”
Cut
Paste
Undo
Submit
As educational and psychological tests have found new uses in
aspects of everyday life, such tests have evolved in many interesting and
exciting ways from their earliest beginnings. Three critical advances that
have particularly changed measurement practices include (1) the test
development efforts related to the Army Alpha tests during the World War
I era, (2) the theoretical innovations associated with the
conceptualization of item response theory, and (3), the introduction of the
computer as a mechanism for delivering tests and recording examinee
responses. In this essay, I will detail how such changes have impacted…
Graphical Modeling(Bennett, Morley, & Quardt, 2000)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
155/181
Image from ETS/C. Mills (2000)
Site Planning Vignettes (Bejar, 1991)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
156/181
Image from NCARB (2000)
This example comes from a licensing exam for architects. They are
required to use computerized tools to build buildings, parking lots, etc.
Dynamic Problem Solving(Clauser et al., 1997)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
157/181
Image from NBME (2001)
This item, from a licensing exam for medical doctors, requires
the examinee to order medical tests and “treat” the patient in
real time.Results of medical tests are
obtained by advancing the clock.
Precaución con los nuevos formatos de losÍtems
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
158/181
1. Ser muy claro acerca de los constructos medidos
2. Evitar sesgos
3. Aportar datos sobre la fiabilidad y validez
4. Prestar atención a los aspectos prácticos
5. Controlar posibles entrenamientos
7. MODELOS DE LOS TEST:
7 1 MODELOS MATEMÁTICOS S li d NO
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
159/181
7.1 MODELOS MATEMÁTICOS: Se aplican cuando NO
EXISTE CONTROL RIGUROSO y REGISTRO PRECISO detodas las conductas de interés.
Las variables independientes (PARTE DE LA
CONDUCTA NO OBSERVADA) se combinannuméricamente para predecir una variabledependiente (PARTES DE LA CONDUCTAOBSERVADA).
7.2 REGLAS FORMALES EXPLÍCITAS: Integrar información para una inferencia psicométrica.
5. FUENTES DE ERROR EN EL PROCESO DE MEDICIÓN
5 1 VARIANZA DEL ERROR (E )
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
160/181
5.1 VARIANZA DEL ERROR (Error).
DEFINICIÓN: Es el componente de puntuación deuna prueba atribuible a fuentes distintas delcomportamiento medido (CONDUCTA REGISTRADA).
(Cohen y Swerdlik, 2006)
- Este planteamiento asume:
4 1 1 HAY FACTORES i fl i á l
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
161/181
4.1.1 HAY FACTORES que influirán en las
puntuaciones de la prueba.
4.1.2 Los FACTORES son AJENOS a lo que laprueba pretende medir
- Existen muchas fuentes potenciales de varianzade error , a saber:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
162/181
1. El evaluado se encuentra enfermo almomento de responder una prueba.
Evaluado como fuente de error
2. El nivel de profesionalismo de los evaluadoresal conocer y aplicar la regla conforme a lasinstrucciones de la misma.
Evaluador como fuente de error
3. Algunas pruebas son mejores que otras (calidadtécnica) para medir lo que pretenden medir.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
163/181
Ejemplo: El WAIS III es una prueba mejor que elRorschach para evaluar la inteligencia de los adultos.
Instrumento de medición como fuente de error
Las puntuaciones de las pruebas siempre están sujetas a preguntas sobre el grado en que el procesode medición incluye el error.
6. COLOCANDO A PRUEBA UN INSTRUMENTO:
Permite:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
164/181
Permite:
1. Responder preguntas.
2. Observar empíricamente el impacto que sobre losprincipios del modelo psicométrico sobre:
- La construcción del Test.
- El uso posterior del Test
PREGUNTAS A QUÉ RESPONDE:
1 ¿ Por qué usar este instrumento o método en
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
165/181
1. ¿ Por qué usar este instrumento o método enparticular ?.
2. ¿ Se ha publicado alguna guía sobre el uso deesta prueba ?.
3. ¿ Es confiable este instrumento ? y ¿ Es válido esteinstrumento ?.
4. ¿ Sus medidas son comparables para diferentessujetos?. ¿ Se consideraron las variablescontextuales asociadas a la evaluación y los
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
166/181
yevaluados?.
5. ¿ Qué inferencias se pueden hacer de manerarazonable a partir de la calificación de estaprueba, y qué tan generalizables son los hallazgos
?.
7.3 BASADO EN PROBABILIDADES:
7.3.1 Establecer las relaciones entre las conductas noobservadas ( ) y las conductas observadas (X)
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
167/181
observadas ( ) y las conductas observadas (X).
7.3,2 Se DESCONOCE la manera en los sujetos que vana responder a los ítems.
7.3.2 Existirá una distribución de probabilidad de
valores con una valor dado de :P (X )
NOTA: LA PARTE DE LA CONDUCTA NO OBSERVADA SE INFERIRÁ APARTIR DE PARTE DE LA CONDUCTA OBSERVADA
7.4 Modelo de Medida:
7 4 1 No intenta explicar cada detalle de los
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
168/181
7.4.1 No intenta explicar cada detalle de los
datos (tomados a partir de conductasobservadas)
7.4.2 Intenta aproximar patrones de
comportamiento importantes o relevantes(REPERTORIOS DE CONDUCTA EN TÉRMINOSGENERALES).
7.5 Aspectos que deben ser considerados en elModelo:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
169/181
7.5.1. Especificar la escala para las observaciones(CONDUCTA REGISTRADA) en función de:
1. Una puntuación.
2. La respuesta a un ítem.
3. Una matriz de relaciones entre ítems y
respuestas.
7.5.2. Especificar una o más variables del diseño(CONDUCTAS NO OBSERVABLES).
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
170/181
7.5.3 Especificar la combinación entre lasvariables independientes para predecir lavariable dependiente (CONDUCTASOBSERVABLES).
Aspectos que …….. (continuación):
7.5.4 LOS PESOS ESTADÍSTICOS de las variables del
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
171/181
diseño son los parámetros del modelo.
Especificar las relaciones entre PARTES DE LACONDUCTA OBSERVABLE Y NO OBSERVABLE
8. Modelos Básicos en la Construcción de los Test:
8 1 Aplicación en función de:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
172/181
8.1 Aplicación en función de:
1. La Complejidad de los Problemas de Medida.
2. Evaluaciones a gran escala (EGE).
8.2 Teorías de los Test:TCT TG TRI
Autores Speraman Cronbach Lord y Novick
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
173/181
Autores Speraman Cronbach Lord y Novick
EstimaciónCaracterística Interés
X= V+e
Función Matemática Lineal ANOVA Logístico y de OjivaNormal
Error típico de Medida FacetaFuentes de Error (Variancia
Verdadera, Dificultad del Ítem,Interacción, Aleatorio)
Supuestos NormalidadHomocedasticidad
Independencia
NormalidadHomocedasticidad
Independencia
Unidimensionalidaddel test
Indeterminación de laEscala de Rasgo
LatenteIndependencia Local
Parámetros DiscriminaciónDificultad
Puntuación delUniverso
DificultadDiscriminación
Pseudo adivinación
xx x r 1
I1ˆ
n
1ii )1u(PV
ˆ
ESQUEMA ELEMENTOS DE LA MEDICIÓN
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
174/181
OBJETOSistema Físico sobre el que
se realizan una serie deoperaciones
PROPIEDADOBSERVABLE
Valor determinado por laoperación
INSTRUMENTOPermite llevar a cabo la
operación
CUADRO nº1: COMPARACIÓN TEORÍAS DE LA MEDICIÓN
CONCEPCIÓN CARACTERÍSTICAS MEDICIÓN
Conservadora
( Á
•Axiomas de la Cantidad
l ó á
• Directa / Fundamental
d d
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
175/181
(PRE-CLÁSICA,
CLÁSICA)
•Manipulación Matemática
es a Manipulación Física.•Representación empírica
mediante PROPIEDADESREALES.
•Psicología: UNIDAD DE MEDIDA
CONDUCTUAL (PsicologíaNeoconductista de Skinner)
Propiedades Extensivas
( Aditividad Empírica) •Derivada / Indirecta
Propiedades Intensivas
(Sin Aditividad Empírica)
- Psicología: ESTRICTAMENTE
EMPÍRICA ( PsicologíaNeoconductista. de Skinner)
Liberal
(REPRESENTACIONAL)
•Psicología: Sustituir la
RESTRICCIÓN DE LA ADITIVIDAD
EMPÍRICA (adherencia a reglasaritméticas) por la ASIGNACIÓNMEDIANTE REGLAS (niveles demedida reemplazan a laconcatenación)
- Escalas de Medida de StevensPRINCIPIO DE LA
INVARIANZA)
•Por Índices: Definición
arbitraria sobre la base de
observaciones empíricas.
CUADRO N°2
Aspecto Teoría Tradicional Teoría Representacional (Stevens)
Teoría y Medición Aspecto Pre io al margen de la Teoría Medición conforman Binomio
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
176/181
Teoría y Medición • Aspecto Previo y al margen de lateoría
•Medición sobre propiedades decosas•Números corresponden a
magnitudes
• Teoría y Medición conforman BinomioInseparable
• Lo medido es un objeto en si mismo, no unapropiedad de éste• Los números corresponden a objetos o
eventos
Naturaleza de lomedido
• Magnitudes• Propiedades Objetos Materiales•Expresada en cantidades de las
propiedades de un sistema
• No se miden atributos
• Amplía concepto de medición• Considera magnitudes y atributos
Magnitudes extensivase intensivas
• Medida Fundamental sólo esposible en magnitudes extensivas
• Leyes de cantidad son necesarias• Constatación empírica de la
concatenación•Magnitudes intensivas no se
pueden medir fundamentalmente
• La distinción entre cantidades extensivas eintensivas deja de ser un problema
• Supera restricciones de la concatenación(requisitos de aditividad)
• Propone medición fundamental demagnitudes intensivas (no necesita leyes deaditividad para medir fundamentalmente)
Escalas de Medida • Ordenación y cuantificación desistemas materiales
• Nivel mínimo de medidascorresponde a ordenación de
objetos• Escalas de Medida: SOLO EXISTIRÍA
DE RAZÓN
• Amplía rango de medidas aTransformaciones de Sustitución Biunívocas• Escalas: Nominal, Ordinal, De Intervalos
Razón
CUADRO Nº3: AXIOMAS DE LA MEDICIÓN RESUMIDOS
POSTULADOS PROPIEDADES DE RELACIÓN Y
DE LOS NÚMEROS
IDENTIDAD: IDENTIDAD LÓGICA
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
177/181
1. a = b o a
b. REFLEXIVIDAD)
2. a = b ,entonces, b = a SIMÉTRICA)
3. a = b y b = c, entonces , c = a. TRANSITIVIDAD
ORDEN JERÁRQUICO:
4. a > b , entonces , b > a ASIMETRÍA)
5 . a > b y b > c, entonces, a > c TRANSITIVIDAD)
MAYOR O MENOR QUE
N: ORDEN)
1-5: CONJUNTO ORDENADO
ADITIVIDAD:
6. Si a = p, b > 0, entonces , a + b > p CONCATENACIÓN.
Posibilidad de Sumar)
7. a + b = b+ a CONMUTATIVIDAD)
8. a = p y b = q, entonces, a + b = p + q
ESTABILIDAD DE LA RELACIÓN)
9. a + b) + c = a + b + c). ASOCIATIVA)
ELEMENTO NEUTRO
N: ORIGEN)
CONMUTATIVIDAD
N: DISTANCIA)
ESTABILIDAD
N: DISTANCIA)
ASOCIATIVIDAD
N: DISTANCIA)
6-9: ADITIVIDAD O CONCATENACIÓN
FORMATO
- Elementos del PROTOCOLO:
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
178/181
1. Las instrucciones para la administración.
2. Antecedentes de los evaluados.
3. La modalidad de Registro de las Respuestas.
4. El tiempo de duración.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
179/181
LONGITUD:
1. Número de ítems total de la Escala.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
180/181
2. Número de ítems por factor o dimensión.3. Escala de Respuestas de los ítems
(Registro).
4. Escala de Puntuación individual y/o
Grupal.
NOTA: Evitar escalas con muchos ítems paraevitar cansancio y fatiga, así como también,
errores en las respuestas.
- INDICADORES PSICOMÉTRICOS EN EL TEST:
1. Propiedades Psicométricas de los Ítems.
-
8/16/2019 s1 Pi Usach 2014-A(Subrrayado)
181/181
p
- Fiabilidad.
- Validez.
- Discriminación.
2. Propiedades Psicométricas de la Prueba:
- Tipo de Fiabilidad
Ti d V lid