s1 pi usach 2014-a(subrrayado)

Upload: syn-prosthesis

Post on 05-Jul-2018

213 views

Category:

Documents


0 download

TRANSCRIPT

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    1/181

    SESIÓN N°1: PSICOMETRÍA I

    1. Introducción: Definición de Instrumentos o Pruebas

    Psicológicas.2. Etapas en la Construcción de una Prueba.3. Fuentes de Error en el Proceso de Medición.4. Poniendo a Prueba los Test .

    5. Los modelos de los test.6. Modelos Básico en la Construcción de los Test.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    2/181

    ¿Qué es la Ciencia?

    ¿ La Psicologíaes una Ciencia?

    DIMENSIONES DE LASESTRATEGIAS

    1. Diseño2. Ambiente3. Recopilación de

    los datos

    METODOLOGÍA NO EXPERIMENTAL*HIPÓTESIS DE COVARIACIÓN

    DISEÑOS NO EXPERIMENTALES

    CaracterísticasLógica, Determinista, General, Parsimoniosa,Específica, Empírica, Intersubjetiva, Pública

    Fases investigaciónPlanteamiento ProblemaFormulación HipótesisElección MetodologíaOPERATIVIZACIÓN VARIABLESMEDICIÓN VARIABLES

    EVALUACIÓN MÉTRICA INSTRUMENTOS*Selección muestraRecogida de los datosAnálisis de datosContrastación HipótesisInterpretación resultadosReporte de investigación

    Modalidades investigaciónen PsicologíaManipulativo-ExperimentalAsociativo Correlacional

    Método CientíficoObjetivos

    Describir, Explicar, Predecir, Controlar

    METODOLOGÍA EXPERIMENTALHIPÓTESIS CAUSALES

    DISEÑOS EXPERIMENTALES - CUASI EXPERIEMNTALES

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    3/181

    1. INTRODUCCIÓN:   Meta de las Ciencias delComportamiento es el ESTABLECIMIENTO DEPRINCIPIOS GENERALES para:

    1. DESCRIBIR.

    2. EXPLICAR.

    3. PREDECIR

    IMPLICA: Recoger y comparar datos (MEDICIÓN).Ejemplo:   Estudios de Fester y Skinner (1957)  hechossobre el registro de UN CUARTO DE BILLÓN DE

    RESPUESTAS.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    4/181

    - La rama que se dedica a LOS PROCESOS DEMEDICIÓN en Psicología es la Psicometría.

    1

    .

    1 DISCIPLINA METODOLÓGICA   con una doblevertiente:

    1. Teórica   : Fundamentación teórica de lamedida.

    2. Práctica   : Construcción, evaluación y

    aplicación de instrumentos demedida para EVALUAR o MEDIRCONDUCTAS.

    (Escudero y Pérez-Gil, 2007).

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    5/181

    Psicologíacomo

    Ciencia

    OBJETOESTUDIO

    MEDICIÓN ENPSICOLOGÍA

    Comportamiento Humano(Objeto con características

    particulares)

    3. ¿Qué es medir?: Establecer correspondencia entre un conjunto particular de elementos reales y otro de elementosformales.* ROL TRADUCTOR AL EXPRESAR DIFERENTES

    FENÓMENOS PSICOLÓGICOS EN LENGUAJEFORMAL Y UNIVERSAL*

    4. Medir lo Psicológico: Consideraciónde constructos o características latentes (noobservables directamente).

    *RELACIONAR CONCEPTOS ABSTRACTOS CONINDICADORES EMPÍRICOS*

    1. Precisa de aspectosespecíficos.

    2. Precisa de técnicas einstrumentos de medicióndiferentes

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    6/181

    1. OBSERVARUNA

    CONDUCTA3. INDICADORES2. CONSTRUCTO 4. ITEMS

    4.1 ESTRUCTURAFACTORIAL

    TEÓRICA

    2.1 DEFINICIÓNCONCEPTUAL

    2.2DIMENSIONES

    5. PRUEBAPILOTO

    (MUESTRA No

    Objetivo)

    6. ANÁLISIS**PUNTUACIONES

    DE LOS ITEMS

    (PropiedadesMétricas)

    4.2 ANÁLISISVALIDEZ

    CONTENIDO(JUECES

    EXPERTOS)**

    7. SELECCIÓNPRELIMINAR DE LOS

    ITEMS **

    9. ANÁLISIS **PUNTUACIONESÍTEMS Y DE LA

    PRUEBA(Propiedades

    Métricas)

    10. ANÁLISISCOMPLEMENTARIOS

    (TEST)

    11. DEFINICIÓNOPERACIONAL

    **ÍNDICES ESTADÍSTICOS

    8. APLICACIÓNPRUEBA (MUESTRA

    Objetivo)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    7/181

      2 .DEFINICIÓN DE INSTRUMENTOS O PRUEBASPSICOLÓGICAS:

    1.2.1 Prueba Psicológica:   Es un procedimientoestandarizado para obtener una muestra de conductay describirla con base en categorías o puntuaciones(normas o estándares) que permiten utilizar losresultados para predecir otras conductas.

    (Gregory, 2012).

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    8/181

    1.2.1.1 Características de las pruebas (Gregory, 2012):

    1. Procedimientos Estandarizados.2. Muestra de Conducta.

    3. Permite obtener puntuaciones o derivar 

    categorías.

    4. Contemplan Normas o Estándares.

    5º Predicen conductas no evaluadas.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    9/181

    1.2.1.1 Características de las pruebas (Gregory, 2012):

    1. Procedimientos Estandarizados:   Implica que losprocedimientos de aplicación de la prueba son

    uniformes de un examinador a otro y de una situacióna otra.

    - Implica en parte las habilidades del evaluador.

    - Depende principalmente de las instrucciones deaplicación.

    - Presentar materiales con estímulos similares atodos los aplicadores (psicometristas oevaluadores).

    - Aconsejar al evaluador o examinador sobre laforma de manejar diversas dudas del examinado.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    10/181

    2. Muestra de Conducta: Es una muestra limitada deconductas   dado que existen RESTRICCIONESPRÁCTICAS   (el evaluado y el examinador no tienen

    tiempo suficiente) para una prueba realmentedetallada de un dominio conductual bien definido yfinito.

    - La muestra de conductas es de interés en lamedida que permite hacer inferencias   acerca deldominio relevante de conductas.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    11/181

    Ejemplo:   Se le aplica a un adulto la Escala deInteligencia de Adultos IV (WAIS-IV) y es capaz dedefinir 35 palabras de una sub prueba devocabulario.

     Aplicación:

    Consecuencias directas: Es un puntaje alto en la subprueba.

    Significado Indirecto:   El nivel de conocimientogeneral del evaluado.

    Cuestión Esencial: Permite predecir conductas que

    no se evalúan directamente.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    12/181

    3. Permite obtener puntuaciones o derivar categorías:

    - Las pruebas psicológicas resumen el desempeño de

    los evaluados en números y, posteriormente losclasifican.

    - En términos psicométricos, las pruebas miden

    diferencias individuales respecto a rasgos ocaracterísticas, las cuales, están presentes endiferente cantidad.

    Dos advertencias:

    1º Toda puntuación de la prueba reflejará SIEMPREcierto grado de ERROR DE MEDICIÓN.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    13/181

    - La IMPRECISIÓN de las pruebas es INEVITABLE.

    - Las Pruebas deben basarse en una MUESTRAEXTERNA DE CONDUCTAS para ESTIMAR(paradójicamente) una CONDUCTA NO OBSERVABLE(inferida).

    - La TCT la expresa con la ecuación X = V ± e

    donde;

    X= Es la puntuación observada.

    V = Es la puntuación verdadera

    e = Componente de error positivo o negativo.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    14/181

    - Un Psicómetra y, posteriormente un evaluador tratará que el error sea muy pequeño aunque, nuncase puede eliminar por completo ni esa posible

    conocer su efecto exacto sobre el caso individual.

    2º Los resultados de un test representan unaABSTRACCIÓN DE LA CONDUCTA OBSERVADA , la

    cual, ha demostrado ser útil para PREDECIRCONDUCTAS QUE NO SE EVALÚAN.

    - Evitar materializar las características medidas dado

    que el Modelo Predictivo está formalizado medianteun Modelo Estadístico, a saber:  P  (X  )

    donde:  = Conducta No Observada y X = Conducta

    Observada.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    15/181

    4. Contemplan Normas o Estándares: La puntuación deun sujeto en un test es interpretada al COMPARARLAcon las puntuaciones obtenidas por otros individuos en

    el mismo test.

    - Los Psicómetras (Diseñadores y Constructores dePruebas) comunican las NORMAS (CRITERIOS

    ESTADÍSTICOS), las cuales, son un resumen de losresultados obtenidos en un grupo grande yrepresentativo de sujetos (GRUPO NORMATIVO es unaMUESTRA DE ESTANDARIZACIÓN), la cual, permite

    determinar la posición del evaluado con referencia aél.

    NORMAS: Establecen desempeño promedio e indican

    la frecuencia con que se obtienen distintos puntajes.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    16/181

    5º Predicen conductas no evaluadas:

    - La prueba no es un fin en si misma.

    - Es importante conocer el desempeño en lasconductas que la prueba mide, así como también,

    en conductas que a partir de ellas se puedenhacer predicciones.

    Ejemplo:   Al conocer los niveles de CI de una

    persona es posible hacer predicciones sobre elrendimiento cognitivo.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    17/181

    1. 2.2 Variables de los Instrumentos:

    1. Contenido.2. Formato.3. Aplicación.4. Puntuación.5. Calidad Técnica.

    (Cohen y Swerdlik, 2006)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    18/181

    1.2.3 Contenido: Refiere a los temas de la prueba.

    - Varían según el enfoque teórico que la misma

    maneje.

    Ejemplo: Personalidad.

    - Los reactivos de una prueba de personalidad a

    partir de la teoría Psicoanalítica tiene poco parecidoa la prueba basada en la Teoría Existencial.

    - Ambas son pruebas de Personalidad.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    19/181

    Formato: Refiere a

    1. Forma

    2. Plan:

    3. Estructura: Protocolo de la Prueba.

    4. Arreglo o disposición de los reactivos.

    5.Consideraciones específicas: Registro derespuesta, instrucciones y límites de tiempo.

    6. Computarizada o de lápiz y papel.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    20/181

    Procedimiento de aplicación:

    1. Evaluación Individual.

    2. Evaluación Grupal.

    3. Rol del Evaluador:

    3.1 Presente (Hetero aplicación)

    3.2 Ausente (Auto aplicación).

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    21/181

    2.2.4 Puntuación:

    1. Proceso sumatorio de los puntos.

    2. En función de las respuestas de un sujeto en eldesempeño de una prueba o tareas.

    3. Opciones de respuesta:

    3.1 Desacuerdo hasta Acuerdo.

    3.2 Presente - Ausente

    4. Categorización de respuestas: Uso de Puntos deCorte (Mediana u otro criterio).

    é

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    22/181

    Calidad Técnica:

    1. Refiere al SONDEO PSICOMÉTRICO de una prueba.

    2. Implica: Consistencia y Precisión de las puntuaciones de laprueba.

    3. FIABILIDAD:

    3.1 Consistencia de las Puntuaciones.

    3.2 Error No Sistemático.

    3.3 Responde a la pregunta de investigación

    ¿ Con cuánta exactitud la muestra de ítems o tareas representa al universo de ítems desde donde fueron seleccionados?

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    23/181

    PERSPECTIVAS TEÓRICAS (Navas, 2001)

    TeoríasClásicaTest (TCT)

    CONSISTENCIAINTERNA

    1. Dos mitades2. Alpha

    Cronbach

    2 Aplicaciones

    Test 

    Información

    TeoríasGeneralizabilidad

    (TG)

    TeoríaRespuestaÍtem (TRI)

    1 AplicaciónTest 

    ESTABILIDADTEMPORAL

    1. Test-Retest2. Formas

    Paralelas

    Teoría de laGeneralizabilidad

     AcuerdoInterjueces

    Consistenciade las

    clasificaciones

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    24/181

    ESTUDIO DE LA FIABILIDAD TCT (Doval, 2002)

    Más de unaaplicación del

    instrumento

    Formas Paralelas

    Coeficientes de

    Equivalencia(Entre-evaluadores)

    PROCEDIMIENTO

    1. Coeficiente deFiabilidad conr de Pearson

    ESTABILIDAD CONSISTENCIA INTERNA

    Test- Retest

    Coeficientes deEstabilidad

    (Intra-evaluadores)

    PROCEDIMIENTO

    1. Coeficiente deFiabilidad conr de Pearson

    Dos mitades

    Coeficiente de dosMitades

    PROCEDIMIENTOS

    1. Rulón2. Spearman Brown3. Gutmann

    K-partes

    Coeficiente deconsistencia interna

    PROCEDIMIENTOS

    1. Alpha Cronbach2. KR -203. KR-21

    Una única aplicación delinstrumento compuesto por k

    unidades

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    25/181

    4. VALIDEZ:

    4.1 Precisión de las puntuaciones.4.2 Error Sistemático.4.3 Responde a la pregunta de investigación:

    ¿ Con qué fidelidad corresponde   este universo alatributo latente que se va a medir?

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    26/181

    1.1 PROPIEDADES PSICOMÉTRICAS

    FIABILIDAD: Grado deconsistencia de una medida.

    Tipos:

    1. Más de una Aplicación:ESTABILIDAD

    1.1 Formas Paralelas.1.2 Test-Retest.

    2. Una única aplicación:CONSISTENCIA INTERNA.

    2.1 Dos mitades.2.2 K-partes.

    Validez: Grado en el que el instrumento demedición con exactitud el constructo teórico para el que fue diseñado.

    TIPOS:

    1. Contenido : Aparente, Muestral y Curricular.

    2. Constructo : Convergente, Discriminante,Factorial.

    3. Criterial : Predictiva, Concurrente,Retrospectiva.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    27/181

    Ejemplo Coeficiente de Fiabilidad mediante Formas paralelas: Un psicómetra se encuentra interesado enconocer la fiabilidad de una Prueba de Ansiedad

    que ha construido con dos formas (A y B). Para talefecto, administra a 10 pacientes seleccionados alazar por un psicólogo clínico encuentra lossiguientes resultados:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    28/181

    Matriz de Datos:

    Pacientes X

    (Forma A)

    Y

    (Forma B)

    1 19 39

    2 5 11

    3 9 13

    4 1 285 7 4

    6 3 6

    7 20 39

    8 3 2

    9 29 29

    10 23 24

    11 9 14

    12 37 26

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    29/181

    FÓRMULAS COEFICIENTES DE FIABILIDAD

    ESTABILIDAD CONSISTENCIA INTERNA

    2 APLICACIONES 2 MITADES 1 APLICACIÓN) 1 APLICACIÓN

    FORMAS PARALELAS MÉTODO DE RULÓN ALPHA DE CRONBACH

    TEST-RETEST SPEARMAN BROWN KUDER RICHARDSON 20

    GUTMANN KUDER RICHARDSON 21

    22

    22

    1

     

     

     

     

     

     

     

       

    n

     X 

    n

     X 

    n

    i p

    n

    i p

    r vx

     

      

       

     

    2

    2

    120

    t    pq

     N 

     N  KR

      

      

     

      

       

    2

    )(

    121

     x

     x x

    n

    n

     N 

     N  KR

      

      

    0

    0

    )1(1   r k 

    kr r SB

     

     

     

     

      2

    2

    11

    i

     N 

     N  

     y x

     xy

     xyS S 

    S r 

     y x

     xy

     xyS S 

    S r 

     

      

       

    2

    2

    2

    2

    112

    G

    S S r 

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    30/181

    - Fórmula Coeficiente de Fiabilidad FormasParalelas:

    2222

    iiii

    iiii

     xy

    Y Y n X  X n

    Y  X Y  X nr 

    Á Ó

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    31/181

    1. ANÁLISIS DE LA RELACIÓN:1.1 Tipo de Relación.

    1.2 Valor del Coeficiente de Correlación.

    1.3 Patrón de Correlación.1.4 Criterio de Clasificación (descriptor del valor derxy) e Interpretación Coeficiente Correlación.

    1.5 Error Típico (Desviación Estándar del

    Coeficiente)1.6 Varianza Explicada (Proporción y Porcentaje).

    1.7 Varianza No Explicada (Proporción yPorcentaje).

    1.8 Covarianza y Comprobación rxy

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    32/181

    - CRITERIOS DE CLASIFICACIÓN COEF. CORRELACIÓN(Pérez, García. Gil y Galan,2009):

    Valor Coeficiente Interpretación

    ±1.00 - ± 0.91   Correlación Muy Alta (Muyelevada)

    ±0.90 - ± 0.71   Correlación Alta(Elevada)

    ±0.70 - ± 0.41   Correlación Media (Marcada,Notable)

    ±0.40 - ± 0.21   Correlación Baja

    ±0.20 - 0.00   Correlación Muy Baja

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    33/181

    - Integración de Rangos Interpretación Coeficientes deFiabilidad (Nunally, 1978; Magnusson, 1983; Thorndike,1989; Carretero-Dios, 2007; EFPA, 2011).

    Rangos Magnitud CampoAplicación MODELO EFPA(Muñiz, 2011)0.81-1.00 Muy Alta

    (ACEPTABLE)Decisiones

    Importantes Personas(0.90 o más)

    Comparación de

    Grupos (0.80 o más)

    r > 0.90(EXCELENTE)

    0.80 < r < 0.90(BUENA)

    0.70 < r < 0.80(ADECUADO)

    0.61-0.80 Alta

    (ACEPTABLE)

    Investigación

    (0.70 o más)

    r < 0.70

    (INADECUADO)

    0.41-0.60 Moderada

    0.21-0.40 Baja

    0.00-0.20 Muy Baja

    Á

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    34/181

    2. ANÁLISIS INFERENCIAL:

    2.1 Hipótesis Estadísticas.

    2.2 Diagrama Contraste.2.3 Conclusión Breve.

    2.4 Cálculo Error Estándar de la Medición (Error Psicométrico).

    2.5 Cálculo Intervalos de Confianza.2.6 Cálculo de Longitud de la Prueba (en caso deser necesario).

    2.7 Cálculo Error Muestral (Error Estadístico)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    35/181

    CONTRASTE DE HIPÓTESIS:

    1. Hipótesis Nula(No hay relación estadísticamente significativa entre las puntuaciones de las Formas A y B).

    2. Hipótesis Alterna(Hay relación estadísticamente significativa entre las

     puntuaciones de las Formas A y B).

    0:0

        

     H 

    0:1      H 

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    36/181

    FÓRMULA :

    21

    2

     xyr 

    n xyr obs

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    37/181

    Construcción de los Intervalos de Confianza:

    NOTA: En estas ecuaciones r   xy es el coeficiente decorrelación de la muestra y F es el valor crítico en función delos grados de libertad (n-2) y un error permitido mediante  .(Blair y Taylor, 2008).

      xycríticocríticocrítico xycrítico

    erior límiter  F  F 

     F r  F r 

    11

    11

    inf 

      xycríticocrítico

    crítico xycrítico

    erior límiter  F  F 

     F r  F r 

    1111

    sup

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    38/181

    ERROR ESTÁNDAR:

    donde:

    EEM = Error estándar de medición

    Sp   = Desviación estándar de las puntuaciones

    totales del test

    r  F   = Coeficiente de Fiabilidad

    F p   r 1SEEM 

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    39/181

    Para cálculo de Sp utilice la fórmula:

        11

    11  22

     y x

     y y x x

     pnn

     sn snS 

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    40/181

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    41/181

    1-. Calcule cuál debería ser la longitud de la prueba(número de ítems que debería tener) para alcanzar un nivel de fiabilidad de 0.70, 0.80 y 0.90.

    Utilice la Fórmula:

    donde:R xx= Es el coeficiente de Fiabilidad que se esperaalcanzar.

    r F = Es el coeficiente de fiabilidad obtenido.

    1 = Constante.

    )1(

    1

     F  F 

     F  xx

    r r 

    r  R N 

    2 Cál l d ít d ( ´)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    42/181

    2-. Cálculo de ítems esperados (n´):

    donde:

    n´ = número de ítems que tendía el testn = número de ítems que tiene el test actualmenteN = Razón obtenida entre la fiabilidad esperada y lafiabilidad obtenida.

    n N n  

    ERROR MUESTRAL PARA MUESTRAS FINITAS (n

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    43/181

    ERROR MUESTRAL PARA MUESTRAS FINITAS (n100,000)

    nq p z  EM 

     

    2

    2

    2

     

     

     

     

     

    q p z 

    n

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    44/181

    Ejemplo Coeficiente de Validez Convergente:   Unpsicómetra se encuentra interesado en conocer lavalidez mediante el uso de un criterio externo de

    una Prueba de Ansiedad que ha construido. Para talefecto, administra a 10 pacientes seleccionados alazar por un psicólogo clínico la prueba que él haconstruido (variable X) y una prueba que otro

    investigador ha construido para medir la ansiedad yencuentra los siguientes resultados:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    45/181

    Matriz de Datos:

    Pacientes X

    (Test Investigador)

    Y

    (Test del Otro Investigador )

    1 15 6

    2 37 34

    3 33 8

    4 22 36

    5 11 11

    6 10 20

    7 15 12

    8 25 16

    9 31 40

    10 2 8

    11 10 34

    12 37 32

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    46/181

    - Fórmula Coeficiente de Validez Convergente:

    2222

    iiii

    iiii xy

    Y Y n X  X nY  X Y  X nr 

    1 ANÁLISIS DE LA RELACIÓN:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    47/181

    1. ANÁLISIS DE LA RELACIÓN:

    1.1 Tipo de Relación.

    1.2 Valor del Coeficiente de Correlación.1.3 Patrón de Correlación.

    1.4 Criterio de Clasificación (descriptor del valor derxy) e Interpretación Coeficiente Correlación.

    1.5 Error Típico (Desviación Estándar delCoeficiente)

    Ó Ó

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    48/181

    - CRITERIOS DE CLASIFICACIÓN COEF. CORRELACIÓN(Pérez, García. Gil y Galan,2009):

    Valor Coeficiente Interpretación

    ±1.00 - ± 0.91   Correlación Muy Alta (Muyelevada)

    ±0.90 - ± 0.71   Correlación Alta(Elevada)

    ±0.70 - ± 0.41   Correlación Media (Marcada,Notable)

    ±0.40 - ± 0.21   Correlación Baja

    ±0.20 - 0.00   Correlación Muy Baja

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    49/181

    Coeficiente de Validez:Correlación Test-Criterio (Muñiz, 2011)

    SIGNIFICACIÓN VALOR COEFICIENTECORRELACIÓN

    INADECUADA r < 0.20ADECUADA 0.20 < r < 0.35

    BUENA 0.35 < r < 0.50

    EXCELENTE r > 0.50

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    50/181

    Validez Convergente: Correlaciones con escalassimilares (Muñiz, 2011)

    SIGNIFICACIÓN VALOR COEFICIENTECORRELACIÓN

    INADECUADA r < 0.55ADECUADA 0.55 < r < 0.65

    BUENA 0.65 < r < 0.75

    EXCELENTE r > 0.75

    2 ANÁLISIS INFERENCIAL:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    51/181

    2. ANÁLISIS INFERENCIAL:

    2.1 Hipótesis Estadísticas.

    2.2 Diagrama Contraste.2.3 Conclusión Breve.

    2.4 Cálculo Error Estimación del Criterio (Error Psicométrico).

    2.5 Cálculo Intervalos de Confianza.2.6 Cálculo de Longitud de la Prueba (en caso deser necesario).

    2.7 Cálculo Error Muestral (Error Estadístico)

    Ó

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    52/181

    CONTRASTE DE HIPÓTESIS:

    1. Hipótesis Nula(No hay relación estadísticamente significativa entre las puntuaciones de las Formas A y B).

    2. Hipótesis Alterna(Hay relación estadísticamente significativa entre las

     puntuaciones de las Formas A y B).

    0:0

         H 

    0:1      H 

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    53/181

    FÓRMULA :

    21

    2

     xyr 

    n xyr obs

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    54/181

    Construcción de los Intervalos de Confianza:

    NOTA: En estas ecuaciones r   xy es el coeficiente decorrelación de la muestra y F es el valor crítico en función delos grados de libertad (n-2) y un error permitido mediante  .(Blair y Taylor, 2008).

      xycríticocríticocrítico xycrítico

    erior límiter  F  F 

     F r  F r 

    11

    11

    inf 

      xycríticocrítico

    crítico xycrítico

    erior límiter  F  F 

     F r  F r 

    1111

    sup

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    55/181

    - ERROR DE ESTIMACIÓN DEL CRITERIO: Para ello seutiliza la siguiente fórmula:

    Donde:

     Sy = Es la desviación típica de las puntuaciones enel criterio.

      xy = Es el coeficiente de validez en el test.

    21  xy y x y   S        

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    56/181

    1-. Calcule cuál debería ser la longitud de la prueba(número de ítems que debería tener) para alcanzar un nivel de fiabilidad de 0.70, 0.80 y 0.90.

    Utilice la Fórmula:

    donde:R xx= Es el coeficiente de Fiabilidad que se esperaalcanzar.

    r F = Es el coeficiente de fiabilidad obtenido.

    1 = Constante.

    )1(

    1

     F  F 

     F  xx

    r r 

    r  R N 

    2- Cálculo de ítems esperados (n´):

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    57/181

    2 . Cálculo de ítems esperados (n ):

    donde:

    n´ = número de ítems que tendía el testn = número de ítems que tiene el test actualmenteN = Razón obtenida entre la fiabilidad esperada y lafiabilidad obtenida.

    n N n  

    ERROR MUESTRAL PARA MUESTRAS FINITAS (n

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    58/181

    ERROR MUESTRAL PARA MUESTRAS FINITAS (n 100,000)

    TAMAÑO MUESTRAL PARA POBLACIONES INFINITAS(n>100,000)

    n

    q p z  EM 

     

    2

    2

    2

     

     

     

     

     

    q p z 

    n

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    59/181

    2

    F

    A

    E

    D

    E

    D

    E

    A

    L

    O

     

    D

    E

    U

    N

    A

    PR

    E

    FASE 1: DEFINICIÓN DE LA PRUEBA

    FASE 2: ELECCIÓN MÉTODO DE

    ESCALAMIENTO DE LA PRUEBA

     Gregory, 2012)

    FASE 3: ELABORACIÓN DE

    LOS REACTIVOS

    FASE 4: ANÁLISIS DE

    LOS REACTIVOS

    FASE 5: REVISIÓN DEL

    INSTRUMENTO

    FASE 6: PUBLICACIÓN DEL

    INSTRUMENTO

    Esquema de la relación entre los planos teórico, empírico

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    60/181

    y matemático desde el punto de vista de la medición.

    Representación formal  delos modelos

    Representación empírica Representación numérica de los

    de los constructos indicadores

    PLANO MATEMÁTICO

    Representación formalizada delmodelo y representación

    numérica de los indicadoresempíricos

    PLANO EMPÍRICO

    Indicadores empíricos de lasvariables latentes

    (Favorece laOperacionalización)

    PLANO TEÓRICO

    Modelo teórico que incluye losconceptos (constructos) que

    definen a las VARIABLESLATENTES .

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    61/181

    RESPONDER A LAS SIGUIENTES PREGUNTAS

    PREGUNTAS RESPUESTAS

    ¿ Cuál va a ser el contenido del test ? CONTENIDO

    ¿ Qué tipo de ítems se van a utilizar ? FORMATO

    ¿ Cuántos ítems debe tener la prueba ? LONGITUD

    ¿ Qué propiedades métricas debe tener ? INDICADORES PSICOMÉTRICOS

    ESPECIFICACIÓN DE LAS ETAPAS:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    62/181

    ESPECIFICACIÓN DE LAS ETAPAS:

    1. Definición de la Prueba:

    -Definir Teoría de Base del constructo,

    - Selección del Constructo,

    - Objetivos de la Escala,

    - Revisión de la literatura

    - Detección de indicadores y dimensiones emergentes

    (Técnica Grupos Focales) .

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    63/181

    Diseño de Investigación: EXPLORATORIO SECUENCIAL (FaseDerivativa. Ver en Hernández Sampieri, 2010)

    FORMATO GENERAL

    FASE CUALITATIVA FASE CUANTITATIVA

    1. Recolección Datos Cualitativos(Grupos Focales)

    1. Recolección Datos Cuantitativos1.1 Estudio Piloto (Versión

    Preliminar).

    2. Análisis Cualitativo (Indicadores,Dimensiones Emergentes delConstructo)

    2. Análisis Propiedades Métricas2.1 Ítems2.2 Prueba

    3. Ensamblaje Definitivo3.1 Versión Final.

    2 Elección método de escalamiento de la prueba:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    64/181

    2. Elección método de escalamiento de la prueba:

    - Establecimiento de reglas de medición : asignación

    de números a las respuestas).

    2.1 Método de escalamiento representativo(ordenamiento de expertos validez de contenido) :

    Clasificación ordinal de los jueces expertos paraanalizar la validez de contenido de los ítems;

    Los jueces expertos calificarán los ítems con la siguiente escala:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    65/181

    j p g

    Adaptado de (Gregory, 2012)

    REVISOR: ______________________________________ FECHA: _________ 

    Por favor, lea con cuidado la especificación de dominio para esta

    prueba. A continuación indique qué tan bien considera que elreactivo refleja la especificación del dominio. Juzgue el reactivoúnicamente con base en la correspondencia entre su contenido y elcontenido definido por la especificación del dominio.AFIRMACIÓN: Acostumbro a sonrojarme cuando tengo que hablar conpersonas desconocidas.

    Utilice la Escala de calificación de cuatro puntos que se muestra a continuación.

    1. IRRELEVANTE

     _____________ 

    2. BAJA RELEVANCIA

     _____________ 

    3. MODERADA RELEVANCIA

     _____________ 

    4. ALTA RELEVANCIA

     _____________ 

    Señale la Dimensión a la cuál pertenecería la presente afirmación.COGNITIVO _____________ 

    EMOCIONAL _____________ 

    CONDUCTUAL _____________ 

    OTRA _____________ 

    Propuesta de Redacción del Ítem (si lo estima del caso):

    Interpretación valores obtenidos conforme a los rangos

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    66/181

    Interpretación valores obtenidos conforme a los rangosseñalados:

    Adaptado de (Pardo y Ruiz, 2002)

    VALOR OBTENIDO ACUERDO INTERPRETACIÓN DECISIÓN0.75 o MÁS Excelente Alta Relevancia Incorporarlo en

    la Prueba (I)0.60-0.74 Excelente Alta Relevancia Incorporarlo en

    la Prueba (I)0.40-0.59 Bueno Moderada

    RelevanciaIncorporarlo enla Prueba previa

    si el segundoacuerdo de los

     jueces es igual omayor que 0.60

    (R)

    0.39 o MENOS Pobre Baja Relevancia Eliminarlo de laPrueba (E)

    2.2 Método de Escalamiento Absoluto 1: Clasificación

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    67/181

    2.2 Método de Escalamiento Absoluto 1: Clasificaciónordinal de los datos registrados (formato deautoinforme) a partir de las respuestas de losparticipantes del estudio para analizar ladiscriminación, fiabilidad y validez de los ítems.

    Ejemplo: ESCALA DE RESPUESTA de 5 categorías

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    68/181

    - Según De la Garza, Morales y González (2013)

    1 2 3 4 5

    Totalmente en

    desacuerdo

    En

    desacuerdo

    Ni de acuerdo

    ni en

    desacuerdo

    De acuerdo Totalmente de

    acuerdo

    - CRITERIOS CLASIFICACIÓN ÍNDICES DE DISCRIMINACIÓN (Ebel, 1965;

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    69/181

    CRITERIOS CLASIFICACIÓN ÍNDICES DE DISCRIMINACIÓN   (Ebel, 1965;García-Cueto y Fidalgo, 2005), FIABILIDAD Y VALIDEZ ÍTEMS (Thorndike,1989; Magnusson, 1983) :

    ÍNDICE DISCRIMINACIÓN ÍNDICE FIABILIDAD Y VALIDEZ

    VALOR INTERPRETACIÓN VALOR INTERPRETACIÓN

    0.40 o más El ítem discriminamuy bien

    (ACEPTABLE)

    0.81-1.00 o Más Muy Alta(ACEPTABLE)

    0.30 - 0.39 Alta(ACEPTABLE)

    0.61-0.80 Alta(ACEPTABLE)

    0.20 - 0.29 Moderada(ACEPTABLE CON REVISIÓN

    NUEVA)

    0.41-0.60 Moderada(ACEPTABLE CON REVISIÓN

    NUEVA)

    0.10 - 0.19 Baja(ELIMINAR)

    0.21-0.40 Baja(ELIMINAR)

    0.10 o Menos Muy Baja Menos de Cero -0.20 Muy Baja

    2.3 Método de Escalamiento Absoluto 2:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    70/181

    Escalamiento complejo de las puntuaciones por dimensiones y puntajes totales de los instrumentos(independencia, normalidad y homocedasticidad).

    3. Fase de Elaboración de los reactivos (ítems):   A

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    71/181

    ( )partir de los métodos de escalamiento indicados, seutilizará una Escala de Respuestas ordenadas   sobreun continuo de respuestas con un continuo deacuerdo o desacuerdo y de aprobacióndesaprobación.

    - En tal sentido, los procedimientos para laconstrucción de los ítems de las escalas serán:

    3.1 Método Racional.

    3.2 Método de Clave Empírica.

    3 1 Método Racional (consistencia interna):

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    72/181

    3.1 Método Racional (consistencia interna):

    - Asume los puntajes de los reactivos de la escala

    tendrán valores positivos en los coeficientes decorrelación entre los ítems y con los puntajes totalesde las dimensiones y de la escala

    3.2 Método de Clave Empírica:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    73/181

    p

    - Algunos de los ítems no exhibirían una relación clara

    con las evidencias obtenidas en las investigacionescientíficas revisadas (detección de indicadores ydimensiones emergentes del constructo en la fasecualitativa vía focus groups) y, porqueeventualmente permitiría distinguir diferentes gruposde sujetos.

    - Se tratará de responder la las preguntas sobre lahomogeneidad de los reactivos (ítems), el rango dedificultad, fiabilidad y validez que tienen y,finalmente, cuántos reactivos se construirán y tendrálos instrumentos en su versión inicial

    4. Fase de Análisis de los Reactivos:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    74/181

    4.1 Fase Cualitativa:  se realiza una codificación axial

    de las evidencias procedentes   tanto de la revisiónbibliográfica como de los datos obtenidos mediantefocus group.

    - Posteriormente se realizará el proceso decodificación abierta y la obtención de categoríasemergentes.

    4.2 Fase Cuantitativa:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    75/181

    - Se realiza análisis de la frecuencia, obtención de

    medidas de tendencia central (mediana, moda ymedia), medidas de variabilidad (desviaciónestándar, varianza y cuas varianza).

    - Se aplica el instrumento provisorio   a la muestraseleccionada previamente (muestreo noprobabilístico) .

    - Se evalúan las propiedades métricas provisorias delas puntuaciones de los ítems, dimensiones y de laescala total. Las propiedades métricas provisorias aevaluar serán confiabilidad, validez, discriminación,homogeneidad y comparabilidad.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    76/181

    Diseño de Investigación: EXPLORATORIO SECUENCIAL (FaseDerivativa. Ver en Hernández Sampieri, 2010)

    FORMATO GENERAL

    FASE CUALITATIVA FASE CUANTITATIVA

    1. Recolección Datos Cualitativos(Grupos Focales)

    1. Recolección Datos Cuantitativos1.1 Estudio Piloto (Versión

    Preliminar).

    2. Análisis Cualitativo (Indicadores,Dimensiones Emergentes delConstructo)

    2. Análisis Propiedades Métricas2.1 Ítems2.2 Prueba

    3. Ensamblaje Definitivo3.1 Versión Final.

    - Para los escalamientos 1 y 2 se utilizan:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    77/181

    4.2.1 Procedimientos estadísticos de distribución

    libre (prueba de acuerdo interjueces a partir de lostrabajos de Martuza (1977), Hambleton (1984), Bausel(1986) (en Gregory, 2012) y la correlación de rangosordenados, la prueba de U de Mann Whitney).

    4.2.2 Se evaluarán los índices de validez decontenido de las puntuaciones de los ítems, índicesde discriminación, fiabilidad (consistencia interna) yvalidez (criterio).

    - Para el Escalamiento 2 se utiliza:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    78/181

    4.2.3 Se utilizan los procedimientos estadísticos

    paramétricos para:

    1-. Evaluar supuestos (Prueba de Normalidad deKolmogorov-Smirnov o Shapiro Wilks en función de los

    tamaños muestrales, Prueba de Rachas para evaluar independencia de las puntuaciones),

    2-. Análisis de la Varianza para evaluar la

    homocedasticidad, prueba de correlación producto-momento de Pearson para evaluar fiabilidad y validezprovisorias de las puntuaciones, análisis de laregresión lineal, múltiple y multinomial, Prueba dediferencias de medias “t” y ANOVA).

    4.2.4 Análisis de la Fiabilidad   Provisoria de las

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    79/181

    puntuaciones de los instrumentos, se utiliza índice defiabilidad Alfa de Cronbach y el error típico demedida.

    4.2.5 Análisis de la validez   provisoria de laspuntuaciones mediante Análisis Factorial. La validezde criterio externo (convergente y/o divergente)provisoria se obtendrá mediante mediante el índicede correlación de Pearson.

    4.2.6 Normas Provisorias  de las puntuaciones de laprueba se evalúan mediante puntuaciones derivadas(rangos percentiles) y estándar (puntuaciones z,puntaje T, estaninas y el puntaje de aproximación a ladistribución normal).

    5. Fase de Revisión del Instrumento:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    80/181

    5.1   Una vez eliminados los ítems que tengan baja

    discriminación fiabilidad y validez de la etapaanterior, con una muestra de similares característicasque las etapas anteriores a fin de recabar información adicional sobre el análisis de los reactivospara realizar los ajustes métricos que se estimennecesarios (menores o mayores).

    5.2 En función de los ajustes que se identifiquen, serealizaría adicionalmente un procedimiento devalidación cruzada para confirmar nuevamente lavalidez de las puntuaciones de la prueba dado quela validez de criterio original (obtenida en la etapaanterior) es preliminar y tentativa (provisoria). .

    5.3 El fundamento técnico de esta etapa es utilizar la

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    81/181

    ecuación de regresión original en esta nueva muestrapara analizar si es que las puntuaciones delinstrumento construido predicen las del criterio.

    NOTA:   Dado que las evidencias muestran que lavalidación cruzada predice el criterio con menorprecisión, se puede hacer una prueba de reducciónde la validez a fin de evaluar mediante los índices decorrelación entre las puntuaciones totales de losinstrumentos y del criterio si es que la cantidad deítems de la escala será ajustado en términos leves,

    moderados o fuertes.

    6. Publicación de los Instrumentos: En el caso que los

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    82/181

    instrumentos tengan un respaldo empírico yestadístico significativo, se procede a la produccióndel material de evaluación, la redacción de unmanual técnico (análisis métrico de los instrumentos) yun manual del usuario (aplicación e interpretación delas puntuaciones).

    Estos manuales se hacen siguiendo los Estándarespara la Evaluación Educativa y Psicológica (APA,AERA Y NCME. Gregory, 2012).

    De igual modo, se procede a la obtención de lasrespectivas patentes intelectuales.

    2. CONFECCIÓN DE LOS ÍTEMS (Prat y Soval, 2003):

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    83/181

    ESTRATEGIAS PARA LA GENERACIÓN DE ÍTEMS.

    2.1 Diseño de la Escala debe estar fundamentado enque los ítems cumplan las siguientes condiciones.

    1. Estar relacionada con la CONDUCTA que sepretende registrar y medir.

    2. Representar todos los conceptos incluidos en

    la definición de la CONDUCTA.

    3. Ser adecuados para la población diana.

    2.2 Una ESCALA puede CONSTRUIRSE a partir de:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    84/181

    . U a SC puede CO S U S a pa de:

    1. Ítems originales o adaptados provenientes de

    otras escalas diseñadas con anterioridad.

    2. Ítems construidos a partir de la opinión de

    personas expertas sobre el comportamiento(OBJETO) que se pretende registrar y medir.

    3. Ítems generados a partir de ideas y opiniones

    manifestadas por personas provenientes de lapoblación diana.

    4. Ítems generados a partir de ideas recogidas

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    85/181

    g p gde diversas fuentes de información relacionadoscon la CONDUCTA:

    - Libros

    - Periódicos.

    - Artículos científicos o Papers.

    - Eslóganes

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    86/181

    4. Evitar expresiones coloquiales y del argotdado que sólo serían comprensibles por ese

    grupo y en un determinado tiempo.

    5. Variar la dirección de la pregunta:  Colocar igual número de ítems enunciados positiva y

    negativamente.

    2.3 Estrategias a seguir (Crocker y Algina, 1986):

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    87/181

    1. ANÁLISIS DEL CONTENIDO: Definición del constructo

    (PARTE DEL REPERTORIO DE CONDUCTAS NOOBSERVADO) requiere entre otras cosas realizar:

    1. Preguntas abiertas a los sujetos a estudiar.

    2. Agrupar respuestas por temas.

    3. Temas recurrentes implican dimensionesprincipales.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    88/181

    Ó

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    89/181

    4. OBSERVACIÓN NATURAL: Identificar las conductasmediante observación directa.

    Ejemplo: Registrar en Sala de Clases la cantidad degolpes en cualquier parte del cuerpo que un niño leda a otros. (Conducta de Agresión Física).

    5. OPINIÓN DE EXPERTOS: Sistemas expertos quedefinen con mayor precisión el constructo.

    6 OBJETIVOS DE LA INSTRUCCIÓN E ifi ió

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    90/181

    6. OBJETIVOS DE LA INSTRUCCIÓN:  Especificaciónde los objetivos que se busca medir.

    7. MUESTREO DEL DOMINIO DEL ÍTEM:   Definir lapoblación de ítems de la cual se extraerá unamuestra para formar el test.

    8. TABLA DE ESPECIFICACIÓN DE LOS ÍTEMS:construir variables latentes (CONDUCTAS NOOBSERVADAS) en el ámbito cognitivo y siguiendo lataxonomía de Bloom.

    NORMA ISO 10667 PARA INSTRUMENTOS ENPSICOLOGÍA (Muñiz y Fernández-Hermida 2010)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    91/181

    PSICOLOGÍA (Muñiz y Fernández-Hermida, 2010).

    - ISO: Sigla en inglés y que significa “OrganizaciónInternacional para la Estandarización” (www.iso.org).

    - Desarrolla normativas en todos sectores industrialesy de servicios.

    -   INSTITUCIONES PARTICIPANTES EN SUCONSTRUCCIÓN:

    1. Colegio Oficial de Psicólogos de España (COP).2. Asociación Americana de Psicología (APA).3. Asociación Británica de Psicología (BPS).

    - Será aplicable a:

    http://www.iso.org/http://www.iso.org/

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    92/181

    1. Los procedimientos y métodos utilizados a:

    1.1 Nivel Individual: Selección, Consejo yFormación.

    1.2 Nivel Grupal: Clima y cohesión de equipos detrabajo.

    1.3 Nivel Organizacional: Clima laboral, cultura de

    empresa, satisfacción.

    - Aspectos de la Norma: Se describen

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    93/181

    1.Las competencias, obligaciones y responsabilidadesde los clientes y de los proveedores del servicio de

    evaluación, antes, durante y después del procesoevaluativo.

    2. Proporciona directrices para todas las partes

    implicadas en el proceso evaluador, incluida la propiapersona evaluada y quienes reciban los resultados dela evaluación.

    3. Tiene como objetivo la REGULACIÓN DEL PROCESODE EVALUACIÓN DE LAS PERSONAS EN CONTEXTOSLABORALES Y ORGANIZACIONALES.

    - PROCESO DE EVALUACIÓN:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    94/181

    1. Establecimiento del Contrato de Evaluación.

    2. Metodología de la Evaluación .

    3. Obtención de los Resultados.

    4. Análisis de los Resultados.

    5. Utilización de los resultados.

    - INTERÉS PARA LOS PSICÓLOGOS: Esta nueva normalo es por algunas de las siguientes razones::

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    95/181

    lo es por algunas de las siguientes razones::

    1. Papel Central en la evaluación de personas en

    contextos laborales.

    2. Al ser vez aprobada las EMPRESAS E INSTITUCIONESPODRÁN CERTIFICARSE garantizando que

    cumplen con la norma.

    3. Aún no tiene rango legal (en sentido estricto),pero, constituye una importante NORMAREGULADORA DEL MERCADO (Estar certificado noes lo mismo que no estarlo).

    2.4 ESCALAS DE VALORACIÓN:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    96/181

    - Escalas de categorías: Son ítems que están

    A-. Formados por un enunciado.

    B-. Formado por un conjunto de alternativas

    organizadas (Secuencia u orden).

    C-. Las categorías usadas expresanmuchos características de las conductas

    2.4.1 Diseño de Investigación: EXPLORATORIO

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    97/181

    2.4.1 Diseño de Investigación: EXPLORATORIOSECUENCIAL (Fase Derivativa. Ver en HernándezSampieri, 2010)

    FORMATO GENERAL

    FASE CUALITATIVA FASE CUANTITATIVA

    1. Recolección Datos Cualitativos(Grupos Focales)

    1. Recolección Datos Cuantitativos1.1 Estudio Piloto (Versión

    Preliminar).

    2. Análisis Cualitativo (Indicadores,Dimensiones Emergentes delConstructo)

    2. Análisis Propiedades Métricas2.1 Ítems2.2 Prueba

    3. Ensamblaje Definitivo3.1 Versión Final.

    2.4.2 TIPOS DE ESCALAS (Levy y Varela, 2003)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    98/181

    LIKERT THURSTONE GUTTMAN

    Objetivo Escalar Personas Escalar personas Escalar Personas e Ítems

    Supuesto sobre los ítems Hipótesis:1. Ítems son homogéneos2. Ítems son formalmente

    distintos3. Ítems miden lo mismo

    Hipótesis:1. Ítems son diferentes

    entre sí2. Ítems representan

    niveles distintos delatributo

    Hipótesis:1. Ítems son heterogéneos.2. Ítems representan niveles

    distintos del atributo.

    Papel de las Personas Objeto Estudio: DiferenciasPersonales

    1. Fase Escalamiento

    Ítems: Personas(jueces) constituyeninstrumento de medida.

    2. Fase Dos: EstudiodiferenciasIndividuales.

    Objeto Estudio: DiferenciasPersonales

    Justificación de los valores de

    la Escala

    Comprobar:1. Respuestas son

    coherentes (Medidas de laconducta)2. Si punto 1 se cumple,entonces, ítems se puedenagregar para EscalarPersonas

    1. Fase 1: Comprobarobjetividad (acuerdo

    entre ellos) respuestasjueces (Permite escalarestímulos).

    2. Fase 2: EstímulosEscalados permiten

    Escalar Personas.

    1. Escalamiento de Personas:e Ítems: Coherencia deRespuestas.2. Cada respuesta en funcióndel nivel de la persona y delque representa el ítem.

    2.4.3 ESCALA LIKERT: Permiten registrar 

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    99/181

    1-. EL GRADO DE ACUERDO O DESACUERDO CON ELENUNCIADO.

     2-. Al Evaluado se le solicita POSICIONARSEACTITUDINALMENTE respecto de una idea, hecho u

    objeto.

    3. Se usan de forma intensa en Psicología.

    4. Son fáciles de elaborar.

    5. Se utilizan para medir actitudes.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    100/181

    6. Son confiables.

    7. Funcionan mejor utilizando como ESCALA DERESPUESTAS 5 categorías

    1 : APROBACIÓN DEL REACTIVO EN UN EXTREMO

    5: APROBACIÓN DEL REACTIVO EN EL OTROEXTREMO

    Ejemplo: ESCALA DE RESPUESTA de 5 categorías

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    101/181

    - Según De la Garza, Morales y González (2013)

    1 2 3 4 5

    Totalmente en

    desacuerdo

    En

    desacuerdo

    Ni de acuerdo

    ni en

    desacuerdo

    De acuerdo Totalmente de

    acuerdo

    - En función de lo señalado por De la Garza, Morales y

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    102/181

    p , yGonzález (2013) los componentes de una EscalaLikert se operacionalizarían como:

    COMPONENTES DE LA ESCALA

    COGNITIVO AFECTIVO CONDUCTUAL

    1. Resume información de la

    persona sobre objetoactitudinal(comportamiento uobjeto de interés).

    2. Creencias que tiene sobrelas características delcomportamiento u objetode interés

    1. Sentimientos que una

    persona tiene en relacióna una conducta u objetode interés.

    2. Preferencias que unapersona tiene en relacióna una conducta de interés

    1. Representa las

    EXPECTATIVAS (señalarverbalmente poradelantado cómo actuaríaen el caso que algosuceda) que una personatiene en relación con sucomportamiento.

    2. Refiere a la INTENCIÓNde acción (hace “algo” en

    función de unaconsecuencia anterior)respecto al objeto de

    interés

    8. Se basa en los siguientes supuestos:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    103/181

    1. CONSIDERA LAS ACTITUDES COMO UN CONTÍNUO:

    La probabilidad de respuesta de una persona es unaFunción Monótona  con la posición que la personaocupe en el Continuo Hipotético de Respuesta.

    P aProbabilidad P bRespuesta P cFavorable

    Actitud

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    104/181

    2. Es posible estudiar las dimensiones de lasactitudes  a partir de un conjunto de enunciados

    que responden los sujetos.

    3. Los individuos pueden situarse respecto de lavariable desde un punto de vista más favorable o

    desfavorable.

    2.4.4 La VALORACIÓN de los sujetos en la variable:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    105/181

    3.1 NO supone   una DISTRIBUCIÓN UNIFORMESOBRE UN CONTINUO DE ACTITUD,

    3.2 Supone   su posición FAVORABLE ODESFAVORABLE SOBRE EL OBJETO ESTUDIADO.

    2.4.5 PASOS PARA CONSTRUIR UNA ESCALA TIPO LIKERT:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    106/181

    1. Redacte el mismo número de oraciones favorablesy desfavorables   respecto de los indicadores de las

    conductas a observar.

    2. Solicite a los evaluados que se POSICIONENACTITUDINALMENTE   para cada ítem utilizando LA

    ESCALA DE RESPUESTA

    1 2 3 4 5

    Totalmente en

    desacuerdo

    En desacuerdo Ni en Desacuerdo

    ni de Acuerdo

    De Acuerdo Totalmente de

    Acuerdo

    3. Recuerde que:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    107/181

    3.1 Los valores de esta escala como puntuación seacalificada entre dos extremos:

    - Totalmente en Desacuerdo (1)

    ITEM DESFAVORABLE

    - Totalmente de Acuerdo (5)

    ITEM FAVORABLE

    4. Utilice una ESCALA SUMATIVA a partir de last i i t d d t

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    108/181

    puntuaciones registradas para cada respuestacon el fin de determinar los reactivos más

    discriminativos .

    IMPLICANCIA

    - Los ítems registrarán con mayor probabilidad (demanera global) puntajes ALTOS en aquellossujetos que tienen puntajes más altos en lavariable y viceversa.

    5. Rechace los reactivos con bajo poderdi i i ti t i d ilib i l

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    109/181

    discriminativo  manteniendo un equilibrio con losreactivos favorables y desfavorables.

    (Coolican, 1997)

    2.6 NORMAS DE REDACCIÓN DE ENUNCIADOS:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    110/181

    1. Lenguaje utilizado (vocabulario y estructura de

    frases) debe ser sencillo (simple, claro y directo)y gramaticalmente correcto (respetar las reglas

    oficiales del idioma español)

    2. Los enunciados deben ser cortos (no más de 20palabras), redactados en tiempo presente (evitar

    redactar en pasado y que se refieran a un solo

    grupo) .

    3. Deben contener una sola idea y relacionada conel objeto actitudinal (El objeto de la actitud debe ser

    el sujeto de la oración del reactivo)

    4. Deben ser específicos (evitar ambigüedad y doblesignificado), es decir, con una sola interpretación

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    111/181

    g ), , pposible (interpretación unívoca).

    5. Expresar actitudes, preferencias, sentimientos ocreencias (en el presente), pero NO HECHOS sobrelos cuales tendrían la misma respuesta.

    6. Redactarse de manera favorable y desfavorable ensimilar proporción.

    7. Deben evitarse palabras con significado genérico(Universalidad) como:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    112/181

    (Universalidad) como:

    “Siempre”, “Nunca”, “Nadie”, “Ninguno”, “Todos”

    8. Deben evitarse palabras que tienen significadoindefinido como:

    “ A veces”

    “Apenas”

    9. Redacte 20 por cada actitud o dimensión.

    10. No formule afirmaciones demasiado extremas.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    113/181

    11. Permita que quienes respondan indiquen su nivel

    de acuerdo a la respuesta elegida.

    12. Verificar que se califique la Escala de Respuesta

    como:

    Lado negativo: 1

    Lado Positivo: 5

    13. Seleccionar ítems que puedan cubrir toda la

    escala de Respuesta.

    14. Las personas deben responder diferencialmente(función monotónica el nivel actitudinal) por lo que

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    114/181

    (función monotónica el nivel actitudinal) , por lo quese deben evitar los enunciados con los cuales todospueden estar de acuerdo.

    15. Emplear moderadamente palabras como

    “Solamente”,

    “únicamente”“La mayor parte del tiempo”.

    16. Evitar doble negación.

    (Thurstone y Chave, 1929; Likert, 1932; Bird, 1940; Thorndike y Hagen, 1989, 2001;Aiken, 2003, Cortada de Kohan, 1999, 2000, 2004; Prat y Doval, 2003; Cohen ySwerdlik, 2006).

    Ejemplo ÍTEM 1: La caza de animales es buena.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    115/181

    - ¿ CONDUCTA O VARIABLE DE INTERÉS?

    - ¿ ÍTEM FAVORABLE O DESFAVORABLE?

    - ¿ EXISTE ESCALA DE RESPUESTA ?

    1 2 3 4 5

    Totalmente endesacuerdo Endesacuerdo Ni deacuerdo nien

    desacuerdo

    De acuerdo Totalmente deacuerdo

    Ejemplo ÍTEM 2: Haría trampa en el pago de losimpuestos si tuviera la oportunidad.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    116/181

    - ¿ CONDUCTA O VARIABLE DE INTERÉS?

    - ¿ ÍTEM FAVORABLE O DESFAVORABLE?

    - ¿ EXISTE ESCALA DE RESPUESTA ?

    1 2 3 4 5Totalmente endesacuerdo

    Endesacuerdo

    Ni deacuerdo ni

    endesacuerdo

    De acuerdo Totalmente deacuerdo

    Ejemplo ÍTEM 3: Las mujeres tiene una necesidadinstintiva de estar cerca de su hijo durante los

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    117/181

    instintiva de estar cerca de su hijo durante los primeros dos o tres años de su vida”.

    - ¿ CONDUCTA O VARIABLE DE INTERÉS?

    - ¿ ÍTEM FAVORABLE O DESFAVORABLE?

    - ¿ EXISTE ESCALA DE RESPUESTA ?

    1 2 3 4 5Totalmente

    endesacuerdo

    Endesacuerdo

    Ni deacuerdo ni

    endesacuerdo

    De acuerdo Totalmente deacuerdo

    - Ejemplo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    118/181

    AFIRMACIÓN: Acostumbro a sentir interés de ayudara otro cuando alguien me cuenta de sus problemas

    REDACCIÓN DIMENSIÓN

    Favorable Desfavorable Cognitivo Afectivo Conductual

    - Ejemplo: CONDUCTA EMPÁTICA

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    119/181

    AFIRMACIÓN: Acostumbro a sentir interés de ayudara otro cuando alguien me cuenta de sus problemas

    REDACCIÓN DIMENSIÓN

    Favorable Desfavorable Cognitivo Afectivo Conductual

    - Ejemplo: CONDUCTA EMPÁTICA

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    120/181

    AFIRMACIÓN: Acostumbro a sentir interés de ayudara otro cuando alguien me cuenta de sus problemas

    REDACCIÓN DIMENSIÓN

    Favorable

    X

    Desfavorable Cognitivo

    X

    Afectivo Conductual

    VALIDEZ DE CONTENIDO ÍTEMS:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    121/181

    Ejemplo 1.1: Calcule el Índice de Validez de Contenido

    de los 10 ítems de la Escala de Honestidad evaluadapor 20 jueces expertos.

    1.1 Calcule el Índice de Validez de Contenido con la

    fórmula

    (Marutza, 1977; Hambleton, 1984; Bausel; Gregory, 2012)

    1.2 Señale el Tipo de Acuerdo, Relevancia y Decisiónrespecto del ICV de cada ítem.

    DCBAD

    IVC

    Los 20 jueces expertos calificaran los ítems con la siguiente escala:

    REVISOR: ______________________________________ FECHA: _________ 

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    122/181

    Adaptado de (Gregory, 2012)

    Por favor, lea con cuidado la especificación de dominio para estaprueba. A continuación indique qué tan bien considera que elreactivo refleja la especificación del dominio. Juzgue el reactivoúnicamente con base en la correspondencia entre su contenido y elcontenido definido por la especificación del dominio.AFIRMACIÓN: Acostumbro a sonrojarme cuando tengo que hablar conpersonas desconocidas.

    Utilice la Escala de calificación de cuatro puntos que se muestra a continuación.1. IRRELEVANTE

     _____________ 

    2. BAJA RELEVANCIA

     _____________ 

    3. MODERADA RELEVANCIA

     _____________ 

    4. ALTA RELEVANCIA

     _____________ 

    Señale la Dimensión a la cuál pertenecería la presente afirmación.COGNITIVO

     _____________ EMOCIONAL

     _____________ CONDUCTUAL _____________ 

    OTRA _____________ 

    Propuesta de Redacción del Ítem (si lo estima del caso):

    - Una vez finalizada esta etapa se registraron lossiguientes resultados:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    123/181

    ÍTEM 1 ÍTEM 2 ÍTEM 3 ÍTEM 4 ÍTEM 5 ÍTEM 6 ÍTEM 7 ÍTEM 8 ÍTEM 9 ÍTEM 10

    A 3 2 4 5 12 6 1 4 11 2B 5 9 5 3 4 8 9 4 4 3C 6 4 9 1 1 2 2 5 3 3D 6 5 2 11 3 4 8 7 2 12

    Interprete los valores obtenidos conforme a los rangosseñalados.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    124/181

    Adaptado de (Pardo y Ruiz, 2002)

    VALOR OBTENIDO ACUERDO INTERPRETACIÓN DECISIÓN

    0.75 o MÁS Excelente Alta Relevancia Incorporarlo enla Prueba (I)0.60-0.74 Excelente Alta Relevancia Incorporarlo en

    la Prueba (I)0.40-0.59 Bueno Moderada

    RelevanciaIncorporarlo enla Prueba previa

    si el segundoacuerdo de los

     jueces es igual omayor que 0.60

    (R)0.39 o MENOS Pobre Baja Relevancia Eliminarlo de la

    Prueba (E)

    2.7 DEBILIDADES DE LA ESCALA LIKERT

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    125/181

    1. Las puntuaciones en la escala sólo tiene un

    significado relativo (respecto a la Distribución de losdatos de la conducta obtenida).

    2. La puntuación 3 (indeciso) es ambigua.

    ¿ Implica una posición neutral (ninguna opinión) ouna posición indecisa en la que el respondiente seencuentra dudando con sentimientos en ambasdirecciones?.

    3. Las puntuaciones centrales de la distribución(entre percentil 30 a 60) son ambiguas

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    126/181

    (entre percentil 30 a 60) son ambiguas.

    NOTA 1:   Podrían reflejar muchas respuestasindecisas o que podrían comprender unacolección de respuestas totalmente a favor ototalmente en contra.

    NOTA 2:   En esta situación se podrían estar midiendo dos variables distintas.

    4. Personas con una misma puntuación puedentener pautas de respuesta diferentes

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    127/181

    tener pautas de respuesta diferentes.

    5. No es posible tratar la calificación como situviera un significado único.

    2.8 IMPORTANTE

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    128/181

    1. La Escala Likert es un tipo de escala de estimación

    y sus respuestas se registran en una Escala Ordinal.

    2. Para tratar sus datos son como si estuvieranmedidos en una escala de intervalos se requiere

    hacer un Contraste de Hipótesis acerca de laNormalidad de las Puntuaciones.

    (Cortada de Kohan 2000, 2004; Hernández-Sampieri,

    Fernández-Collado y Baptista, 2006; 2010;Tornimbeni, Pérez y Olaz, 2008).

    3. La puntuación final de la prueba se obtienesumando las estimaciones de todos los reactivos

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    129/181

    (ESCALA SUMATIVA).

    4-. La puntuación obtenida por los sujetos en laescala está en función de los puntajes obtenidosen cada ítem.

    2.9 Aspectos SE DEBEN EVITAR en la construcción delos reactivos:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    130/181

    1° Ejemplo:

    “Deberíamos empezar a tomar acciones compensatorias enáreas en donde, en el pasado, los miembros de un grupoétnico, sexo o tipo de invalidez han sufrido discriminación o hanexperimentado desventajas como resultado directo de ser un

    miembro de esa categoría”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?

    ¿Qué modificaciones le haría a la construcción?

    Errores:

    1 Complejidad: La oración impide que se

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    131/181

    1.Complejidad:   La oración impide que secomprenda que es lo que se está diciendo opreguntando.

    2. Ambigüedad: La oración se puede interpretar dedistintas maneras

    3. Uso del término DEBERÍA.

     SOLUCIÓN:   Descomponer la frase lógicamente yredactarla de manera simple, directa y usandomenos de 20 palabras.

    Ejemplo:

    “ Los miembros de distintos grupos étnicos dentro de un país tendríanque acceder a los mismos derechos que los que los ciudadanos del

     país que habitan si es cuentan con permiso de residencia”.

    2º. Ejemplo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    132/181

    “La sociedad debería comenzar a deshacerse del

     racismo institucional siempre que sea posible”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?

    ¿Qué modificaciones le haría a la construcción

    Errores:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    133/181

    1. Términos técnicos: Muchos respondientes notendrán claro a que se está haciendo referencia.

    2. Uso del término DEBERÍA.

    SOLUCIÓN: Se tendrá que encontrar otro término oincluir un preámbulo especial que lo explique.

    Ejemplo:

    “Las reglas de la sociedad tendrían que ser claras prohibiendo un tratodiscriminatorio a las personas de raza diferente”.

    3º. Ejemplo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    134/181

    “No debería permitirse a los inmigrantes

    establecerse en áreas de gran desempleo”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?

    ¿Qué modificaciones le haría a la

    construcción

    Errores:

    1 Ambigüedad: Impide discriminar entre los que

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    135/181

    1. Ambigüedad: Impide discriminar entre los quemanejan un contenido o conocimiento.

    2. Introducción de negación.

    3. Uso del término DEBERÍA.

    SOLUCIÓN: Utilizar una frase con un solo sentido,positiva y con lógica.

    Ejemplos:

    “Los inmigrantes deberían tener posibilidades de empleo de acuerdo alas competencias que tienen”.

    “Los inmigrantes deberían tener posibilidades de empleo de acuerdo alas necesidades del mercado”.

    4º. Ejemplo:

    “El aborto es de manera exclusiva una opción de laj d b í d t di i ió

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    136/181

    pmujer y debería de estar a su disposicióngratuitamente”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?

    ¿Qué modificaciones le haría a laconstrucción

    1. Reactivo de doble efecto: Se produce porque seestablecen dos preguntas o ideas en una mismaf

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    137/181

    frase.

    SOLUCIÓN:  Utilizar una frase con una sola idea yredactada lógicamente.

    Ejemplo:

    “El aborto es una decisión a la que puede optar la mujer.

    “El aborto debería de estar claramente legislado”.

    5º. Ejemplo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    138/181

    “No debería ser posible preguntarle a una mujer  acerca del apoyo económico que recibe de suesposo, cuando a los maridos no se les hacen lasmismas preguntas”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?

    ¿Qué modificaciones le haría a la construcción

    Errores:

    i f

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    139/181

    1. Negaciones: Puede resultar confuso responder unapregunta con doble negación porque cuesta

    interpretar la respuesta.

    2. Uso del término DEBERÍA.

    SOLUCIÓN:   Utilizar una frase con una sola idea yredactada lógicamente.

    Ejemplo:

    “Las mujeres merecen el mismo respeto que cualquier persona cuando se les pregunta acerca del manejo de sus finanzas”.

    6. Ejemplo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    140/181

    “Las personas deberían pensar de unívocamente

    en temas como el transporte, la educación y la salud”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?

    ¿Qué modificaciones le haría a laconstrucción

    Errores:

    1 Lenguaje emotivo: Provoca activación de procesos

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    141/181

    1. Lenguaje emotivo: Provoca activación de procesoscerebrales que interfieren en la capacidad de

    respuesta del sujeto.2. Términos o palabras desconocidas:“UNIVOCAMENTE”

    SOLUCIÓN: Utilizar una frase redactada objetivamentey en términos neutros.

    Ejemplo:

    “Es muy probable existan diferencias frente a los temas queimportan a la sociedad”.

    7º. Ejemplo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    142/181

    “¿Está usted de acuerdo con que deberían

    aumentarse los subsidios a las personas de latercera edad?”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?¿Qué modificaciones le haría a la construcción

    Errores:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    143/181

    1. Preguntas sugestivas:   Sitúan la respuesta en uncontexto donde la respuesta más probable esafirmativa.

    Tienen la desventaja   que muchas veces sonpreguntas con poco contenido real.

    2. Uso del término DEBERÍA.

    SOLUCIÓN:   Utilizar una frase redactada concontenidos reales y que sea equiprobable la opciónde responder

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    144/181

    de responder.

    Ejemplo:

    “ Es necesario que las políticas de apoyo a la tercera edad sean claras a fin de evitar recargar el aumento de los

    impuestos a los contribuyentes”.

    “ Es necesario que las políticas de apoyo a jubilados seanclaras a fin de evitar recargar el aumento de los impuestos a loscontribuyentes”.

    8. Ejemplo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    145/181

    “¿ Tiene usted antecedentes penales?”.

    Analizar:

    ¿Es un ítem favorable o desfavorable?

    ¿Qué errores detecta en la construcción?

    ¿Qué modificaciones le haría a laconstrucción

    Errores:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    146/181

    1. Invasión de la intimidad: Son preguntas poco

    pertinentes (vida privada o vida sexual), por lotanto la intromisión puede conducir aincomodidad y a falsear la respuesta.

    SOLUCIÓN: Evitar este tipo de preguntas.

    ETAPAS CONSTRUCCIÓN TAIS

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    147/181

    EJEMPLOS DE NUEVOS ÍTEMS EN CONTEXTOSINFORMATIZADOS (Muñiz, 2011).

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    148/181

    1. Highlighting Test, (Carey, 2001; Walker & Crandall, 1999)

    Click on the sentence in the

    paragraph to the left that best 

    describes the practical

    meaning of the property of

    invariance.

    (Place the pointer on the

    sentence you wish to

    highlight, and click to select

    it.)\

    Previous NextHelp?

    Multiple Selection

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    149/181

    Marco has $7.00 to spend on his lunch. Click on a drink, a

    sandwich, and a side that Marco could have for lunch so that the price of the three items adds up to $7.00 or less.

    Drinks Sandwiches Sides

    $1.25 Milk $3.75 Veggie $1.50 Chips

    $.95 Tea $4.50 Turkey $1.00 Cookies

    $1.50 Soda $4.75   Roast Beef    $1.75 Rice

    $1.25 Juice $5.00   Pastrami   $1.50   Green Salad

    $.95 Coffee $4.75 Ham $1.50   Fruit Salad

    Inserting Text (Taylor et al., 1998)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    150/181

    Image courtesy of ETS/C. Mills (2000)

    Highlighting Text(Carey, 2001; Walker & Crandall, 1999)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    151/181

    Directions: Click on the one value in the number sentence below that must be

    changed in order for the number sentence to be correct.

    3+2+5 = 5+2+9 = 10

    This is one way to allow students todemonstrate understanding of the

    commutative property of addition

    Free-Response Mathematics(Braswell & Kupin, 1993)

    Note, a calculator can be accessed

    by clicking on the icon.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    152/181

    Scores on two items for five examinees are given below. Complete thetable by computing the classical item difficulty for each of the items and

    typing it into the highlighted boxes provided.

    (You may use the calculator tool as needed.)Examinees Item 1 Item 2

    1 0 1

    2 1 1

    3 1 1

    4 0 0

    5 1 1

    Difficulty: Difficulty:

    CALC

    NEXTBACK

    0.60 0.80

    y g

    Graphical Modeling(Bennett, Morley, & Quardt, 2000)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    153/181

    Directions: Use the information in the table below to finish the bar

    chart. Drag the bar labeled ‘Other Color’ to show the percent of

     people in that category.

    Eye

    Color   Percent

    BrownEyes

      50%

    BlueEyes

      30%

    OtherColor

      20%

    0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

    Other Color 

    Blue Eyes

    Brown Eyes

    Computer-based essay

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    154/181

    In the space provided,

    please write an essay addressing the topic given below.

    “The earliest known evidence of testing dates back to

    Chinese employment testing thousands of years ago. Today,

    we are talking about computer-based testing and the Internet.

    Briefly (yet completely) describe three of the major

    developments in measurement practice that have taken place

    in history.”

    Cut

    Paste

    Undo

    Submit

     As educational and psychological tests have found new uses in

    aspects of everyday life, such tests have evolved in many interesting and

    exciting ways from their earliest beginnings. Three critical advances that

    have particularly changed measurement practices include (1) the test

    development efforts related to the Army Alpha tests during the World War

    I era, (2) the theoretical innovations associated with the

    conceptualization of item response theory, and (3), the introduction of the

    computer as a mechanism for delivering tests and recording examinee

    responses. In this essay, I will detail how such changes have impacted…

    Graphical Modeling(Bennett, Morley, & Quardt, 2000)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    155/181

    Image from ETS/C. Mills (2000)

    Site Planning Vignettes (Bejar, 1991)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    156/181

    Image from NCARB (2000)

    This example comes from a licensing exam for architects. They are

    required to use computerized tools to build buildings, parking lots, etc.

    Dynamic Problem Solving(Clauser et al., 1997)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    157/181

    Image from NBME (2001)

    This item, from a licensing exam for medical doctors, requires

    the examinee to order medical tests and “treat” the patient in

    real time.Results of medical tests are

    obtained by advancing the clock.

    Precaución con los nuevos formatos de losÍtems

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    158/181

    1. Ser muy claro acerca de los constructos medidos

    2. Evitar sesgos

    3. Aportar datos sobre la fiabilidad y validez

    4. Prestar atención a los aspectos prácticos

    5. Controlar posibles entrenamientos

    7. MODELOS DE LOS TEST:

    7 1 MODELOS MATEMÁTICOS S li d NO

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    159/181

    7.1 MODELOS MATEMÁTICOS: Se aplican cuando NO

    EXISTE CONTROL RIGUROSO y REGISTRO PRECISO detodas las conductas de interés.

    Las variables independientes (PARTE DE LA

    CONDUCTA NO OBSERVADA)   se combinannuméricamente para predecir una variabledependiente (PARTES DE LA CONDUCTAOBSERVADA).

    7.2 REGLAS FORMALES EXPLÍCITAS:   Integrar información para una inferencia psicométrica.

    5. FUENTES DE ERROR EN EL PROCESO DE MEDICIÓN

    5 1 VARIANZA DEL ERROR (E )

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    160/181

    5.1 VARIANZA DEL ERROR (Error).

    DEFINICIÓN:   Es el componente de puntuación deuna prueba atribuible a fuentes distintas   delcomportamiento medido (CONDUCTA REGISTRADA).

    (Cohen y Swerdlik, 2006)

    - Este planteamiento asume:

    4 1 1 HAY FACTORES i fl i á l

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    161/181

    4.1.1 HAY FACTORES que influirán en las

    puntuaciones de la prueba.

    4.1.2 Los FACTORES son AJENOS a lo que laprueba pretende medir 

    - Existen muchas fuentes potenciales de varianzade error , a saber:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    162/181

    1. El evaluado se encuentra enfermo almomento de responder una prueba.

    Evaluado como fuente de error 

    2. El nivel de profesionalismo de los evaluadoresal conocer y aplicar la regla conforme a lasinstrucciones de la misma.

    Evaluador como fuente de error 

    3. Algunas pruebas son mejores que otras (calidadtécnica) para medir lo que pretenden medir.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    163/181

    Ejemplo: El WAIS III es una prueba mejor que elRorschach para evaluar la inteligencia de los adultos.

    Instrumento de medición como fuente de error 

    Las puntuaciones de las pruebas siempre están sujetas a preguntas sobre el grado en que el procesode medición incluye el error.

    6. COLOCANDO A PRUEBA UN INSTRUMENTO:

    Permite:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    164/181

    Permite:

    1. Responder preguntas.

    2. Observar empíricamente el impacto que sobre losprincipios del modelo psicométrico sobre:

    - La construcción del Test.

    - El uso posterior del Test

    PREGUNTAS A QUÉ RESPONDE:

    1 ¿ Por qué usar este instrumento o método en

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    165/181

    1. ¿ Por qué usar este instrumento o método enparticular ?.

    2. ¿ Se ha publicado alguna guía sobre el uso deesta prueba ?.

    3. ¿ Es confiable este instrumento ? y ¿ Es válido esteinstrumento ?.

    4. ¿ Sus medidas son comparables para diferentessujetos?. ¿ Se consideraron las variablescontextuales asociadas a la evaluación y los

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    166/181

    yevaluados?.

    5. ¿ Qué inferencias se pueden hacer de manerarazonable a partir de la calificación de estaprueba, y qué tan generalizables son los hallazgos

    ?.

    7.3 BASADO EN PROBABILIDADES:

    7.3.1 Establecer las relaciones entre las conductas noobservadas ( ) y las conductas observadas (X)

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    167/181

    observadas (  ) y las conductas observadas (X).

    7.3,2 Se DESCONOCE la manera en los sujetos que vana responder a los ítems.

    7.3.2 Existirá una distribución de probabilidad de

    valores con una valor dado de  :P  (X  )

    NOTA: LA PARTE DE LA CONDUCTA NO OBSERVADA SE INFERIRÁ APARTIR DE PARTE DE LA CONDUCTA OBSERVADA

    7.4 Modelo de Medida:

    7 4 1 No intenta explicar cada detalle de los

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    168/181

    7.4.1 No intenta explicar cada detalle de los

    datos (tomados a partir de conductasobservadas)

    7.4.2 Intenta aproximar patrones de

    comportamiento importantes o relevantes(REPERTORIOS DE CONDUCTA EN TÉRMINOSGENERALES).

    7.5 Aspectos que deben ser considerados en elModelo:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    169/181

    7.5.1.   Especificar la escala para las observaciones(CONDUCTA REGISTRADA) en función de:

    1. Una puntuación.

    2. La respuesta a un ítem.

    3. Una matriz de relaciones entre ítems y

    respuestas.

    7.5.2. Especificar una o más variables del diseño(CONDUCTAS NO OBSERVABLES).

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    170/181

    7.5.3   Especificar la combinación entre lasvariables   independientes para  predecir    lavariable dependiente (CONDUCTASOBSERVABLES).

    Aspectos que …….. (continuación):

    7.5.4 LOS PESOS ESTADÍSTICOS  de las variables del

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    171/181

    diseño son los parámetros del modelo.

    Especificar las relaciones entre PARTES DE LACONDUCTA OBSERVABLE Y NO OBSERVABLE

    8. Modelos Básicos en la Construcción de los Test:

    8 1 Aplicación en función de:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    172/181

    8.1 Aplicación en función de:

    1. La Complejidad de los Problemas de Medida.

    2. Evaluaciones a gran escala (EGE).

    8.2 Teorías de los Test:TCT TG TRI

    Autores Speraman Cronbach Lord y Novick

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    173/181

    Autores Speraman Cronbach Lord y Novick

    EstimaciónCaracterística Interés

    X= V+e

    Función Matemática Lineal ANOVA Logístico y de OjivaNormal

    Error típico de Medida FacetaFuentes de Error (Variancia

    Verdadera, Dificultad del Ítem,Interacción, Aleatorio)

    Supuestos NormalidadHomocedasticidad

    Independencia

    NormalidadHomocedasticidad

    Independencia

    Unidimensionalidaddel test 

    Indeterminación de laEscala de Rasgo

    LatenteIndependencia Local

    Parámetros DiscriminaciónDificultad

    Puntuación delUniverso

    DificultadDiscriminación

    Pseudo adivinación

     xx x  r 1  

          

      I1ˆ  

    n

    1ii   )1u(PV

    ˆ

      

    ESQUEMA ELEMENTOS DE LA MEDICIÓN

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    174/181

    OBJETOSistema Físico sobre el que

    se realizan una serie deoperaciones

    PROPIEDADOBSERVABLE

    Valor determinado por laoperación

    INSTRUMENTOPermite llevar a cabo la

    operación

    CUADRO nº1: COMPARACIÓN TEORÍAS DE LA MEDICIÓN

    CONCEPCIÓN CARACTERÍSTICAS MEDICIÓN

    Conservadora

    ( Á

    •Axiomas de la Cantidad

    l ó á

    • Directa / Fundamental

    d d

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    175/181

    (PRE-CLÁSICA,

    CLÁSICA)

    •Manipulación Matemática

    es a Manipulación Física.•Representación empírica

    mediante PROPIEDADESREALES.

    •Psicología: UNIDAD DE MEDIDA

    CONDUCTUAL (PsicologíaNeoconductista de Skinner)

    Propiedades Extensivas

    ( Aditividad  Empírica) •Derivada / Indirecta

    Propiedades Intensivas

    (Sin Aditividad  Empírica) 

    - Psicología: ESTRICTAMENTE

    EMPÍRICA ( PsicologíaNeoconductista. de Skinner)

    Liberal

    (REPRESENTACIONAL)

    •Psicología: Sustituir la

    RESTRICCIÓN DE LA ADITIVIDAD

    EMPÍRICA (adherencia a reglasaritméticas) por la ASIGNACIÓNMEDIANTE REGLAS (niveles demedida reemplazan a laconcatenación)

    - Escalas de Medida de StevensPRINCIPIO DE LA

    INVARIANZA)

    •Por Índices: Definición

    arbitraria sobre la base de

    observaciones empíricas.

    CUADRO N°2

    Aspecto Teoría Tradicional Teoría Representacional (Stevens)

    Teoría y Medición Aspecto Pre io al margen de la Teoría Medición conforman Binomio

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    176/181

    Teoría y Medición • Aspecto Previo y al margen de lateoría

    •Medición sobre propiedades decosas•Números corresponden a

    magnitudes

    • Teoría y Medición conforman BinomioInseparable

    • Lo medido es un objeto en si mismo, no unapropiedad de éste• Los números corresponden a objetos o

    eventos

    Naturaleza de lomedido

    • Magnitudes• Propiedades Objetos Materiales•Expresada en cantidades de las

    propiedades de un sistema

    • No se miden atributos

    • Amplía concepto de medición• Considera magnitudes y atributos

    Magnitudes extensivase intensivas

    • Medida Fundamental sólo esposible en magnitudes extensivas

    • Leyes de cantidad son necesarias• Constatación empírica de la

    concatenación•Magnitudes intensivas no se

    pueden medir fundamentalmente

    • La distinción entre cantidades extensivas eintensivas deja de ser un problema

    • Supera restricciones de la concatenación(requisitos de aditividad)

    • Propone medición fundamental demagnitudes intensivas (no necesita leyes deaditividad para medir fundamentalmente)

    Escalas de Medida • Ordenación y cuantificación desistemas materiales

    • Nivel mínimo de medidascorresponde a ordenación de

    objetos• Escalas de Medida: SOLO EXISTIRÍA

    DE RAZÓN

    • Amplía rango de medidas aTransformaciones de Sustitución Biunívocas• Escalas: Nominal, Ordinal, De Intervalos

    Razón

    CUADRO Nº3: AXIOMAS DE LA MEDICIÓN RESUMIDOS

    POSTULADOS PROPIEDADES DE RELACIÓN Y

    DE LOS NÚMEROS

    IDENTIDAD: IDENTIDAD LÓGICA

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    177/181

    1. a = b o a

    b. REFLEXIVIDAD)

    2. a = b ,entonces, b = a SIMÉTRICA)

    3. a = b y b = c, entonces , c = a. TRANSITIVIDAD

    ORDEN JERÁRQUICO:

    4. a > b , entonces , b > a ASIMETRÍA)

    5 . a > b y b > c, entonces, a > c TRANSITIVIDAD)

    MAYOR O MENOR QUE

      N: ORDEN)

    1-5: CONJUNTO ORDENADO

    ADITIVIDAD:

    6. Si a = p, b > 0, entonces , a + b > p CONCATENACIÓN.

    Posibilidad de Sumar)

    7. a + b = b+ a CONMUTATIVIDAD)

    8. a = p y b = q, entonces, a + b = p + q

    ESTABILIDAD DE LA RELACIÓN)

    9. a + b) + c = a + b + c). ASOCIATIVA)

    ELEMENTO NEUTRO

      N: ORIGEN)

    CONMUTATIVIDAD

      N: DISTANCIA)

    ESTABILIDAD

      N: DISTANCIA)

    ASOCIATIVIDAD

      N: DISTANCIA)

    6-9: ADITIVIDAD O CONCATENACIÓN

    FORMATO

    - Elementos del PROTOCOLO:

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    178/181

    1. Las instrucciones para la administración.

    2. Antecedentes de los evaluados.

    3. La modalidad de Registro de las Respuestas.

    4. El tiempo de duración.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    179/181

    LONGITUD:

    1. Número de ítems total de la Escala.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    180/181

    2. Número de ítems por factor o dimensión.3. Escala de Respuestas de los ítems

    (Registro).

    4. Escala de Puntuación individual y/o

    Grupal.

    NOTA: Evitar escalas con muchos ítems paraevitar cansancio y fatiga, así como también,

    errores en las respuestas.

    - INDICADORES PSICOMÉTRICOS EN EL TEST:

    1. Propiedades Psicométricas de los Ítems.

  • 8/16/2019 s1 Pi Usach 2014-A(Subrrayado)

    181/181

    p

    - Fiabilidad.

    - Validez.

    - Discriminación.

    2. Propiedades Psicométricas de la Prueba:

    - Tipo de Fiabilidad

    Ti d V lid