diversidad cultural y validez en las pruebas de ... · adecuación y la propiedad de las...
TRANSCRIPT
![Page 1: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/1.jpg)
DiversidadCulturalyValidezenlasPruebasdeAprovechamientoEscolar:RetosPrác>cosy
PosibilidadesMetodológicas
GuillermoSolano-FloresStanfordUniversity
Seminario,EvaluaciónyDiversidad:Jus7ciayEquidadenlaEvaluaciónEduca7va”
Ins7tutoNacionalparalaEvaluacióndelaEducaciónCiudaddeMéxico,22desep7embrede2016
![Page 2: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/2.jpg)
Definiciones• Cultura.Conjuntodevalores,experiencias,patronesdecomunicación,formasdesocializaciónycircunstanciashistóricasquecompartenlosindividuosdeungruposocial.*
• Validezcultural.Gradodeefec7vidadconelqueelprocesodeevaluaciónconsideralasinfluenciassocioculturalesenlamaneraenquelosestudiantesinterpretanlosítemsdeunapruebayrespondenaesosítems.Talesinfluenciasincluyen:experienciassocialesdiarias,patronesdecomunicación,variedadesdelenguaje,epistemologías,ycondicionessocioeconómicas.***ConsejoTécnicoEspecializadoAd-HocparalaElaboracióndeCriteriosTécnicosdeValidezCulturaldelosInstrumentosdeEvaluaciónEduca7va(2015).Promociónyevaluacióndelavalidezculturalenlasac7vidadesevalua7vasdelINEE.(PorOrdenAlfabé7codeApellido):Gigante,E.vonGroll,B.Mar7nez-Casas,R.,Sandoval-Cruz,F.ySolano-Flores,G.(2015).Ins7tutoNacionalparalaEvaluacióndelaEducaciónCiudaddeMéxico,D.F.,Enero16.**Solano-Flores,G.,&Nelson-Barber,S.(2001).Ontheculturalvalidityofscienceassessments.JournalofResearchinScienceTeaching,38(5),553-573.
![Page 3: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/3.jpg)
Limitacionesenlasprác7casevalua7vas• Sepiensaendiversidadculturalylingüís7caalfinaldelprocesode
desarrollodelaprueba• Seasumeuniversalidadeneldiseñodeítems• Seinvocalaexistenciadetécnicasestadís7casparaanalizarsesgo,sinque
realmenteselesemplee• Setrataaladiversidadculturalcomounasuntosuperficial,notécnico• Seasignanpocosrecursosypoco7empoparaexaminarasuntosde
cultura• Seusanopromuevenestereo7possociales• Sesubes7malacomplejidaddelosasuntosculturalesylingüís7cos• Sehacealgoconrespectoaculturaporconvenienciapolí7ca,sinun
compromisoprofundo• Seconsideraquelasaccionesparatratarculturasonopcionales• Seoperacionalizaalaculturademanerainadecuada
![Page 4: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/4.jpg)
Factoresagravantes• Pocosexpertosenmediciónestáninteresadosenconocera
fondolasbasesteóricasdelarelaciónentrecognición,culturaylengua
• Pocosexpertosenantropologíaylingüís7caestáninteresadosenconocerafondolasbasesteóricasymetodológicasdelamedición
• Seestableceunafalsadicotomíaentrelocualita7voylocuan7ta7vo
• Enlamayoríadelospaíses,existenpocosexpertosenmedición
• Muchospaísesimportanprác7casevalua7vasdeotrospaíses,incluyendoaquellasque7enenquevercondiversidadcultural,sincues7onarsuslimitaciones
![Page 5: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/5.jpg)
Buenaideas,dudosaimplementaciónEstándar3.3:Inclusióndesub-grupospoblacionales
Am
erican Educational Research Association, A
merican Psychological A
ssociation, and N
ational Council for Measurem
ent in Education (2014). Standards for Educational and Psychological Testing. Ch. 3, Fairnes in Testing, p. 64. W
ashington, DC: A
uthor.
![Page 6: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/6.jpg)
Unejemplohistóricosobresesgoculturalenpruebas
¿Encadapardecaras,cuálesmásbonita?**¿Quélefalta?*
*Basadoeny**citadoporJensen,A.R.(1960).Biasinmentaltes7ng.NewYork:TheFreePress.
![Page 7: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/7.jpg)
Culturaycontextoenítems
Reportetécnico:UnpaneldeexpertosrevisólosítemsparaasegurarsedequenoresultarandiTcilesdeentenderparaalumnosdeciertosgruposculturalesolingüís7cos.NosaseguramosdeusarunlenguajeestándarenlaredaccióndelosítemsEmpleamoslosprincipiosdeldiseñouniversal
Item:Juanvaacenarconsuspapás.Supapádeja$17.00depropina.¿Cuáleseltotaldelacuentadelacena,suponiendoqueseagregael10%depropinaalacuentatotal?
![Page 8: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/8.jpg)
Enfoquesconvencionaleseneltratamientodecultura:EjemplodeDIFendosítems
PuntuaciónZenlavariablelatente
Prob
abilidadde
repu
estacorrecta
Sinfuncionamientodiferencial
Confuncionamientodiferencial
Adaptadode:Zumbo,B.D.(1999).AHandbookontheTheoryandMethodsofDifferen7alItemFunc7oning(DIF):Logis7cRegressionModelingasaUnitaryFrameworkforBinaryandLikert-type(Ordinal)ItemScores.OlawaON:DirectorateofHumanResourcesResearchandEvalua7on,DepartmentofNa7onalDefense.
Población1Población2
![Page 9: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/9.jpg)
Limitacionesenelanálisisdelfuncionamientodiferencialdeítems
• Suponeheterogeneidadenlaspoblaciones• Requieredeunnúmerorela7vamentegrandedeestudiantesencadagrupo
• Se7enequerealizarseparadamenteporcadaítem
• Seiden7ficaalosítemsinadecuadosmuytardeenelprocesodeevaluación
• Conduceapensarenvalidezentérminosdeungrupopoblacional,nodelosconstructosevaluados
![Page 10: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/10.jpg)
PROMOCIÓNYEVALUACIÓNDELAVALIDEZCULTURALENLASACTIVIDADESEVALUATIVASDELINEE
ConsejoTécnicoEspecializadoAd-HocparalaElaboracióndeCriteriosTécnicosdeValidezCulturaldelosInstrumentosde
EvaluaciónEduca>va
CiudaddeMéxico,D.F.,Enero16de2015
Necesidaddenuevasmetodologías
![Page 11: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/11.jpg)
Definicionesdevalidez• …juicioevalua7vointegralsobreelgradoenquela
evidenciaempíricayelrazonamientoteóricoapoyanlaadecuaciónylapropiedaddelasinferenciasylasaccionesbasadsencalificacionesdepruebasuotrasformasdeevaluación(Messick,1989)
• …gradoenquelaevidenciayteóricaapoyanalasinterpretacionesdelascalificacionesenpruebasparalosusospropuestosdeesaspruebas(AERA,APA,&NCME,2014)
• …gradoenelquesepuedenhacergeneralizacionesapropiadasacercadelashabilidadesyelconocimientodelosestudiantesenunáreadedominiodeterminadaconbaseensudesempeñoenunaprueba
![Page 12: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/12.jpg)
Argumentosyevidenciaenapoyoageneralizacioneseinterpretaciones
Poblacióntotal
Grupodereferenciaygrupofocal
Desagregación
Segmentopoblacionalpredominante
(GrupodeReferencia)
Segmentopoblacionalminoritario(GrupoFocal)
Prueba
Estudiantesdegrupospredominantesyminoritarios
Prueba
SegmentopoblacionalpredominantePrueba
SegmentopoblacionalminoritarioPrueba
![Page 13: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/13.jpg)
Ejemplo1:Desagregregación
Númeromínimodeítemsnecesariosparaobtenercoeficientesdegeneralizabilidadaceptables
GrupoPredominante
GrupoMinoritario1
GrupoMinoritario2
16
19
25
Basadoen:Solano-Flores,G.,&Li,M.(2006).Theuseofgeneralizability(G)theoryinthetes7ngoflinguis7cminori7es.Educa7onalMeasurement:IssuesandPrac7ce25(1),13-22.
![Page 14: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/14.jpg)
Ejemplo2:Entrevistascogni7vasyvalidacióncultural
Solano-Flores, G., & Li, M. (2009). Generalizability of cognitive interview-based measures across cultural groups. Educational Measurement: Issues and Practice, 28 (2), 9-18.
![Page 15: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/15.jpg)
hlps://www.smarterbalanced.org/wp-content/uploads/2015/08/Item-Accessibility-and-Language-Varia7on-Conceptual-Framework.pdf
Eltópicoolasituaciónreflejalaviday
elambientesocialde…
…muchosalumnos,independientementedesugrupocultural,étnicoosocioeconómico.
…individuosdeungrupocultural,étnicoosocioeconómicoespecíficoperoesfamiliaroconocidoporindividuosdemuchosotrosgrupos.
…individuosdeungrupocultural,étnicoosocioeconómicoespecíficoyespocofamiliaroesdesconocidoporindividuosdeotrosgrupos.
Contextosocialimplícitoeneldiseñodeítems
Adaptadode:Solano-Flores,G.,Shade,C.,&Chrzanowski,A.(2014).Itemaccessibilityandlanguagevaria7onconceptualframework.SubmimedtotheSmarterBalancedAssessmentConsor7um.October10.hlp://www.smarterbalanced.org/wordpress/wp-content/uploads/2014/11/ItemAccessibilityandLanguageVaria7onConceptualFramework_11-10.pdf
Ejemplo3:Sistema7zacióneneldesarrollodepruebas
![Page 16: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/16.jpg)
Ejemplo4:Sistema7zacióneneldiseñodeítems
PersonajesFemeninos PersonajesMasculinos
Adaptadode:Solano-Flores,G.,Shade,C.,&Chrzanowski,A.(2014).Itemaccessibilityandlanguagevaria7onconceptualframework.SubmimedtotheSmarterBalancedAssessmentConsor7um.October10.hlp://www.smarterbalanced.org/wordpress/wp-content/uploads/2014/11/ItemAccessibilityandLanguageVaria7onConceptualFramework_11-10.pdf
Nombresdepersonajesfic7ciosausarenlaspruebasdesarrolladasporunsistemadeevaluación
![Page 17: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/17.jpg)
Criteriosdevalidezcultural• Marcoconceptualdelosinstrumentosdeevaluación• Especificacióndepoblacionesyunidadesdeanálisis• Estrategiaparaconsiderardiversidadcultural,lingüís?caysocioeconómica• Especificacióndeítems• Profesionalesinvolucradoseneldesarrollodelosítems• Representacióndepoblacionesdiversasenlasmuestras• Validacióncogni?vo-cultural• Revisióndeexpertos• Análisisdesesgocultural• Estudiosdegeneralizabilidad• Tiemposycalendarios• Mecanismosdecorrección
![Page 18: Diversidad Cultural y Validez en las Pruebas de ... · adecuación y la propiedad de las inferencias y las acciones basads en calificaciones de pruebas u otras formas de evaluación](https://reader033.vdocuments.pub/reader033/viewer/2022041918/5e6ac6398c7b3c5b0e4c38b6/html5/thumbnails/18.jpg)
Enfasisenelprocesodedesarrollodepruebas:Accionesinmediatas
• Desarrollarundocumentoconelmarcopoblacionalquedefinagruposdeinterés– Localidad:ruralyurbana– Nivelessocioeconómicos:alto,medioybajo– Etnicidad:indígena,noindígena– Lenguamaterna:español,lenguaindígena
• Probarborradoresdelosítemsconmuestrasdeestudiantespertenecientesaesosgruposdeinterés
• Inclusióndelingüistasyantropólogosenlosequiposdeautoresdeítems
• Inclusióndemaestrosprovenientesdemúl7plescontextossociales