líneas de investigación y estudios relacionados con resultados del egel centro nacional de...
TRANSCRIPT
Líneas de investigación y estudios relacionados con
resultados del EGEL
Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)Dirección General Adjunta de los EGEL
06-08 de diciembre de 2007Campeche, Campeche
Rafael HernándezDirector de los EGEL de Ciencias
de la Vida y la Conducta
Dinámica de trabajo
1ª sesión. Diciembre 6 12:30-13:10 Conferencia
13:10-13:30 Sesión de preguntas
13:30-14:00Levantamiento de información (encuesta)
2ª sesión. Diciembre 7
9:30-10:00 Organización en mesas de trabajo
10:00-11:00 Discusión de la propuesta del Ceneval 11:00-12:00 Recopilación de sugerencias y observaciones de las IES usuarias por grupo de trabajo
12:00-12:30 Presentación de conclusiones por mesa
1. Conceptos y preguntas en torno a la investigación
educativa
2. Reportes del Ceneval:
Resultados de los sustentantes en Índice Ceneval Bases de datos con variables de contexto Informe anual de resultados
3. Orientación de la investigación
4. Cuestionarios de contexto del Ceneval
Contenido
Medir o evaluar, ¿ese es el dilema?
Cuando una institución aplica un EGEL, cuenta los testimonios
satisfactorios y sobresalientes que obtienen sus estudiantes y
compara sus resultados con los de otras instituciones (y los
reporta en los PIFI, procesos de acreditación, etc.), ¿está
haciendo evaluación?
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
¿Los resultados de los sustentantes son atribuibles al contexto, a los individuos, al profesor, o a las instituciones?
¿Cuál es la contribución de la planta docente y de la escuela al proceso de aprendizaje del estudiante?
¿Se puede medir la eficacia educativa?
¿Puede el EGEL ayudarme a conocer la eficacia de mi programa académico o institución?
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
¿Qué debo buscar cuando se analizan los resultados de una evaluación?
¿Las deficiencias o los logros?
¿Se puede hacer evaluación e investigación educativa sin jerarquizar a las instituciones y sin generar resentimientos?
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Reportes
Resultados de los sustentantes en Índice Ceneval
Testimonios de desempeño– Satisfactorio– Sobresaliente
Bases de datos con variables de contexto (información de la hoja de registro)
Informe anual de resultados
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Reporte de resultados EGEL
Dos tipos de exámenes: EXANI y EGEL
Dos tipos de escala diferentes con un mismo nombre:
Índice Ceneval
EXANIExamen referido a la norma
EGELExamen referido al criterio
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
0
100 1300
0
120
5060 1000
30 25
90
75
700
Índice Ceneval
Número de aciertos
% aciertos
Calificación de los EXANI
1150
850
0
100 1300
0
100
1000
700
60
1150
No satisfactorio
Satisfactorio
Sobresaliente
Pto. corte
Pto. corte
48
40
94
Calificación de los EGEL
Escala Ceneval
Examen 1% rc
Examen 2% rc
Pto. corte
Pto. corte
Base de datos con variables de contexto (Información de la hoja de registro)
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Objetivo de la investigación
Marco teórico de la investigación
Escala de medición de las variables
Representatividad de la muestra y alcances del estudio
Características de la población sustentante
Condiciones necesarias para el desarrollo de estudios sobre el EGEL
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Investigación educativa
Estudios comparativos
Estudios predictivos
Estudios explicativos
Estudios sobre eficacia
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Estudios comparativos
Contrastar valores respecto de:
Proporción o % de sustentantes por arriba del punto de corte
Proporción o % de testimonios
versus:
Referentes o parámetros internos de la institución
Referentes similares, regionales, nacionales e internacionales
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Supuestos:• Medidas comparables en las variables bajo estudio (equivalentes)• Población igualada en las variables importantes• Escuelas similares
Estudios comparativos
Comparación de niveles de desempeño por institución
0% 20% 40% 60% 80% 100%
U.T. COAH
U.T. HUEJ
U.T. NTE COAH
U.T. V. TOLUCA
U.T. LEON
U.T. ZACATECAS
U.T. TAMPS NTE
U.T. TABASCO
U.T. FIDEL VELAZ
U.T. NTE DE AGS
U.T. TLAXCALA
U.T. NEZA
U.T. NOGALES
U.T. CANCUN
U.T. TORREON
U.T. CD. J UAREZ
U.T. NTE GTO
U.T. TULA TEPEJ I
U.T. TAMAULIPAS
U.T. E. ZAPATA
U.T. TECAMAC
U.T. SLP
U.T. V.MEZQUITAL
U.T. QUERETARO
U.T. AGS
U.T. HUASTECA H
SustentantesNIVEL 1 NIVEL 2 NIVEL 3 NIVEL 4 NIVEL 5
Se orientan a predecir el éxito académico que tendrán los estudiantes en ciclos escolares posteriores o en el desempeño laboral.
Se requiere tomar mediciones de las variables en diferentes tiempos.
Estudios predictivosConceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Participantes:
590 egresados de la ULSA sustentantes del ENERAM 2001-2003
Variables:
Promedio de la carrera
Resultado en el EGEL
Curso AMLS (Actualización Médica La Salle)
Hospital del internado
Lugar del servicio social
Félix, O. A. y Ahumada, A. M. Desempeño de los egresados de la ULSA en el ENARM* (2001-2003).
*ENARM = Examen Nacional de Aspirantes a Residencias Médicas
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Ceneval. (2004). El EGEL-Medicina. El mejor predictor para el examen de residencias médicas. Este País, Noviembre, p47-50
344
17
239
88
590
146
356
88
0
100
200
300
400
500
600
700
Global NS DS DSS
ACEPTADOSTOTAL DE ASPIRANTES
100%
67%
58%
NS= No satisfactorio DS= Desempeño Satisfactorio DSS= Desempeño Sobresaliente
Desempeño académico
Asp
iran
tes
11.6%
Pérez, G.J.A. y Martínez, P.J.H. (2006). Modelos de
predicción del desempeño de estudiantes de
licenciatura sujetos a instrumentos de evaluación.
Revista Iberoamericana de Educación. Número 39/7.
Objetivo:
Pronosticar el desempeño de 155 sustentantes del EGEL
egresados del programa de Ingeniería Civil de la UASLP
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Resultados:
137 sustentantes (88.4 %) obtuvieron pronóstico positivo, al correlacionar de manera satisfactoria los resultados; índice de desempeño establecido (70%) y calificaciones arriba de 1000 puntos en el índice Ceneval.
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Se orientan a generar modelos que dan cuenta de la influencia de variables personales, económicas, escolares o sociales sobre el aprendizaje.
Pueden utilizarse diseños longitudinales o cortes transversales.
Estudios explicativosConceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Hernández, J., Márquez, A. y Palomar, J. (2006). Factores asociados con el desempeño académico en el EXANI-I: zona metropolitana de la ciudad de México 1996-2000. Revista Mexicana de Investigación Educativa, 11, 547-581.
Objetivo:
Identificar el impacto de variables socioeconómicas y educativas sobre el rendimiento académico de sustentantes del EXANI-I, así como la estructura de relaciones que se establecía entre las diversas variables consideradas.
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Aciertos obtenidos por los sustentantes según la escolaridad de la madre y el ingreso familiar mensual
Encuesta sobre Igualdad de Oportunidades
Educativas, (EEOS) conocida como:
El Reporte Coleman (Coleman et al., 1966)
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Eficacia y mejora
Evolución de la efectividad escolar, indicadores escolares y la rendición de cuentas para la mejora educativa
Encuesta sobre Igualdad de Oportunidades Educativas (EEOS)(El Reporte Coleman, 1966)
Indicadores escolares
Rendición de cuentas
Efectividad escolar
Acciones para la mejora
educativa
Susan Kochan, 2007CharlesTeddlie and Susan Stringfield,
2007
Procesos educativosProductos
Legados de la Investigación sobre efectividad escolar:
– Bajo condiciones apropiadas, todos los estudiantes pueden aprender.
– El valor agregado sobre el estigma ESE (SES).
– El bajo desempeño escolar no es sólo un problema individual del estudiante o su familia.
– Las mejores instituciones están mejor integradas (estructuralmente, simbólicamente y culturalmente), que las menos efectivas.
Tony Townsend, 2007
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Efectividad escolar
Fuentes y % estimado de explicación de la varianza en el desempeño de los estudiantes
50
30
5
55
5
E s tudiatesMaes trosHogarC ompañerosE s cuelaD irector
Hattie Aus tralia, 2003
De las hojas de registro a los cuestionarios de contexto
Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)
Lucía Monroy CazorlaDirectora General Adjunta Técnica y de Investigación
06-08 de diciembre de 2007Campeche, Campeche
Los cuestionarios de contexto: una definición
Son instrumentos de medición que se aplican para obtener información y hacer inferencias cuantitativas acerca de la población.
A diferencia de los exámenes, en un cuestionario de contexto no existen respuestas correctas e incorrectas.
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Válida. Las variables que se incorporan responden a definiciones claras de lo que se pretende medir.
Confiable. Las mediciones deben ser consistentes, por lo que cambios en las puntuaciones deben reflejar cambios en la situación de los respondientes. Los resultados de los cuestionarios deben ser reproducibles en poblaciones similares.
No sesgada. Las mediciones deben presentarse a los respondientes de forma tal que no favorezcan a grupos de la población.
CaracterísticasConceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Un cuestionario bien diseñado debe generar información:
Bajo impacto. Eliminación de variables que no están consistentemente asociadas con el logro académico.
Cuestiones metodológicas. Cambios en las variables que presentan baja tasa de respuestas o producen respuestas inverosímiles.
Diseño inapropiado. El formato de algunas preguntas generaba confusión entre las categorías de respuesta.
Baja utilidad. Variables que no han sido utilizadas en los reportes que produce el Ceneval.
Las hojas de registro: motivos de cambioConceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Las hojas de registro: estructura 2007
Área Número de Preguntas
Identificación del examen 2
Identificación del sustentante 6
Institución de procedencia 4
Escolaridad 5
Situación laboral 7
Datos socioeconómicos 11
Datos sobre el examen 3
TOTAL 38
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Los nuevos cuestionarios de contexto: utilidad
Proponer modelos de explicación sobre el rendimiento escolar de los alumnos en diferentes asignaturas y grados escolares.
Contextualizar las medidas obtenidas en las pruebas de logro académico.
Describir a la población sustentante del examen.
1
2
3
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Responder a los propósitos de la medición.
Cada una de las preguntas debe ser útil y pertinente para lograr el objeto de medición.
Los constructos explorados deben incorporar variables manifiestas acordes con la definición conceptual.
La escala de medición de las variables debe corresponder a la definición del constructo que se mide y corresponder de manera natural a la pregunta.
Los modelos estadísticos para el análisis de los datos deben contemplar la métrica de las variables manifiestas y de los constructos definidos.
Los nuevos cuestionarios de contexto: supuestosConceptos y
preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Proceso de construcción de los nuevos cuestionarios
1. Definir el propósito de la evaluación.
2. Revisar el estado actual del conocimiento.
3. Determinar el perfil de los investigadores que
conformarán el Consejo Técnico del Cuestionario.
4. Determinar el diseño del estudio y los
requerimientos para la aplicación.
5. Seleccionar las variables que se incorporarán.
6. Construir el instrumento.
7. Analizar el instrumento con grupos focales.
8. Realizar un estudio piloto del instrumento en
poblaciones similares.
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
9. Revisar los resultados del piloteo y conformar las
versiones definitivas.
10. Aplicar el instrumento.
11. Leer y elaborar las bases de datos.
12. Analizar el comportamiento de las preguntas.
13. Elaborar los indicadores de los constructos medidos.
14. Elaborar los perfiles descriptivos de la población.
15. Generar modelos explicativos del aprendizaje
(mediano plazo).
16. Difundir los resultados.
40
Proceso de construcción de los nuevos cuestionarios
Conceptos y preguntas
Reportes del Ceneval
Investigación:- Comparativos- Predictivos- Explicativos- Eficacia
Cuestionarios de Contexto
Consejo Técnico
41
Sustentantes
• EXANI I, II, III
• EGEL
• Exámenes SEP
Docentes
• SEP
Directores
• SEP
Cuestionarios de contexto elaborados en 2007
Descriptivas
• Personales
• Escolares
• Sociales
Módulo básico
• Recursos no-cognitivos
• Capital cultural familiar
• Capital socio-económico familiar
• Calidad de la escuela de procedencia
Módulo investigación
• Recursos cognitivos: cómputo e inglés
• Comportamientos de riesgo
• Clima escolar
• Influencia de los pares
Módulo temporal
Estructura de los nuevos cuestionarios
EstructuraCuestionario de Contexto
para sustentantes
del EGEL
Módulo Temporal
EstructuraCuestionario de Contexto para
docentes
Elaborado para SEP
EstructuraCuestionario de Contexto para
directores
Elaborado para SEP
Encuesta
47
Muchas Gracias
Lucía Monroy Cazorla
Directora General Adjunta Técnica y de Investigación
Rafael HernándezDirector de los EGEL de Ciencias de la Vida y la Conducta