sobre la promoción, y resultados del módulo análisis ...€¦ · bogotá), josé vicente cadavid...

Informe sobre la promoción, consolidación y resultados del 

Módulo de Análisis Económico del Examen Saber‐Pro

Alexander Tobón Profesor Universidad de Antioquia

2014

Contenido

1. Síntesis de logros del proceso2. Construcción, revisión y validación de preguntas3. Orientaciones y simulacros4. Resultados nacionales 2012 y 20135. Retos para 2014

1. Síntesis de los logros del proceso

‐ Se logra insertar exitosamente los pregrados de Economía en la dinámica nacional de la evaluación por competencias.

‐ El Icfes reconoce los pregrados de Economía como un Grupo de Referencia independiente y a Afadeco como un interlocutor serio (desde 2010).

‐ Se obtiene un Marco de Referencia que concilia los intereses de los diferentes pregrado de Economía.

‐ El proceso ha sido participativo. Se consultaron los Decanos, Jefes de Departamento y Directores de Programas. Se logra reunir 60 profesores de Economía del país para legitimar el proceso y grupos de profesores para la construcción, revisión y validación de preguntas.

‐ Se tienen resultado cuantitativos por programa y nacionales del desempeño de nuestros estudiantes para la política curricular.

‐ En 2013 Afadeco firma un contrato con el Icfes para la construcción, revisión y validación de 130 preguntas, las cuales entran al banco de preguntas.

‐ Participaron como constructores de preguntas aprobadas (junio): 

Angélica Quiroga (Javeriana), Laura Giraldo (Autónoma de Colombia), Sara Atehortúa, Danny García  y Hernán Botero (Antioquia), Alejandra Molina (Autónoma de Manizalez), Jarvi Salazar y Frank Huerta (Libre de Pereira), Jhon Mauro Perdomo (UnalBogotá), José Vicente Cadavid (Eafit), Pedro Delgado (Autónoma Bucaramanga),  Camilo Gómez (EAN), Henry Laverde y José Elías Mendivelso (Sto Tomás), Luis Eduardo Girón (Javeriana, Cali) y Ramón Rosales (Andes). 

2. Construcción, revisión y validación de preguntas

‐ Participaron como revisores (julio‐agosto): 

Ramiro Rodríguez (Libertadores), Luz Karime Abadía y Martha Misas (Javeriana), Hernán Vallejo (Andes), Alexander Tobón (Antioquia)

‐ Participaron como validadores (septiembre): profesores de Andes, Nacional, Javeriana y Libertadores.

¿Cómo ocurrió el proceso?

‐ Capacitación inicial para constructores y revisores: 25‐26 abril (Andes) para orientar sobre las Especificaciones de la Prueba.

‐ Los profesores realizaron en promedio 10 preguntas sobre su área de desempeño docente: micro, macro, pensamiento económico/historia económica y econometría.

‐ Revisión: aceptación, aceptación con modificaciones y rechazo.‐ Validación: aceptación o rechazo.

¿Qué experiencias se pueden destacar?

‐ Positivas: la diversidad temática y los diferentes niveles de complejidad, así como la creatividad de algunos profesores.

‐ Negativas: la aplicación de las Especificaciones de la Prueba, la redacción de la pregunta (que tenga la información suficiente y que tenga única respuesta), la elección de temáticas (que sean de pregrado) y los conocimientos de los profesores.

3. Orientaciones y simulacros

En 2013 se llevaron a cabo 6 actividades de orientación paraprofesores y estudiantes, así como un simulacro de la pruebaexclusivamente para estudiantes.

Autónoma de Bucaramanga: orientación solo a profesores.Universidad de Antioquia: orientación a estudiantes (40) y simulacro.Universidad del Magdalena (17), Norte (28), Sabana (15) y UPBMontería (19): orientación a profesores, a estudiantes y simulacro.

Han manifestado interés: Sucre, Eafit y Surcolombiana.

¿Qué hacemos?

‐ Orientación a Profesores: elementos del Marco de Referencia: qué se entiende por competencias, qué es la competencia en análisis económico y cómo se evalúa dicha competencia (Especificaciones de la Prueba: conceptos, teorías y herramientas). Taller de elaboración de preguntas. 4 horas.

‐ Orientación a Estudiantes: Especificaciones de la Prueba. 1 hora.

‐ Simulacro individual a estudiantes: 45 preguntas clasificadas según las Especificaciones de la Prueba (evidencias y afirmaciones). Hay diversidad temática y diferentes niveles de complejidad. 2 horas. Se entregan las respuestas.

0

10

20

30

40

50

60

70

80

90

U de A U del Norte U de la Sabana UPB ‐ Monteria U del Magdalena

Resultados Simulacro Modulo Análisis Económico

NOTA MAXIMA

NOTA MINIMA

PROMEDIO UNIVERSIDAD

Módulo Análisis Económico

Número de estudiantes en el Grupo de Referencia

4. Resultados nacionales 2012 y 2013

Semestre Estudiantesde Economía

Estudiantesde pregrados

afines

Total 

2012‐2 1513 5140 6653

2013‐1 1265 2565 3830

2013‐2 2444 4480 6924

Total 5222 12185 17407

Módulo Análisis Económico

Nivel de confiabilidad de la prueba

La prueba mide en un 84% lo que tiene que medir, es decir, la adquisición, en cierto grado, de la competencia en análisis económico. Lo verdaderamente importante es la estabilidad en el tiempo de la 

medida.

Semestre % de confiabilidad

2012‐2 0,71

2013‐1 0,78

2013‐2 0,84

Clasificación de los puntajes y comparativo de estudiantes de Economía con estudiantes de pregrados afines

1. Puntajes mínimos

Módulo Análisis Económico

Semestre Economía Afines

2012‐2 7,0 5,4

2013‐1 7,9 6,3

2013‐2 7,3 0,0

2. Clasificación de los puntajes promedio en quintiles y comparativo de estudiantes de Economía con estudiantes de pregrados afines

Módulo Análisis Económico

Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5

E A E A E A E A E A

2012‐2 10,1 9,3 10,6 9,7 11,2 10,1 11,7 10,8 14,3 14,3

2013‐1 10,0 9,2 10,6 9,7 11,1 10,2 11,5 10,7 15,3 15,3

2013‐2 10,1 9,1 10,6 9,6 11,0 10,1 11,6 10,7 14,4 14,4

Dos reflexiones

‐ Los puntajes promedio son, en general, más altos en Economía que en los programas afines, con la excepción del quintil 5. Esto se verifica también para los módulos genéricos.

‐ Los estudiantes de Economía tuvieron el mejor desempeño en la prueba del semestre 2013‐1 pues el puntaje más alto del período de estudio se clasificó en el quintil 5. Igualmente, para ese mismo semestre el puntaje mínimo fue el más alto. Sin embargo, el nivel de confiabilidad para ese semestre fue menor respecto al semestre siguiente.

Módulo Análisis Económico

Módulos genéricos: razonamiento cuantitativo

Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5

E A E A E A E A E A

2012‐2 9,9 9,2 10,3 9,7 10,9 10,1 11,6 10,8 15,2 16,8

2013‐1 9,8 9,2 10,4 9,6 11,0 10,1 11,7 10,8 15,9 16,3

2013‐2 9,9 9,3 10,4 9,7 10,9 10,2 11,7 10,8 16,0 16,2

Mejor desempeño para pregrados afines en quintil 5.

Mejor desempeño para pregrados afines en quintil 5.

Módulos genéricos: Lectura crítica

Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5

E A E A E A E A E A

2012‐2 9,7 9,2 10,3 9,8 10,7 10,3 11,2 10,9 13,1 14,9

2013‐1 9,9 9,3 10,5 9,8 11,0 10,4

11,6 11,0 14,3 15,8

2013‐2 9,9 9,2 10,4 9,9 10,8 10,3 11,6 10,9 14,3 16,2

Resultados negativos para todos. El puntaje del quintil 5 no llega a 14.

Módulos genéricos: comunicación escrita

Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5

E A E A E A E A E A

2012‐2 9,7 8,8 10,5 9,7 11,3 10,4 11,9 11,2 13,1 13,1

2013‐1 9,6 9,0 10,3 9,5 10,8 10,1 11,2 10,8 12,5 12,8

2013‐2 9,8 9,3 10,4 9,9 11,0 10,4 11,5 11,0 12,9 13,0

Módulos genéricos: competencias ciudadanas

Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5

E A E A E A E A E A

2012‐2 9,6 9,1 10,3 9,7 10,7 10,3 11,3 10,9 13,3 15,4

2013‐1 9,7 9,0 10,3 9,7 10,8 10,2 11,5 10,8 13.7 13,7

2013‐2 9,7 9,0 10,2 9,7 10,8 10,2 11,3 10,8 14,0 14,0

Los puntajes son bajos para casi todos los quintiles respecto a los otros módulos. El puntaje 11 solo aparece en el quintil 4.

Módulos genéricos: Inglés

Quintil 1 Quintil 2 Quintil 3 Quintil 4 Quintil 5

E A E A E A E A E A

2012‐2 9,6 9,4 10,1 9,6 11,0 9,9 12,3 10,6 15,0 15,0

2013‐1 9,7 9,4 10,2 9,6 11,2 10,0 12,3 10,8 14,9 14,9

2013‐2 9,6 9,2 10,2 9,6 11,0 10,0 12,3 10,8 15,0 15,0

Se evidencia mucho más el buen desempeño de Economía. Quintil 5 empate.

1. Participar del concurso público del Icfes para la construcción, revisión y validación de otras 80 preguntas.

2. Reorientar el Marco de Referencia exclusivamente a Economía, validándolo con los profesores que han participado en el proceso.

3. Publicar y fomentar la lectura del Marco de Referencia.4. Continuar con las charlas de orientación a profesores y 

estudiantes para favorecer el mantenimiento de los niveles de confiabilidad de la prueba.

5. Retos para 2014