los nuevos exámenes saber pro
DESCRIPTION
Los nuevos exámenes SABER PRO. Javier Botero Álvarez Viceministro de Educación Superior Margarita Peña Borrero Directora General - ICFES Julián Mariño Von Hildebrand Director de Evaluación - ICFES. Bogotá, agosto 24 de 2011. Plan de la presentación. - PowerPoint PPT PresentationTRANSCRIPT
Los nuevos exámenes SABER PRO
Javier Botero ÁlvarezViceministro de Educación Superior
Margarita Peña BorreroDirectora General - ICFES
Julián Mariño Von HildebrandDirector de Evaluación - ICFES
Bogotá, agosto 24 de 2011
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Promover, gestionar y mejorar permanentemente la calidad de las instituciones y programas de educación superior y su impacto en la formación de los estudiantes
Generar una cultura de evaluación y autoevaluación permanente y sistemática
Propender por la pertinencia y cobertura de la Educación Superior en el país
Fomentar la búsqueda de la atención integral de los estudiantes y demás actores de la comunidad académica, con los servicios del sistema
Promover una cultura de autocontrol que conduzca a una mayor eficiencia y transparencia en la gestión de las Instituciones de Educación Superior
Objetivos del Sistema de Calidad de la Educación Superior
Sist
ema
de C
alid
ad d
e la
Ed
ucac
ión
Supe
rior
Evaluación
Fomento
EvaluaciónFomento
Evaluación
Fomento
Aseguramiento de la calidad
• Registro calificado• Planes de mejoramiento
Reconocimiento a la excelencia
• Verificación de condiciones• Acreditación de calidad
Inspección y Vigilancia
Ministerio de Educación Nacional
CESU
CONACES C.N.A.
Formulación de políticas públicas
Normas y procesos de calidad
Investigación científica para el mejoramiento
continuo
Operación del modelo
Verificación del cumplimiento de
normas
SNIES. Sistema Nacional de
Información de la Educación Superior
SACES. Sistema de Aseguramiento de la
Calidad de la Educación Superior
SPADIES. Sistema de Prevención y Atención de la Deserción de la Educación Superior
OLE. Observatorio Laboral de la Educación
I E S
ICFES
Evaluación en el Sistema de Calidad de la Educación Superior
Antecedentes Normativos Actualización legislativa de la evaluación externa.
Ley 1188 de 2008 Condiciones generales de calidad
Decreto reglamentario 1295 de 2010Características específicas de calidad
Ley 1324 de 2009Cambia la naturaleza jurídica las funciones del ICFESRegula los Exámenes de Estado
Decreto 3963 de 2009 Reglamenta las pruebas de estado de la educación superior
•N
orm
ativi
dad
Evaluación en el Sistema de Calidad de la Educación Superior
Estudiantes
• Saber 11º
• Saber Pro
Docentes
• Uso efectivo de los resultados de la evaluación docente como insumo para el mejoramiento de la calidad
IES y Programas
• Seguimiento a las condiciones de oferta de programas
• Seguimiento a la permanencia (SPADIES)
• Atención integral al estudiante
Egresados
• Vinculación al mercado laboral (Observatorio Laboral para la Educación)
•Pr
ueba
s S
aber
Pro
Objetivos de SABER PRO (Decreto 3963 de 2009)
Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que soporten la cualificación de los procesos institucionales, la formulación de políticas y el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo.
Comprobar el grado de desarrollo de las competencias de los estudiantes próximos a culminar los programas que ofrecen las instituciones de educación superior de tal manera que sirva como insumo para el mejoramiento continuo.
Producir indicadores de valor agregado de la educación superior en relación con el nivel de competencias de quienes ingresan a este nivel.
Evaluación de Estudiantes en el Sistema de Calidad de la Educación Superior
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Número de programas evaluados, 2004 - 2008
38 5054
55 55
Total de estudiantes evaluados por área del conocimiento, 2004 - 2008
Puntajes promedio ECAES, 2004 - 2008
Puntaje ECAES, 2008Diferencias Oficial – Privado
Participación por ECAES IES
Total 2.008 2.008Lic Matematicas 946 260 19Lic Frances 669 125 4Fonoaudiologia 1.271 243 12Nutricion Y Diet. 1.142 271 6Optometria 1.040 242 7Terapia Ocup. 800 178 9I. Agricola 514 105 5I. Petroleos 1.067 261 4I. Forestal 547 127 5I. Agroindustrial 1.034 201 11Téc. Electrónica 787 200 9Quimica 1.150 271 12Fisica 458 100 7Matematicas 411 84 11Geologia 467 72 4
Total 12.303 2.740% del Total 3% 3%
Estudiantes IESTotal 2.008 2.008
Derecho 42.576 8.267 80Administracion 58.509 10.363 132Contaduria 32.742 5.677 87I. Industrial 21.483 4.105 62I. Sistemas 28.834 4.261 97
Total 184.144 32.673% del Total 44% 39%
Estudiantes
5 ECAES concentraban el 44% de los evaluados,
mientras 15 representaban tan sólo el 3%.
Limitaciones de los ECAES (2004 – 2008)Los resultados producidos presentan las siguientes dificultades para construir indicadores que apoyen la toma de decisiones sobre calidad en Educación Superior:
Sesgo por no presentación del examen de una parte importante de la población (cerca del 25% entre individuales y programas enteros).
Imposibilidad para comparar las medidas entre programas: los exámenes evalúan cosas distintas en poblaciones distintas. Ni los promedios, ni las distribuciones, ni las variaciones son comparables.
Posibilidades restringidas de uso para la toma de decisiones en los niveles altos de la administración del sistema (por encima de programa: facultades, rectorías, MEN, público en general) debido a la atomización de resultados.
Posibilidades restringidas de interpretación pedagógica de los resultados de los exámenes particulares. No se asocian a los puntajes descripciones pedagógicas sobre qué pueden hacer los estudiantes y qué les falta.
Con excepción de Inglés y de una evaluación limitada de Comprensión Lectora, no se da cuenta del desarrollo de competencias transversales, requeridas para cualquier profesional.
Orientación a la producción de resultados brutos, no medidas de valor agregado. Los mejores puntajes corresponden sistemáticamente a las instituciones con procesos de selección más estrictos.
Problemas técnicos que afectan la calidad de las mediciones debidos a los tamaños demasiado pequeños de las poblaciones que se evalúan con algunos de ellos.
Limitaciones de los ECAES (2004 – 2008)
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Competencias a evaluar
Se deben evaluar las competencias de los estudiantes que están próximos a culminar los distintos programas de pregrado, en la medida en que puedan ser valoradas con exámenes externos de carácter masivo, incluyendo aquellas genéricas que son necesarias para el adecuado desempeño profesional o académico independientemente del programa que hayan cursado.
Las competencias específicas serán definidas por el MEN con la participación de la comunidad académica, profesional y del sector productivo, teniendo en cuenta los elementos disciplinares fundamentales de la formación superior que son comunes a grupos de programas en una o más áreas del conocimiento.
Los exámenes estandarizados no pretenden ser la medida de la calidad de la formación impartida.
Marco legal – Decreto 3963 de 2009
Nuevas reglas
Obligatoriedad de los exámenes de Estado (de Media y Superior), para ingresar al pregrado y obtener el título
Adopción de estructuras de examen e indicadores comparables por períodos no menores a 12 años
Establecimiento de un periodo de transición para la adopción gradual de las nuevas estructuras. Durante este periodo se elaborarán y validarán las nuevas evaluaciones.
Marco legal – Decreto 3963 de 2009
MINISTERIO DE EDUCACIÓN ICFES
Establece los propósitos de la evaluación, sus efectos y, a través de las resoluciones, qué debe evaluarse:
Competencias genéricasCompetencias comunesCompetencias específicas
Diseña y construye las pruebas, las aplica y produce reportes de resultados (individuales y agregados):
Instrumentos (módulos)Resultados por grupos de referencia
En cooperación con: Comunidad académica Sector productivo
Competencias del MEN y del ICFES
Resoluciones de características específicas definidas por competencias
Área ApoyoProyectos de resolución para evaluación por CONACES
Derecho ACOFADE
Arquitectura ACFA
Economía AFADECO
Ingeniería ACOFI
Psicología ASCOFAPSI
Administración ASCOLFA
30 de agosto. Presentación propuesta por parte de entidades de apoyo
Salud Alianza de Salud
Comunicación AFACOM
Veterinaria y Agrarias ASFAMEVEZ y ACOFIA
Contaduría REDFACONT
Ciencias Naturales ACOFACIEN
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Apoyar el Sistema de Aseguramiento de la Calidad de la Educación Superior con mejor información para la toma de decisiones.
Evaluar todo el sistema de ES
Garantizar la utilidad de los indicadores
Garantizar la confiabilidad y la continuidad
Garantizar interpretación pedagógica
Propósito de los nuevos exámenes
Evaluar todo el sistema de ES
La Ley 1324 hizo obligatorio el presentarse al examen para obtener el título. Con esta medida se logró corregir el sesgo enorme que producía la no presentación del examen por parte de estudiantes y programas enteros.
El nuevo esquema de evaluación debe permitir evaluar a la totalidad de la población de ES.
Propósito de los nuevos exámenes
Garantizar la utilidad de los indicadores
Los indicadores producidos deben apoyar la toma de decisiones de los distintos niveles del sistema de educación y de otros grupos de interés: deben permitir hacer comparaciones y establecer referentes para diversas agrupaciones.
Se deben evaluar elementos comunes para distintos tipos de formación.
Para poder identificar experiencias exitosas de formación en ES no basta con medir resultados de salida de los estudiantes. Es necesario tener una medida de variación entre la entrada y la salida, una medida de valor agregado.
Propósito de los nuevos exámenes
Garantizar la confiabilidad y la continuidad de los indicadores
Se deben garantizar las condiciones técnicas de evaluación en exámenes estandarizados, en particular, respetar los tamaños mínimos de grupos evaluados.
La evaluación se debe enfocar en los elementos fundamentales que no son susceptibles de variar en el corto plazo.
La evaluación de elementos altamente específicos y variables debe desarrollarse en las instituciones de ES.
Propósito de los nuevos exámenes
Garantizar interpretación pedagógica
Para que la evaluación produzca una información rica en términos cualitativos, que permita orientar las decisiones pedagógicas, es necesario identificar niveles y elaborar interpretaciones de los rendimientos que los caracterizan.
Propósito de los nuevos exámenes
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Estructura de los exámenes
Los exámenes SABER PRO se estructuran por módulos (componentes combinables ) de evaluación de dos tipos de competencias:
1. Competencias genéricas
2. Competencias específicas comunes a grupos de programas
Algunos módulos de competencias genéricas se incorporarán también a SABER 11º para producir medidas de valor agregado.
Módulos de Competencias Genéricas
Lectura Crítica
Razonamiento Cuantitativo
Cultura Ciudadana y Entendimiento del Entorno
Redacción
Inglés
Todas las personas que presenten el examen deberán tomar estas pruebas comunes.
Lectura Crítica: desempeños asociados a Lectura, Pensamiento Crítico y Entendimiento Interpersonal
Leer analítica y reflexivamente.
Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y juicios de valor.
Identificar y recuperar información presente en uno o varios textos, construir su sentido global, establecer relaciones entre enunciados y evaluar intencionalidad.
Se evaluará también en SABER 11º.
Módulos de Competencias Genéricas
Razonamiento Cuantitativo: desempeños relacionados con Uso Lenguaje Cuantitativo y Solución de Problemas.
Comprensión de conceptos básicos de las matemáticas para analizar, modelar y resolver problemas, aplicando métodos y procedimientos cuantitativos y esquemáticos.
Interpretación de datos, la formulación de problemas y la ejecución, evaluación y validación de procedimientos y estrategias.
Se evaluará también en SABER 11º.
Módulos de Competencias Genéricas
Competencias Ciudadanas y Entendimiento del Entorno
Reconocer y valorar la diversidad cultural y los derechos individuales y colectivos.
Entender, en el contexto nacional y global, los grandes problemas sociales, económicos, políticos y ambientales contemporáneos.
Identificar dilemas éticos en situaciones concretas.
En desarrollo
Módulos de Competencias Genéricas
Escritura
Comunicar ideas por escrito referidas a un tema dado. Los escritos se califican teniendo en cuenta los siguientes criterios:
Elaboración de la intención y el propósito.
Claridad de la estructura y la organización.
Manejo del lenguaje y las convenciones.
Módulos de Competencias Genéricas
Inglés
Comunicarse efectivamente en inglés.
Permiten clasificar a los evaluados en cuatro categorías de desempeño, según las bandas del Marco Común Europeo.
Se evalúa en SABER 11º.
Módulos de Competencias Genéricas
Módulos de Competencias Específicas comunes de grupos de programas
Cada módulo evalúa un saber hacer complejo en contexto que se define con base en las competencias fundamentales de grupos de programas o áreas de conocimiento.
Se refieren a problemas que son comunes a distintos programas, más que a contenidos curriculares específicos.
Corresponden a una definición de cada formación, no de forma aislada, sino a partir de sus interacciones y sus elementos comunes con las demás.
Se usan para evaluar estudiantes de distintos programas, incluso de distintas áreas del conocimiento.
Módulos de competencias comunesEjemplos:
Diseño en ingeniería Indagación Investigación en ciencias socialesSalud pública Gestión de recursos
El Ministerio determinará, a partir de 2012, para cada programa, los módulos que serán obligatorios para sus estudiantes, con base en lo establecido en las resoluciones de características mínimas.
De acuerdo con su orientación propia, cada programa podrá seleccionar módulos adicionales (sujeto a limitaciones de tamaño de estos) en los que evaluar a sus estudiantes.
Producción de resultados
No se pretende que los estudiantes de todas las formaciones desarrollen a un mismo nivel las competencias genéricas, ni aún las comunes a grupos de programas.
Entregar solo un puntaje o un promedio no es informativo, es preciso ubicarlo con respecto a una referencia.
Para que la referencia tenga sentido, es preciso conformar grupos de referencia.
Se deben definir niveles de desempeño para los módulos.
GRUPOS DE REFERENCIA
Agrupación de programas con características similares entre los que se compararán los resultados de la evaluación.
Los grupos de referencia se definieron según la clasificación de programas del Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio de Educación Nacional y la Clasificación Internacional Normalizada de la Educación (CINE) de la Unesco.
Se han conformado 30 grupos de referencia según nivel de formación:
14 de nivel universitario6 de nivel tecnológico6 de nivel técnico2 para niveles técnicos y tecnólogos1 para todos los niveles1 para el ciclo de normalistas superiores
Presentación de resultados
Se entregarán resultados por módulo.No habrá un puntaje total del examen.
RESULTADOS INDIVIDUALES – por móduloPuntaje Nivel de desempeñoPromedio de puntajes en el grupo de referenciaDesviación estándar de puntajes del grupo de referencia
RESULTADOS INSTITUCIONALES – por móduloResultados individuales (de sus estudiantes)Distribución por niveles de desempeño (público)Promedios de puntajes en relación con los promedios y desviaciones del grupo de referencia y el total nacional (público)
Grupos de referenciaNúmero de programas por nivel clasificados en cada grupo de referenciaAdministración y turismo 2.568
Técnico 905Tecnológico 1.663
Arquitectura y urbanismo 160Universitario 160
Artes – diseño - comunicación 850Técnico 405Tecnológico 445
Bellas artes y diseño 388Universitario 388
Ciencias agropecuarias 814Técnico 169Tecnológico 393Universitario 252
Ciencias económicas y administrativas 2.160Universitario 2.160
Ciencias militares y navales 13Universitario 13
Ciencias naturales y exactas 346Universitario 346
Ciencias sociales 633Universitario 633
Comunicación, periodismo y publicidad 345Universitario 345
Derecho 416Universitario 416
Educación 2.194Universitario 2.194
Grupos de referenciaNúmero de programas por nivel clasificados en cada grupo de referenciaHumanidades 222
Universitario 222Ingeniería 2.384
Universitario 2.384Ingeniería, industria y minas 1.431
Técnico 387Tecnológico 1.044
Judicial 168No universitario 168
Medicina 151Universitario 151
Militar y policial 26No universitario 26
Normales superiores 492
Recreación y deportes 120Todas 120
Salud 916Técnico 127Tecnológico 226Universitario 563
TIC 1.026Técnico 293Tecnológico 733
TOTAL GENERAL 17.823
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Transición ECAES – SABER PRO
Transición ECAES – SABER PROEl proceso…
Se ha realizado un proceso participativo en la elaboración y validación de módulos y en la construcción de preguntas:
Participación de más de 30 Asociaciones de Facultades, Redes y Programas.
Más de 60 talleres, grupos focales y sesiones de discusión para la elaboración de módulos y validación de especificaciones.
Más de 50 sesiones de validación de especificaciones de módulos cubriendo todas las regiones del país y en las ciudades principales en donde tienen sede los diferentes programas.
Participación de más de 500 docentes de Instituciones de Educación Superior en todas las fases del proceso de diseño de módulos.
Plan de la presentaciónEl sistema de calidad de la Educación SuperiorAprendizajes de los ECAES (2004 – 2008)Marco legal de la transformación de los Exámenes de Estado de la Educación Superior
Decreto 3963Periodo de transiciónResoluciones de características mínimas
Propósitos de los nuevos exámenesLos nuevos exámenes de ES: SABER PRO
MódulosCompetencias GenéricasCompetencias Comunes a Grupos de ProgramasProducción de resultados: Grupos de Referencia
Transición ECAES – SABER PROCómo se construyeAvance
Evaluación Noviembre 2011Combinaciones de módulos
Aplicación de noviembre 2011
Competencias Genéricas
•Lectura Crítica
•Razonamiento Cuantitativo
• Inglés
•Escritura
Competencias Genéricas
•Lectura Crítica
•Razonamiento Cuantitativo
• Inglés
•Escritura
Competencias Específicas
• Cada programa establece, según su grupo de
referencia, en cuál de las 50 combinaciones de módulos de competencias comunes
son evaluados sus estudiantes.
Competencias Específicas
• Cada programa establece, según su grupo de
referencia, en cuál de las 50 combinaciones de módulos de competencias comunes
son evaluados sus estudiantes.
Mañana Tarde
Módulos para el examen SABER PRO de Noviembre de 2011
Se ha logrado consolidar 20 módulos de competencias específicas comunes a grupos de programas. No se pretende que todos los programas de una misma área tomen los mismos módulos.
La oferta de exámenes para noviembre se estructuró en 50 combinaciones de módulos.
Se han definido diferentes combinaciones de módulos para cada grupo de referencia.
Cada programa seleccionará aquella que sea más afín con su perfil de formación, entre las que se ofrezcan para su grupo de referencia.
Competencias Específicas Comunes
MÓDULOS1 Administración y gestión de la salud2 Comunicación Científica
3Desarrollo e implementación de estrategias comerciales y logísticas
4 Diseño de ingeniería
5Ensamblaje, mantenimiento y operación de maquinaria y equipos
6 Enseñar7 Ética y bioética8 Evaluar9 Formar
10 Formulación de proyectos de Ingeniería11 Gestión de proyectos12 Indagación 13 Indagación y modelación14 Investigación en Sociales y Humanidades15 Módulos específicos de Derecho16 Producción agrícola17 Producción pecuaria
18Producción sostenible y manejo de sistemas de producción agropecuario
19 Salud pública
20 Salud y Bienestar Animal
Muchas Gracias!
Resultados de noviembre 2011
Se entregarán resultados por módulo.No habrá un puntaje total del examen.Se reportarán Quintiles de puntaje en lugar de niveles de desempeño. Los resultados institucionales no serán públicos, se entregarán individualmente a cada universidad.Para permitir la investigación con resultados, estos se publicarán sin identificar a las instituciones.
RESULTADOS INDIVIDUALES – por móduloPuntaje Quintil dentro del grupo de referenciaPromedio de puntajes en el grupo de referenciaDesviación estándar de puntajes del grupo de referencia
RESULTADOS INSTITUCIONALES – por móduloResultados individuales (de sus estudiantes)Distribución por quintiles dentro del grupo de referencia (NO PÚBLICO)Promedios de puntajes en relación con los promedios y desviaciones del grupo de referencia y el total nacional (NO PÚBLICO)