Para el INEE el propósito fundamental de la evaluación del aprendizaje es proporcionar un conocimiento general del rendimiento académico de los estudiantes a niveles estatal y nacional, así como de los factores más importantes que influyen en éste.A fin de lograr este objetivo, el INEE planteó la necesidad de contar con instrumentos teóricos y técnicamente sólidos; idea que se consolidó con el desarrollo de una nueva generación de pruebas nacionales –denominadas Exámenes de la Calidad y el Logro Educativo (Excale)-, mismas que se utilizaron por primera ocasión en junio de 2005.

¿Qué son los Excale?Son pruebas de aprendizaje de gran escala que miden el logro escolar de los estudiantes de educación básica, se consideran que son: criteriales, alineados al currículo y son matriciales, se aplican cada 4 años a 3o. de preescolar, 3o. y 6o. de primaria y a 3o. de secundaria .Los

Estas pruebas evalúan conocimientos, habilidades sociales, contextos económicos y sociales, en los que se encuentran relacionados los estudiantes mexicanos

Los principales propósitos son; conocer que saben los estudiantes mexicanos durante la educación básica, reconocer las fortalezas y debilidades del Sistema Educativo Nacional, comparar logros por modalidad, entidad y sexo, analizar cambios en el tiempo e informar a la sociedad sobre el logro académico de los alumnos.

porque se diseñan para evaluar el dominio que tienen los estudiantes de una disciplina en particular. Su interés central es conocer el nivel de logro que alcanzan los estudiantes como resultado de su escolarización formal. Cada contenido temático se evalúa a profundidad, procurando incluir todos los conocimientos y habilidades de importancia para la disciplina y grado escolar.

¿Porqué son Criteriales?

¿Porqué Alineados al currículo?

porque su propósito es evaluar los aprendizajes pretendidos por los planes y programas de estudio nacionales. El hecho de contar en México con un currículo nacional para la educación básica, libros de textos gratuitos y una formación magisterial bastante uniforme, facilita identificar lo que aprenden los estudiantes en relación con lo que se espera de ellos.

Puesto que los Excale pretenden evaluar todos los contenidos curriculares importantes, tienen un diseño matricial en el cual los reactivos que conforman una prueba se agrupan en bloques para ser

distribuidos entre los alumnos; no todos contestan las mismas preguntas, pero con las repuestas de todos se obtienen resultados del examen en su conjunto. En este tipo de pruebas, la calificación individual del estudiante no es tan importante como los resultados agregados a nivel de entidad federativa y modalidad educativa, dado que lo que se busca es evaluar al sistema educativo en su conjunto.

¿Porqué Matricial?

Los resultados de Excale deben permitir:a) construir una visión general de lo que los estudiantes aprenden como

resultado de su escolarización formal.

b) Conocer los puntos fuertes y débiles del currículo nacional, atendiendo variables como grado y asignatura, modalidad educativa, género y estrato social.

c) Establecer comparaciones del rendimiento escolar, así como de las tendencias de aprendizaje a lo largo del tiempo entre diversos grupos de alumnos y áreas temáticas; y

d) mejorar la evaluación a gran escala de las disciplinas evaluadas.

Las asignaturas propiamente instrumentales, tales como Matemáticas y Español, además de aquellas que cubren grandes áreas curriculares relacionadas con Ciencias Naturales y Ciencias Sociales, realizando en cada caso la selección de contenidos conforme el currículo nacional y el grado escolar a evaluar.

Niveles, grados y asignaturas que evalúan los Excale

NIVEL GRADO ASIGNATURAS

Preescolar 3° Lenguaje y comunicación

Pensamiento matemático

Primaria 3° y 6°

Español

Matemáticas

Ciencias Naturales

Ciencias Sociales

Secundaria 3°

Español

Matemáticas

Ciencias Naturales

Ciencias Sociales

Niveles, grados y asignaturas que evalúan los Excale

Se aplican a muestras representativas de estudiantes de escuelas públicas y privadas, de educación básica de todo el país. El número de estudiantes varía de acuerdo con el estado, el grado a evaluar y la modalidad educativa de que se trate. En 2005 se aplicaron más de 47 mil pruebas a estudiantes de sexto de primaria en 2 mil 770 escuelas y a 52 mil 251 alumnos de tercero de secundaria en 2 mil 397 escuelas. En 2006, la prueba se aplicó a casi 55 mil alumnos de tercero de primaria en un poco mas 3 mil escuelas mientras que en 2007 se aplicaron a más de 10 mil pruebas a estudiantes de tercer año de preescolar en aproximadamente mil 100 escuelas y a alrededor de 13 mil estudiantes de sexto de primaria en más de 700 planteles educativos. En 2008, la evaluación de tercer grado de secundaria abarcó a más de 100 mil estudiantes de aproximadamente 4 mil escuelas. Aunque el porcentaje de estudiantes evaluados en cada grado es pequeño, las estimaciones que hace el INEE son bastante precisas y confiables. Cada escuela tiene la misma

¿A quién se aplican los Excale?

probabilidad de ser seleccionada en la muestra; asimismo, al interior de cada escuela y grado escolar, todos los estudiantes tienen la misma probabilidad de ser seleccionados para responder la prueba.Las evaluaciones que realiza el INEE no son voluntarias: todas las escuelas y alumnos del país tienen la obligación de participar en las evaluaciones de gran escala que se r realizan año con año..

¿A quién se aplican los Excale?

Para el INEE los resultados de la evaluación del aprendizaje tienen sentido en la medida que impacten positivamente en los diferentes ámbitos o esferas educativas, entre otras: 1) las políticas educativas nacionales y estatales; 2) el currículo nacional, los programas de estudio y los libros de texto; 3) las prácticas pedagógicas; 4) la administración y gestión escolares; 5) la formación y actualización docente; y 6) la opinión de especialistas y de la sociedad en general.

Importancia de la evaluación

Para lograr dicho impacto, el INEE ha definido que la evaluación que realice debe partir de las siguientes premisas:a) Ser considerada como una evaluación externa del Sistema Educativo Nacional.b) Ser de alta calidad y estar apegada a normas y prácticas reconocidas

internacionalmente.c) c) Proporcionar información válida y confiable con respecto a los

d) resultados de aprendizaje que logran los estudiantes en México. d) Asegurar el respeto por la equidad de género y de grupos étnicos. e) Ser realizada de manera clara y transparente, mediante la participación colegiada de docentes especialistas. f) Estar legitimada académica y socialmente. g) Proporcionar elementos que ayuden a mejorarL a calidad del sistema educativo del país.

¿Cómo se elaboran los Excale?

Cada prueba Excale se elabora con mucho tiempo de anticipación; su realización abarca diferentes etapas, en cada una de las cuales participa no sólo el personal técnico del INEE, sino grupos de profesionales, expertos en currículo, profesores en s servicio, autores de libros, entre otros, quienes conforman distintos comités. Las labores de estos comités abarcan diversas tareas: analizar el currículo y seleccionar los contenidos que se evaluarán; definir las características de los reactivos que conformarán la prueba; formular, revisar y pilotear las preguntas así como ensayar las condiciones reales de aplicación de los Excale.

El plan de evaluación de los Excale se basa en un programa cuatrianual; es decir, un mismo grado se evaluará cada cuatro años, tal como se muestra en la siguiente tabla.

¿Cada cuanto se aplican los Excale?

AÑOS ESCOLARES.

GRADOS 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

3° Preescolar L, P L, P L, P

3° Primaria

E, M

N, S

E, M

N, S

E, M

N, S

6° Primaria E, M E,M

E, M

N, S E,M

E, M

N, S E,M

3° Secundaria E, M

E, M

N, S E,M

E, M

N, S E,M

E, M

N, S

Nota: L = Excale-Lenguaje y Comunicación; P = Excale-Pensamiento Matemático; Excale-Español; M = Excale-Matemáticas; N = Excale-Ciencias Naturales; S = Excale-Ciencias Sociales. El sombreado indica muestras nacionales sin representatividad estatal.

Este plan ofrece la posibilidad de evaluar los aprendizajes de los estudiantes del Sistema Educativo Nacional tanto transversal como longitudinalmente ya que, por ejemplo, si en 2006 se evaluó a los alumnos de tercero de primaria, tres años más tarde, cuando teóricamente estén cursando sexto, serán sujetos de una nueva evaluación y tres años después, en 2012, participarán en la evaluación de tercero de secundaria. Es cierto que no necesariamente estarán siendo evaluados exactamente los mismos alumnos, sin embargo, hay que recordar que el objetivo de los Excale no es evaluar los aprendizajes logrados por cada alumno, sino tener una visión del Sistema Educativo en su conjunto. Las evaluaciones se realizan al final del año escolar (mayo o junio).

¿Cada cuanto se aplican los Excale?

¿Pueden los maestros y padres de familia conocer los resultados obtenidos por sus alumnos o hijos en los

Excale?Si bien no es posible conocer los resultados obtenidos en los Excale por algún estudiante en particular, el INEE publica los resultados obtenidos por todos los alumnos a nivel nacional, estatal y/o por modalidad educativa. La aplicación de los Excale permite cubrir diversos objetivos: a) proporcionar un conocimiento general del rendimiento académico de los estudiantes como resultado de su escolarización formal, con distintos grados de desagregación, entre los que se encuentran los estratos escolares de primaria (escuelas urbanas públicas, rurales públicas, cursos comunitarios, educación indígena, y escuelas privadas) y las modalidades educativas de secundaria (escuelas generales, técnicas, telesecundarias y escuelas privadas);

¿Pueden los maestros y padres de familia conocer los resultados obtenidos por sus alumnos o hijos en los

Excale?b) permitir comparaciones del rendimiento escolar entre diversas regiones geográficas, así como entre distintas modalidades educativas;c) conocer los puntos fuertes y débiles del aprendizaje de los estudiantes en distintos grados y áreas temáticas del currículum; d) conocer las tendencias a lo largo del tiempo del aprendizaje de las Matemáticas, el Español, las Ciencias Naturales y las Ciencias Sociales; e) analizar algunas variables de contexto que influyen de manera importante en el logro escolar; y, f) identificar el crecimiento o estancamiento de los aprendizajes en las disciplinas evaluadas.

¿Cómo se efectúa el análisis e interpretación de resultados de los Excale?

Esta fase se inicia con un análisis de los resultados con el fin de establecer los niveles de logro de los estudiantes; se realizan los primeros análisis estadísticos poniendo especial énfasis en el comportamiento psicométrico de las pruebas aplicadas. Los niveles de logro que han sido utilizados por el INEE son:

NIVELES DE LOGRO COMPETENCIAS ACADÉMICAS

Por debajo del básicoIndica carencias importantes en el dominio curricular de los conocimientos, habilidades y destrezas escolares, lo cual expresa una limitación para progresar satisfactoriamente en la materia.

BásicoIndica un dominio suficiente o elemental de conocimientos, habilidades y destrezas para poder progresar satisfactoriamente en la materia.

MedioIndica un dominio adecuado de conocimientos, habilidades y destrezas que indican un buen aprovechamiento de lo previsto en el currículo.

AvanzadoIndica un dominio óptimo de conocimientos, habilidades y destrezas que indican el aprovechamiento máximo de lo previsto en el currículo.

Estos niveles se definen de acuerdo con la asignatura y grado de que se trate. Finalmente, se realizan los informes sobre los resultados de aprendizaje de los estudiantes evaluados, considerando las variables de contexto y de oportunidades de aprendizaje aportadas en l los cuestionarios aplicados a alumnos, docentes y directores. Asimismo, es muy importante para el INEE conocer el logro de aprendizaje de las distintas poblaciones muestreadas (entidades federativas, estratos y modalidades educativas), así como los contenidos del currículo nacional que los estudiantes dominan.

¿Cómo se efectúa el análisis e interpretación de resultados de los Excale?

Los resultados de los Excale se dan a conocer a través de múltiples modalidades: mesas públicas; conferencias de prensa; libros; folletos, informes, etcétera, los cuales pueden ser consultados en el portal de Internet del INEE:

http://www.inee.edu.mx/

¿Cómo se difunden los resultados de Excale?

Comparativo entre las pruebas

Principales programas e instrumentos de evaluación que operan o han operado en el Sistema Educativo Nacional

Año Instrumentoo programa

Descripción

1984 SNI Programa para evaluar a docentes/investigadores y otorgarles apoyos Económicos

1989 Conaeva Comisión para evaluar a las IES. En los hechos ya no opera

1989 IDANIS Instrumento de evaluación al término de la educación primaria

1991 CIEES Comités de pares académicos que evalúan programas de licenciatura

1994 EXANI Instrumento para ayudar a tomar las decisiones de admisión a la educaciónmedia y superior

1994 EGEL Instrumento que proporciona información sobre los egresados de 34 carreras

1995 TIMSS Tercer estudio internacional de matemáticas y ciencias (IEA). Méxicoparticipó pero retiró los resultados del reporte final.

1995 TIMSS Tercer estudio internacional de matemáticas y ciencias (IEA). Méxicoparticipó pero retiró los resultados del reporte final

1997 LLECE Prueba ligada al currículo para tercero y sexto grados de educación básica. Desarrollada por UNESCO para los países latinoamericanos.México ha participado desde el principio

1998 Estándaresnacionales

Primer esfuerzo por evaluar la educación básica nacional. En su lugar opera ahora la prueba Excale

1998 PISA Prueba internacional para evaluar las competencias básicas para la vida y el trabajo de los jóvenes de 15 años

2000 Copaes Comisión para acreditar a los órganos certificadores de programas académicos

2003 Excale Instrumento desarrollado por el INEE y destinado a evaluar al sistema educativo nacional

2006 Enlace Instrumento que proporciona información a estudiantes, docentes y padres de familia acerca del nivel de cada alumno de educación básica

Con la información analizada se pretende dar respuesta a la siguientes preguntas: ¿Qué son estas pruebas?, ¿Qué evalúan?, ¿Qué miden?, ¿Cuáles son los propósitos?, ¿Para que sirven los resultados que arrojan? Por ejemplo: Con PISA no se pretende evaluar a los alumnos que responden la prueba sino a los sistemas educativos nacionales. Por lo tanto, la prueba PISA explora habilidades genéricas ya que no está asociada a ningún currículo nacional. En cambio Enlace es una prueba que proporciona un diagnóstico de cada estudiante de educación básica.

De los instrumentos anteriores analizaremos sólo a Excale, PISA, Enlace y

Exani

La prueba Exani ayuda a las instituciones a tomar las decisiones de admisión. El Exani es un caso de cobertura homogénea del dominio; es decir, todos los sustentantes deben responder a las mismas preguntas.Por su parte, las pruebas PISA y Excale son casos de cobertura amplia del dominio. Las pruebas Exani del Ceneval (instrumentos para ayudar al proceso de selección y admisión) se califican por norma. Las instituciones que solicitan estos instrumentos determinan el punto de corte, el cual generalmente está delimitado por los cupos en las propias instituciones.

Las pruebas Excale (INEE) utilizadas en la educación básica nacional están ligadas al currículo, ya que evalúan el nivel de cumplimiento de éste en cada uno de los grados explorados.

La prueba PISA, en cambio, suele reportar las proporciones de sujetos que caen en cada nivel de dominio, y es, por lo tanto, una calificación por criterio.

Las pruebas Enlace, que la SEP aplica año con año en todo el país, están dirigidas a los estudiantes de cada uno de los grados de primaria y secundaria y a quienes cursan el último grado de educación media superior.

Las pruebas Excale, que administra el INEE de acuerdo con su plan de largo plazo, están dirigidas a ciertos grados escolares, por ejemplo 3° de preescolar, 3° y 6° de primaria, y 3° de secundaria, con base en un plan de aplicaciones espaciadas (cada cuatro años) que den información periódica del comportamiento de algunos grados clave del sistema educativo nacional.

Los instrumentos Exani están dirigidos a todos los aspirantes a ingresar a la educación media y superior.Su aplicación se realiza anualmente.

La prueba Enlace se aplica a todos los estudiantes de ciertos grados, porque la idea es entregar a cada estudiante un reporte (medición) de su desempeño en las variables o dominios del instrumento.

En cambio, la prueba PISA se aplica sólo a una muestra de estudiantes de 15 años de edad, porque en sentido estricto no evalúa a las personas sino al sistema educativo nacional

Las pruebas Enlace y Exani se aplican a grupos muy grandes de sustentantes (millones) y sus resultados se entregan o difunden en tiempos muy cortos. Por esas condiciones de aplicación, la prueba objetiva (opción múltiple) es la adecuada.

Por otro lado, las pruebas PISA y Excale, que se aplican a grupos relativamente pequeños de sustentantes (muestras poblacionales), utilizan una combinación de reactivos de opción múltiple y de respuesta construida.

Por lo que respecta a los reactivos:

La prueba Enlace, que es fundamentalmente un instrumento de diagnóstico y de información para los estudiantes, padres de familia, maestros y escuelas, no requiere de niveles altos de control en la aplicación.

En cambio, el Exani, que apoya a las decisiones de admisión de las IES, requiere de un alto nivel de control para garantizar que los reportes de resultados correspondan estrictamente con las medidas de los sustentantes.

De acuerdo al control de aplicación

Enlace, Excale y PISA son evaluaciones de bajo impacto, ya que los resultados que arrojan no influyen en los sustentantes.

Exani, en cambio, es una evaluación de alto impacto en virtud de que sus resultados implican las decisiones de admisión a una institución educativa.

Impacto sobre los sustentantes

Excale tiene un programa de mediciones escaladas que se repiten cada cuatro años.

PISA mide cada tres años y el aspecto de énfasis cada nueve años. La prueba Enlace se administra cada año porque es un servicio de diagnóstico a los estudiantes que también requieren saber su progreso año con año.

L Los Exani se aplican cada que una institución organiza un proceso de admisión.

En lo que respecta a periodicidad

Rasgo Excale PISA

Propósito general Evaluar al sistema educativo

Evaluar al sistema educativo

Propósito específico Diagnóstico Diagnóstico

Dominio explorado Alineada al currículo Habilidades para la vida

Cobertura del dominio Amplio Amplio

Referencia para reportar Criterial Criterial

Tipo de población Estudiantes al final de la EMS

Sujetos de 15 años

Cobertura de la población Muestra Muestra

Tipo de reactivos Respuesta construida Respuesta construida

Control de la aplicación Alto Alto

Impacto Bajo Bajo

Periodicidad Cada cuatro años Cada tres años

Resumen comparativo de los instrumentos analizados

Rasgo Enlace ExaniPropósito general Evaluar sujetos Evaluar sujetos

Propósito específico Diagnóstico AdmisiónDominio explorado Competencias disciplinares Habilidades genéricas

Cobertura del dominio Restringido Restringido

Referencia para reportar Criterial Normativa

Tipo de población Primaria, secundaria y EMS Aspirantes

Cobertura de la población Censo De acuerdo con la demanda

Tipo de reactivos Opción múltiple Opción múltiple

Control de la aplicación Bajo Alto

Impacto Bajo Alto

Periodicidad AnualCada admisión a una IES

Consideramos que la aplicación de estos instrumentos deben de servir para la implementación de políticas educativas útiles para quienes nos interesa el campo de la evaluación, y tengamos opciones de comparación. En ese sentido, lo que se debería hacer en Enlace por ejemplo, es añadir variables explicativas, tales como las características socioeducativas de las familias de los alumnos, al igual que las características de los profesores.

A manera de conclusión

Muchas gracias por permitirnos compartir el

conocimiento