programa de desarrollo de capacidades para erce-2019...en el registro de datos y en el proceso de...

Programa de Desarrollo de Capacidades para

ERCE-2019

Taller de Levantamiento de Datos, Procedimientos y Corrección de Preguntas

Abiertas para la Aplicación Definitiva ERCE 2019

Junio, 2019

Uno de los objetivos principales de un proyecto como ERCE es producir información válida y confiable que

permita evaluar y comparar el desempeño de los estudiantes en los países participantes, mientras se

mantienen al mínimo las molestias para las escuelas, maestros y estudiantes.

Esta instancia de capacitación se centrará en los aspectos prácticos propios de la implementación de un

ejercicio de evaluación. Se han organizado talleres en simultáneo, en los que específicamente se tratarán

temas relacionados con la logística para la recolección de datos y se abordarán temas como: recursos

necesarios para el levantamiento de datos, procedimientos y tareas que siguen a la recopilación de datos,

uso del software y documentación del proceso. Además, se contempla una capacitación orientada para

que los especialistas de área conozcan los criterios y procedimientos ligados a la corrección de preguntas

abiertas del estudio ERCE, en las áreas de Ciencias, Matemáticas y Escritura.

En este documento se presenta el programa del taller (A) de levantamiento de datos y el programa del

taller (B) de Codificación de preguntas abiertas y procesamiento de datos.

Taller A: Levantamiento de datos y uso de software Objetivo El objetivo de esta instancia de capacitación será que los participantes se conozcan las tareas prácticas

ligadas a la ejecución de un programa de evaluación a gran escala.

Descripción El taller está organizado en dos componentes de aprendizaje: a) levantamiento de datos y procedimientos

y b) uso del software para el procesamiento y captura de datos. Durante la primera jornada y media de

trabajo, se trabajará en cuatro partes principales: la primera ofrece una visión general de las tareas

relacionadas con cómo se organizan las actividades esenciales de la etapa de registro de datos en una

evaluación a gran escala. La segunda se centra en la ejecución de estas actividades. La tercera presenta el

equipo humano y recursos que se necesitan para planear y ejecutar estas actividades. Finalmente, la cuarta

ofrece una vista panorámica sobre las tareas que siguen a la recopilación de los datos.

2

La segunda mitad de la capacitación se centrará en los procedimientos que tienen que ver con la captura y

verificación de datos. Los temas específicos estarán relacionados con el uso de un software especializado

que facilitará y unificará las labores relacionadas con este proceso, tales como: desarrollo y uso de libros

de códigos, adaptaciones nacionales a los instrumentos / libro de códigos, captura de los datos utilizando

el software especializado, resolución de inconsistencias, procedimientos de control de calidad

almacenamiento y envío de datos y documentación del proceso.

Esta segunda parte de la capacitación, se compone de una combinación de sesiones teóricas y prácticas.

La jornada iniciará con una bienvenida e introducción a los materiales y procedimientos. Posteriormente,

se hará una introducción al muestreo dentro de las escuelas y al software a utilizarse (WinW3S). Esta etapa

de la capacitación incluirá además varias sesiones de práctica y la comparación de los resultados en tiempo

real. El segundo día girará alrededor de dos temas: a) otros aspectos y prácticas sobre el WinW3S y la

introducción breve al software conocido como Data Management Expert (DME).

Para los últimos tres bloques del tercer día, se reforzará el trabajo dividiendo al grupo entre aquellos países

que participan en el Proyecto Rosetta Stone. El objetivo de esto, consiste en repasar los casos de aplicación

exclusiva del proyecto, pero también las diferencias con aquellos que no lo implementarán, profundizado

el proceso de levantamiento y digitación.

Lunes, 3 de junio de 2019 - Levantamiento de datos y procedimientos

Hora Tema Descripción

7:30 – 8:00 Registro de los participantes del taller

8:00 – 8:20

Gina Garcés, Directora de Evaluación, Ministerio de Educación Panamá

Inauguración

8:20 – 8:30

Kyungsun Kim, Unicef Panamá

Palabras de Bienvenida

8:30 – 8:50

Introducción: Principales hitos y procesos del ERCE 2019 Presentado por: Francisco Gatica, LLECE.

Presentación de la planificación operativa del ERCE 2019 Presentación general de las principales etapas del proceso, actividades previas a la aplicación, actividades durante la aplicación, actividades posteriores y plazos de cada una de ellas.

08:50 – 09:40

Instrumentos que componen el ERCE y el proceso seguido para su construcción. Presentado por: Carlos Cayumán, LLECE.

Presentación de los instrumentos definitivos y del procedimiento de construcción de ellos.

09:40 – 10:20

Estructura operativa regional y nacional: funciones específicas asociadas a los equipos. Presentado por: Francisco Gatica, LLECE.

Estructura de los equipos que trabajarán en el registro de datos y en el proceso de aplicación, así como el perfil de cada uno de los miembros del equipo. Descripción de las funciones específicas de cada miembro del equipo.

3

10:20 – 10:40 Descanso

10:40 – 12:00

Marco muestral y muestreo Presentado por: Paulina Valenzuela, LLECE.

Conformación marco muestral e implicancias para el proceso de administración de la muestra y captura de datos

12:00 – 13:30 Almuerzo

13:30 – 14:30

Contacto con los Centros Educativos. Presentado por: Francisco Gatica, LLECE.

Descripción y procedimientos utilizados para contactar a las escuelas, objetivo de las distintas visitas a los Centros Educativos y procedimientos para el remplazo.

14:30 – 15:00 Presentación País Presentado por: País.

País presenta su experiencia

15:00 – 15:20 Descanso

15:20 – 16:00

Convocatoria y selección de los aplicadores. Presentado por: Paulina Valenzuela, LLECE

Procesos para la convocatoria de los aplicadores y perfil específico de estos.

16:20 – 17:00 Preguntas y dudas primer día Presentado por: LLECE.

Martes, 4 de junio de 2019 - Levantamiento de datos y procedimientos


08:00 – 09:00

La aplicación: Manual, especificaciones de roles, funciones y actividades. Presentado por: Francisco Gatica, LLECE

Presentación del Manual de aplicación, tiempos, preparación del alumno, que contenga toda la información relacionada con el tiempo, la preparación del alumno, el empaque y la devolución de las pruebas y cuestionarios, así como las instrucciones para la administración.

09:00 – 10:00 Actividades después de la aplicación Presentado por: Carlos Cayumán, LLECE.

Insumos a entregar, organización y devolución del material, confidencialidad, digitación y codificación.

10:00 – 10:30 Descanso

10:30 – 12:00

WinW3S: Introducción Presentado por: Sebastian Meyer, IEA

Visión general e introducción.

4

12:00 – 13:00 Almuerzo

13:00 – 14:20

WinW3S: Parte 1 Presentado por: Sebastian Meyer, IEA

Introducción al muestreo intra-escuela; Introducción a WinW3S; crear e importar base de datos; crear el formulario para el listado de aulas.

14:20 – 15:00 WinW3S: Presentación experiencia país

15:00 – 15:20 Descanso

15:20 – 16:45


Digitar información de la escuela; muestrear aulas; digitar información del maestro; imprimir formulario para el vínculo maestro-estudiante.

16:45 – 17:00 Cierre: preguntas y respuestas.

Miércoles, 5 de junio de 2019 - software para el procesamiento y captura de datos


08:00 – 10:00


Digitar información del estudiante y del maestro; realizar rotación de cuadernillos; realizar el vínculo entre estudiantes y maestros; imprimir los formularios y etiquetas de seguimiento.

10:00 – 10:20 Descanso

10:20 – 11:00


Registrar información de la participación de estudiantes; asignar formas de reserva; revisar el status en WinW3S; exportar la base de datos de WinW3S.

11:00 – 11:05 División del taller proyecto Rosetta Stone1

11:05 – 12:00

Ingreso de datos: Introducción Presentado por: LLECE.

Conceptos generales del ingreso de datos; uso de software; adaptaciones nacionales.

12:00 – 13:00 Almuerzo

13:00 – 14:30

DME: Introducción y Adaptaciones nacionales del Codebook. Presentado por: LLECE.

Introducción; adaptaciones nacionales; DME: estructura del libro de códigos y adaptación de códigos nacionales

1 Tres países del LLECE implementarán el proyecto Rosetta Stone durante la aplicación del ERCE 2019. Para ello, se contará con una sesión especial en donde se revisarán algunas variantes en el uso de softwares.

5

14:30 – 16:00

Descripción general de entrada de datos Presentado por: LLECE.

Entrada de datos; recomendaciones generales.

16:00 – 17:00 Cierre del taller: entrega de certificados

11:00 – 11:05 Trabajo en Proyecto Rosetta Stone

11:05 – 12:00

Las actividades relativas al proyecto 'Piedra Rosetta' - perspectiva general Presentado por: Sebastian Meyer, IEA

Descripción del proceso; calendario; recursos

12:00 – 13:00 Almuerzo

13:00 – 14:30

La producción de los cuadernillos 'Piedra Rosetta' Presentado por: Sebastian Meyer, IEA

Crear la versión nacional de la versión de base de los cuadernillos; las formas de adaptaciones nacionale (FAN); verificación de la traducción; verificación del diseño de los cuardernillos

14:30 – 16:00

Preparación y administrción de la prueba Presentado por: Sebastian Meyer, IEA

La guía de aplicación de los cuadernillos 'Piedra Rosetta'; informaciones importantes alrededor la utilización de WinW3S y DME; control de calidad.

16:00 - 17:00

Cierre del taller: entrega de certificados

17:00 – 19:30 Coordinación temas adicionales proyecto Rosetta Stone

Resultados de aprendizaje esperados Al concluir la primera y segunda jornada de capacitación se espera que los participantes:

- Comprendan las tareas relacionadas con la organización previa a la recolección de datos.

- Comprendan las tareas relacionadas con la ejecución de este plan. Específicamente los contenidos

del Manual para la administración de la evaluación.

- Comprendan cuáles son los recursos humanos y materiales necesarios para esta fase del estudio

6

- Comprendan las tareas relacionadas con los procedimientos de control de calidad a ser

implementados en ERCE.

- Comprendan las tareas relacionadas con la captura y procesamiento de datos.

- Sean capaces de utilizar el software WinW3S y tengan nociones del uso del software DME para las

actividades relacionadas con esta fase del proyecto

Perfil de los participantes Se sugiere que los participantes en esta instancia de capacitación:

- Cuenten con conocimientos sólidos de la estructura de su sistema educativo y de la organización

y rol de los diferentes actores.

- Cuenten con conocimientos y/o experiencia en la recolección de datos y formen parte del equipo

que se encargará de los procedimientos de recolección de datos.

- Cuenten con conocimientos básicos del diseño muestral de ERCE.

- Cuenten con conocimientos y habilidades básicas en el manejo de computadoras.

- Cuentes con conocimientos e información que les permitan elaborar los planes y presupuestos

descritos anteriormente.

Requerimientos de Software y equipo de cómputo

El WinW3S funciona en computadores compatibles con IBM que tienen un disco duro de al menos 40

megabytes de espacio libre para los archivos de programa y, dependiendo del tamaño de la muestra, de

hasta 20 megabytes para el archivo Access que se debe cargar.

El WinW3S se ejecuta bajo los siguientes sistemas operativos WindowsTM:

Windows Vista ™;

Windows 7TM (32 bits, 64 bits) o superior.

Por otra parte, es necesario tener instalado el TM de Microsoft NET Framework 3.5 (Service Pack 1) para

instalar WinW3S en su ordenador. Si va a crear formularios de la encuesta de seguimiento de la WinW3S,

MS Excel TM 97 o superior debe estar instalado en su ordenador.

Taller B Codificación de preguntas abiertas y procesamiento de datos El taller B está organizado en dos componentes de aprendizaje: a) presentación de pautas y rúbricas para

codificación de preguntas y b) aplicación de criterios acordados en evidencias de respuesta de estudiantes.

Durante las dos primeras jornadas se trabajará en la presentación de las preguntas abiertas de las pruebas

de Ciencias, Matemática y Escritura y, a la vez, en la comunicación de las pautas y rúbricas de corrección

de cada una de ellas. Durante la tercera y última jornada se entregarán los procedimientos para la

codificación y se llevarán a cabo actividades prácticas de corrección de preguntas abiertas.

El taller contempla un trabajo por disciplina: Ciencias, Matemáticas y Escritura, donde se compartirán

criterios propios de cada área disciplinaria para efectuar el proceso de corrección de preguntas abiertas.

Los módulos se componen de una combinación de sesiones teóricas y prácticas, de manera que los

asistentes puedan aplicar las pautas en evidencias reales de respuestas.

7

Lunes, 3 de junio de 2019 – Agenda compartida Taller A y B


7:30 – 8:00 Registro de los participantes del taller

8:00 – 8:10

Gina Garcés, Directora de Evaluación, Ministerio de Educación Panamá

Inauguración

8:10 – 8:30

Kyungsun Kim, Unicef Panamá

Palabras de Bienvenida

8:30 - 8:50

Introducción: Principales hitos y

procesos del ERCE 2019

Presentado por: Francisco Gatica,

LLECE.

9:00– 10:00

Presentación del Manual de codificación, códigos y aspectos generales de la codificación.

Presentación del Manual de codificación, códigos y aspectos generales de la codificación de la prueba definitiva de Ciencias.

Presentación del Manual de codificación códigos y aspectos generales de la codificación.

Presentación del Manual de codificación, códigos y aspectos generales de la codificación de la prueba definitiva de Matemática.

Presentación del Manual de codificación, códigos y aspectos generales de codificación.

Presentación del Manual de codificación, códigos y aspectos generales de la codificación de la prueba definitiva de Escritura.

10:20 – 10:40 Descanso

10:40 – 12:00

Presentación de ítems y su pauta de corrección (1ª parte).

Presentación de los ítems y pautas de corrección de Ciencias.

Presentación de ítems de 3° y su pauta de corrección (1ª parte).

Presentación de los ítems y pautas de corrección de Matemática.

Presentación de rúbrica de 3° grado

Presentación de las rúbricas con las cuales se corregirán las preguntas de 3° de ERCE Escritura.

8

12:00 – 13:30 Almuerzo

13:30 – 15:00

Presentación de ítems y su pauta de corrección (2ª parte)


Presentación de ítems de 3° y su pauta de corrección (2ª parte). Ejercicio práctico.


Ejercicio práctico con rúbrica de 3° (1ª parte)

Ejercicio práctico utilizando la rúbrica de Escritura en los ítems de la prueba de 3°.

15:00 – 15:20 Descanso

15:20 – 17:00

Presentación de ítems y su pauta de corrección (3ª parte)


Presentación de ítems de 3º y su pauta de corrección (3ª parte). Ejercicio práctico.


Ejercicio práctico con rúbrica de 3º (2ª parte)


Martes, 4 de junio de 2019 – Codificación de preguntas abiertas


08:00 – 10:00

Ejercicio práctico de corrección (1ª parte).

Ejercicio práctico de codificación con evidencia. Presentación de los ítems y pautas de corrección de Ciencias.

Presentación de ítems de 6° y su pauta de corrección (1ª parte)

Presentación de los ítems de 6° y pautas de corrección de Matemática.

Presentación de rúbrica de 6° (1ra parte)

Presentación de las rúbricas con las cuales se corregirán las preguntas de 6° de ERCE Escritura.

10:00 – 10:30 Descanso

10:30 – 12:00 Ejercicio práctico de corrección (2ª parte).

Ejercicio práctico de codificación con evidencia. Ciencias.

9

Presentación de ítems de 6º y su pauta de corrección (2ª parte)




12:00 – 13:00 Almuerzo

13:30 – 15:00

Ejercicio práctico corrección (3ª parte) Ejercicios de codificación con evidencia. Ciencias .

Presentación de ítems de 6º y su pauta de corrección (3ª parte) y ejercicio práctico.




15:00 – 15:20 Descanso

15:20 – 17:00

Ejercicio práctico de corrección (4ª parte).

Ejercicio práctico de codificación con evidencia. Ciencias.

Presentación de ítems de 6º y su pauta de corrección (4ª parte) y ejercicio práctico.

Presentación de los ítems 6° y pautas de corrección de Matemática.



Miércoles, 5 de junio de 2019 – Codificación de preguntas abiertas


08:00 – 10:00

Presentación de procedimientos de corrección, monitoreo de consistencia y calibración

Presentación de los procedimientos de corrección, monitoreo y consistencia de las preguntas abiertas de Ciencias.

Presentación de procedimientos de corrección, monitoreo de consistencia y calibración

Presentación de los procedimientos de corrección, monitoreo y consistencia de las preguntas abiertas de Matemática.

Presentación de procedimientos de corrección, monitoreo de consistencia y calibración.

Presentación de los procedimientos de corrección, monitoreo y consistencia de las preguntas de Escritura.

10:00 – 10:20 Descanso

10:20 – 12:00 Actividad práctica de corrección. Puesta en común y discusión de dudas.

Actividad práctica de corrección con evidencias de las preguntas abiertas de Matemática.

10

Actividad práctica de corrección. Puesta en común y discusión de dudas.

Actividad práctica de corrección con evidencias de las preguntas de Escritura.

12:00 – 13:00 Almuerzo

13:00 – 16:00 Codificación preguntas abiertas proyecto Rosetta Stone

16:00 – 17:00 Entrega de certificados

17:00 – 19:30 Coordinación temas adicionales proyecto Rosetta Stone

Resultados de aprendizaje esperados Al concluir la jornada de capacitación se espera que los participantes:

- Comprendan las pautas y rúbricas utilizadas para la corrección de las preguntas abiertas del

estudio piloto ERCE.

- Comprendan los procedimientos relacionados con la corrección de preguntas abiertas.

- Apliquen los criterios de cada pauta en la corrección de respuestas de estudiantes que rindieron el estudio piloto ERCE.

Perfil de los participantes Se sugiere que los participantes en esta instancia de capacitación:

- Sean especialistas en alguna de las áreas disciplinarias que contempla la prueba ERCE: Escritura,

Ciencias y Matemática.

- Cuenten con conocimientos sólidos de la estructura de su sistema educativo.

- Cuenten con conocimientos en el área de currículo o evaluación.

programa de desarrollo de capacidades para erce-2019...en el registro de datos y en el proceso de...

Documents