1 & ¿ 8 0 experiencia del sistema de evaluación de los

41

Ponencias Feria y Congreso 2015 - ÁVACO

Experiencia del sistema de evaluación de los aprendizajes (SIEA) en el curso de Introducción a la Ingeniería 1

Darío Esteban Recalde Morillo, Carlos Hernán Aponte Coronado.6

Resumen

La Vicerrectoría Académica de la Universidad Autónoma de Occidente estableció el Sistema de Evaluación de los Aprendizajes (SIEA) como estrategia clave del proceso de enseñanza-aprendizaje de los estudiantes. La Facultad de Ingeniería participó de la experiencia con la asignatura de Introducción a la Ingeniería 1, curso de fundamentación básica en la formación de primer año. El desarrollo del SIEA cumplió con las fases de conceptualización, diseño, implementación y documentación con referentes nacionales e internacionales, mostrando grandes potencialidades para toda la comunidad académica, en especial, para un mejor desempeño de las competencias de los estudiantes. Las pruebas tomaron como referencia los dominios cognitivos del Marco de Aprendizaje Tuning-AHELO y los dominios de contenido del curso, a través de una matriz de especificaciones con 60 ítems, preguntas de selección múltiple de única respuesta, que se analizaron utilizando el modelo de Rasch de la teoría de respuesta al ítem con un parámetro (dificultad para los ítems y habilidad para los evaluados) y el software Winsteps. La finalidad del SIEA es el mejoramiento de las prácticas de clase y el ajuste curricular de los programas de curso a través de herramientas estadísticas válidas y el know-how de los docentes y directivos de la universidad.

Palabras Clave: evaluación, Ingeniería, ítem, competencias.

Estructura de la prueba de evaluación

La Facultad de Ingeniería participó en el Sistema Institucional de Evaluación de los Aprendizajes, SIEA, con la evaluación de la asignatura de Introducción a la Ingeniería 1 durante 2014. Se realizó una prueba piloto inicial en el período 2014-01 y luego se ajustó y se aplicó en mayor y mejor escala en 2014-03.

Las pruebas de evaluación de Introducción a la Ingeniería siguieron los lineamientos de un consultor externo, el Dr. Daniel Bogoya, quien acompañó el proceso de preparación de los temas de evaluación por competencias y de capacitación de los docentes en temas relacionados con la fundamentación de la prueba, el diseño del instrumento de evaluación, la

6 Docentes del Centro de Innovación Educativa en Ingeniería CIEI, Universidad Autónoma de Occidente Cali (Colombia).

Ponencias Feria y Cong�eso 2015 - ÁVACO

42

aplicación de la prueba, el procesamiento estadístico de los datos y el análisis de los resultados en pro del mejoramiento de todo el proceso.

A continuación se presentan los elementos principales diseñados, desarrollados y analizados en esta experiencia de evaluación a través del uso de herramientas tecnológicas de aplicación y procesamientos de datos:

Fundamentos académicos

La prueba de Introducción a la Ingeniería 1 tomó como referentes conceptuales los documentos internos del curso, su programa actualizado, y las competencias genéricas y específi cas establecidas por la Facultad de Ingeniería, relacionadas con el perfi l de los ingenieros UAO, a saber:

Adicionalmente, se consideraron referentes académicos que dan estructura al curso y a las pruebas SIEA para Introducción a la Ingeniería son:

Con esta información, se establecieron los dominios de contenido de las pruebas de evaluación que se convirtieron en la columna temática de la tabla de especifi caciones.

43


Adicionalmente y considerando la misión de la Universidad, se defi nieron cuatro contextos donde el trabajo del profesional es pertinente al perfi l del programa de Ingeniería.

Los dominios cognitivos fueron tomados del Marco de Aprendizaje Tuning-AHELO [9]. El estudio Assessment of Higher Education Learning Outcomes (AHELO) cuenta con la aprobación de los ministerios de educación de los países miembros de la OCDE, y tiene como objetivo analizar la viabilidad de la evaluación externa de los resultados de aprendizaje, es decir, las competencias generales y específi cas que tienen que adquirir los estudiantes universitarios.


44

Tabla de especifi caciones

Con los referentes conceptuales anteriormente mencionados, se construyó la tabla de especifi caciones para la prueba de Introducción a la Ingeniería 1, considerando los dominios de contenido (fi las) y los dominios cognitivos (columnas). Los números que se muestran corresponden a la cantidad de ítems para cada una de las intersecciones, para un total de 60 ítems de la prueba, como se puede ver en la siguiente tabla:

Un ejemplo del tipo de ítems diseñados y aplicados en la prueba de evaluación del curso es:

Todas las personas tenemos capacidades y motivaciones para resolver un problema y encontrarle una solución ante la situación que se nos presente o que otro nos la dé a conocer. Y aún más como profesionales de la Ingeniería, pues casi inmediatamente nuestro cerebro genera ideas para encontrar posibles respuestas y lanzamos propuestas que pueden o no funcionar, basándonos en la educación y la experiencia para atender estas situaciones. Sin embargo, hay una característica que hace de la Ingeniería algo más que una fábrica de soluciones inmediatas. ¿Cuál es?

a) La revisión del diagnóstico del problema en el contexto de la situación propuesta.

b) La generación de la mayor cantidad de soluciones posibles ante la situación propuesta.

45


c) La mejor forma, el proceso, de analizar el problema al que se enfrenta.

d) El cumplimiento del objetivo, es decir, encontrar la solución al problema de la situación propuesta.

¿Cuál cree usted, lector o lectora, que es la respuesta correcta?

Estructura general

Esta tabla se vuelve el insumo clave para la construcción de la prueba de evaluación, distribuyéndolos de la manera más homogénea posible en cuatro bloques de 15 ítems cada uno. Los cuatro bloques fueron asignados según el orden un encadenamiento cruzado para la construcción de cuatro cuadernillos de 30 preguntas cada uno, según la siguiente estructura:

En síntesis, la organización de la prueba de evaluación tuvo la siguiente estructura:


46

Un perfi l general de la prueba de evaluación se presenta en la siguiente imagen:

Logística de aplicación

El Centro de Innovación TIC (CIT) dispuso la plataforma virtual SIG@ para la presentación de la prueba en línea de manera simultánea. Se reservaron las salas de sistemas de la Universidad y se prepararon los equipos de cómputo para el acceso único del estudiante a la prueba, bloqueando acceso a otras páginas de Internet. En la prueba estuvieron presentes monitores académicos y los técnicos de sistemas para facilitar el acceso a la prueba y solucionar los problemas que se pudieran presentar. Así mismo, estuvieron presentes funcionarios del CIT y los respectivos docentes de cada clase. Todo ello garantizaba el buen ambiente para la realización de la prueba de evaluación en los momentos planifi cados a lo largo de las semanas de clase, según el siguiente esquema:de clase, según el siguiente esquema:

La población de estudiantes para cada una de las pruebas se registra en la siguiente tabla:

47


Los cuadernillos de la prueba (C1, C2, C3 y C4) fueron asignados a los estudiantes según el orden alfabético de las listas de clase de cada grupo y para todos los grupos. Según este mismo orden, los estudiantes fueron ubicados en los computadores, separados uno del otro por un espacio mínimo para disminuir en gran medida la posibilidad de contacto entre los estudiantes. Se preparó el Manual de las Pruebas SIEA con todas las indicaciones para el uso de la plataforma y se dio a conocer a los estudiantes por todos los canales de comunicación de la Universidad, donde se precisaba los datos básicos para la presentación, como en esta imagen lo describe.

Valor académico

La ponderación de la prueba de evaluación tuvo un valor del 30% de la nota fi nal del curso, distribuida en las dos pruebas realizadas. Los otros elementos de evaluación se presentan en la siguiente gráfi ca:


48

La distribución de la prueba desde el punto de vista de participación y organización de las evaluaciones del curso se sintetiza en la siguiente fi gura:

Resultados obtenidos

Los resultados de las pruebas de evaluación fueron obtenidos a través del procesamiento estadístico de los datos con el software Winstep, administrado totalmente por el consultor externo, el Dr. Daniel Bogoya. El experto analizó la matriz de información de las pruebas para validar la consistencia de los datos de la habilidad del estudiante y el nivel de difi cultad de los ítems. Un reporte gráfi co de este análisis se presenta en la siguiente imagen:

49

Ponencias Feria y Cong�eso 2015 - ÁVACOCon los resultados de las pruebas de los estudiantes, se puede visualizar la distribución

y validez de los ítems de acuerdo a la estructura de la tabla de especifi caciones realizada:

Con los resultados de las pruebas de los estudiantes, organizados por programa académico y por grupo de clase, se presenta la siguiente información:


50

Las pruebas de Ingeniería permitieron identifi car las siguientes variables estadísticas

Posibles cursos de acción

Con toda esta información de las pruebas de evaluación del curso, se pudo caracterizar la población estudiantil de todo el curso de ese semestre a partir de un mismo instrumento estadísticamente válido. Con estos resultados se presentan las posibles decisiones a tomar con relación al proceso de enseñanza-aprendizaje en el curso y en todos los demás donde se pueda replicar la experiencia, a saber:

• Revisión y ajuste de los programas académicos de los cursos a la luz de criterios unifi cados de evaluación conjunta.

• Creación de material de apoyo para docentes y estudiantes tanto de estudio en los temas de clase como en la preparación de las pruebas.

• Mejor composición porcentual de notas para una evaluación formativa y otra evaluación de aprobación del curso.

• Preparación de seminarios con docentes sobre los procesos pedagógicos y evaluativos en Ingeniería, donde se discutan fi nes y medios acordes a las necesidades de educación actuales.

51

Ponencias Feria y Congreso 2015 - ÁVACO• Acciones con los estudiantes a partir de los resultados, reflejados en talleres de

refuerzo en clase, monitorías especializadas en contenidos y procesos cognitivos claves en Ingeniería y las posibilidades de autoevaluación en una plataforma virtual.

Adicional a todo esto, el SIEA busca un objetivo aún mayor dirigido a los estudiantes: propiciar en ellos el deber que han asumido al estar en una institución de educación: estudiar.

Referencias bibliográficas

[1] Agredo, O. Aponte, C. Arce, S. Recalde, D. Vega, C. (2013). Programa del curso Introducción a la Ingeniería 1 para el período académico 2014-03. Cali, Colombia: Universidad Autónoma de Occidente.

[2] Barkley, E., Cross, K. & Howell, C. (2007). Técnicas de Aprendizaje Colaborativo. Madrid: Morata.

[3] Worldwide CDIO Initiative (2004). Página principal. Recuperado el día 30 de octubre de 2015 de http://www.cdio.org/.

[4] Grech Mayor, Pablo (2013). Introducción a la Ingeniería. Un enfoque a través del diseño. Segunda edición. Pearson. Colombia.

[5] Krick, Edward V. (1978) Introducción a la Ingeniería y al diseño en la ingeniería. Segunda edición. Limusa. México D.F.

[6] Romero, Omar y otros. (2006). Introducción a la Ingeniería, un enfoque industrial. Primera edición. Thomson, México D.F.

[7] Arboleda Vélez, Germán (2003). Proyectos: Formulación, Evaluación y Control. Quinta Edición. AC Editores. Colombia.

[8] Fontaine, Ernesto R. (2008). Evaluación Social de Proyectos. Décimo tercera edición. Pearson. México D.F., 2008.

[9] OECD and Tuning Association (2009). A Tuning-AHELO Conceptual Framework Of Expected/Desired Learning Outcomes In Engineering. Recuperado el día 30 de octubre de 2015 de www.oecd.org/edu/ahelo

1 & ¿ 8 0 experiencia del sistema de evaluación de los

Documents