investigación e innovación en la enseñanza...

Investigación e innovación en la Enseñanza Superior

Nuevos contextos, nuevas ideas

Rosabel Roig-Vila (Ed.)

universidad

Rosabel Roig-Vila (Ed.)

Investigación e innovación en la Enseñanza Superior. Nuevos contextos, nuevas ideas

© De la edición: Rosabel Roig-Vila

© Del texto: Las autoras y autores

© De esta edición:

Ediciones OCTAEDRO, S.L. C/ Bailen, 5 – 08010 Barcelona Tel.: 93 246 40 02 – Fax: 93 231 18 68

www.octaedro.com – [email protected]

Investigación e innovación en la Enseñanza Superior. Nuevos contextos, nuevas ideasEdición:

Rosabel Roig-Vila

Comité científico internacionalProf. Dr. Julio Cabero Almenara, Universidad de SevillaProf. Dr. Antonio Cortijo Ocaña, University of California at Santa BarbaraProfa. Dra. Floriana Falcinelli, Università degli Studi di PeruggiaProfa. Dra. Carolina Flores Lueg, Universidad del Bío-BíoProfa. Dra. Chiara Maria Gemma, Università degli studi di Bari Aldo MoroProf. Manuel León Urrutia, University of SouthamptonProfa. Dra. Victoria I. Marín, Universidad de OldenburgoProf. Dr. Enric Mallorquí-Ruscalleda, Indiana University-Purdue University, Indianapolis Prof. Dr. Santiago Mengual Andres, Universitat de ValènciaProf. Dr. Fabrizio Manuel Sirignano, Università degli Studi Suor Orsola Benincasa di Napoli

Comite tecnico:Jordi M. Antolí Martínez, Universidad de AlicanteGladys Merma Molina, Universidad de Alicante

Revisión y maquetación: ICE de la Universidad de Alicante

Primera edición: octubre de 2019

ISBN: 978-84-17667-23-8

Producción: Ediciones Octaedro

Cualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra solo puede ser realizada con la autorización de sus titulares, salvo excepción prevista por la ley. Diríjase a CEDRO (Centro Español de Derechos Reprográficos, www.cedro.org) si necesita fotocopiar o escanear algún fragmento de esta obra.

NOTA EDITORIAL: Las opiniones y contenidos de los textos publicados en esta obra son de responsabilidad exclusiva de los autores.

41. Validación de una herramienta de videoanálisis para la evaluación de la Competencia Digital de futuros docentes: eficiencia, facilidad de uso y usabilidad percibidas

Usart, Mireia1; Palau, Ramon2

1Universitat Rovira i Virgili, [email protected]; 2Universitat Rovira i Virgili, [email protected]

RESUMEN

La evaluación de las competencias docentes es una tarea compleja y que ha provocado intensos de-bates en la comunidad educativa. Aunque empiezan a emerger herramientas de evaluación como las rúbricas, la observación y la categorización de la acción docente, pocos estudios miden su efectividad y usabilidad. Este estudio tiene como objetivo comparar el uso de una rúbrica en papel con un instru-mento de videoanálisis (MED1A), para evaluar la Competencia Digital Docente (CDD) de futuros docentes. Planteamos el objetivo de medir si la herramienta MED1A mejora respecto al metodo clási-co en papel, en terminos de tiempo, efectividad y percepción. La muestra de participantes ha sido de 13 expertos. Se midió el nivel de CDD de futuros docentes, según una rúbrica de 4 ítems y tres niveles de consecución. El primer día se usó la rúbrica en papel y el segundo MED1A. En ambos casos los participantes rellenaron el Technology Acceptance Model (TAM). Los resultados confirman una me-jora significativa para el uso de MED1A, en tiempo y efectividad. La muestra percibe la herramienta de videoanálisis como más fácil de usar. Este estudio es un primer paso para ayudar a profesores, investigadores e instituciones que necesiten evaluar de manera optimizada y eficiente la CDD de los futuros docentes, y ser un complemento a la evaluación mediante cuestionarios.

PALABRAS CLAVE: competencia digital docente, evaluación, rúbrica, videoanálisis, TIC.

1. INTRODUCCIÓNLa evaluación de las competencias docentes en general, y de la Competencia Digital Docente (CDD) en particular, es una tarea compleja y que ha provocado intensos debates dentro de la comunidad educativa. Las rúbricas son usadas de manera frecuente en esta evaluación. Sin embargo, diferentes estudios avisan de que el uso de rúbricas no mejora per se la fiabilidad de la evaluación, sobre todo si los evaluadores no están bien capacitados sobre cómo diseñarlas y emplearlas de manera efectiva (Lovorn & Rezaei, 2011). Por otra parte, las herramientas de observación, clasificación y análisis basadas en el uso de vídeo se han extendido las últimas décadas, aportando diferentes beneficios a los docentes en formación, en términos de autenticidad y reflexión (Major & Watson, 2018). En este estu-dio nos planteamos demostrar la eficacia y eficiencia de una herramienta de videoanálisis como parte de la evaluación de la CDD, y comparar si esta evaluación aporta mejoras respecto al procedimiento actual, llevado a cabo mediante una rúbrica en papel.

1.1. Competencia Digital Docente (CDD): evaluación y rúbricasSegún Hall, Atkins, y Fraser (2014) los maestros digitalmente competentes deben poder usar la tecno-logía para mejorar y transformar las prácticas en el aula, y para enriquecer su identidad y desarrollo profesional. El docente competente digital podrá pensar críticamente sobre por que, cómo y cuándo la tecnología complementa el aprendizaje y la enseñanza. Así mismo este maestro debe disponer

436 Investigación e innovación en la Enseñanza Superior. Nuevos contextos, nuevas ideas

mailto:[email protected]

mailto:[email protected]

de habilidades, actitudes y conocimientos que le permitan impulsar el aprendizaje verdadero en los alumnos en contextos tecnológicamente enriquecidos. En este sentido Lázaro, Usart y Gisbert (2019) consideran que los docentes deben de ser capaces de formar ciudadanos que puedan utilizar las Tec-nologías Digitales como algo natural en su vida cotidiana.

Se ha evolucionado desde un conjunto de estándares para la mejora de la efectividad del profeso-rado hasta modelos más actuales basados en la evaluación de las competencias docentes (Rivkin, Ha-nushek y Kain, 2005). Sin embargo, la evaluación de las competencias es un proceso complejo y que no debe basarse en la subjetividad de un evaluador. En concreto, la evaluación de futuros docentes como metodo para la mejora de los procesos de enseñanza-aprendizaje es un tema recurrentemente estudiado. En el caso concreto de la CDD, según Esteve (2015), actualmente existen tanto herramien-tas cerradas (listas de verificación, escalas, rúbricas, etc.) como registros abiertos, ambas pueden ser usadas por uno o varios evaluadores.

En el caso concreto de los futuros docentes, la dificultad está en cómo medir de manera válida las competencias que necesitarán en su futuro en el aula. La mayoría de las veces estas competencias no son directamente observables, sino que deben ser inferidas por el comportamiento específico. De Mi-guel (2007) señala que se requieren nuevos criterios e instrumentos para ser utilizados en los proce-dimientos de evaluación de competencias. Tanto la observación participante como la no participante, se utilizan en la evaluación de las habilidades docentes. Regan-Smith, Hirschmann y Lobst (2007) encontraron que las habilidades de los profesores de medicina mejoraron con el tiempo despues de que se proporcionaran comentarios y se produjeran observaciones repetidas. Además, con la imple-mentación de cámaras y dispositivos móviles en el aula, encontramos nuevas posibilidades que llevan a los investigadores al campo del videoanálisis (Aubusson, Schuck & Burden, 2009).

En concreto, la evaluación de la CDD se realiza actualmente de manera formativa, entendida como un proceso de guía, centrada en el alumno y que le debe ayudar en su capacidad de autorregulación (Carless, 2007). En este sentido, existen diferentes marcos nacionales e internacionales que definen y proponen la evaluación de la CDD. Lázaro y Gisbert (2015) elaboraron una rúbrica para la evaluación de la CDD en la que se estructura esta competencia en dimensiones e indicadores de evaluación con 4 niveles de desarrollo; este es el marco en el que centraremos este estudio debido a su trayectoria, validez y alineamiento con los documentos de la European Commission (Redecker & Punie, 2017, p. 7) y de la Generalitat de Catalunya (2018).

Aunque el uso de rúbricas existe en todos los niveles educativos y tiene grandes beneficios tanto para estudiantes como para docentes (Lovorn y Rezaei, 2011), como la mayor autoreflexión, la equi-dad en el proceso y el feedback detallado al estudiante (Beyreli & Ari, 2009); este sistema todavía está faltado de evidencias en cuanto a su fiabilidad. Hay además una relación directa entre la competencia y experiencia en el uso de las rúbricas, con la correcta evaluación mediante estas herramientas. Wil-son (2007) concluyó que muchos maestros poco entrenados usan rúbricas de manera compartimenta-da y sesgando sus evaluaciones.

1.2. Videoanálisis para la evaluación de competenciasSi al uso de las rúbricas le añadimos una herramienta tecnológica, nos encontramos con una solu-ción que merece ser estudiada: El videoanálisis para la evaluación de competencias en el aula. Los instrumentos actuales para evaluar la CDD son en su mayor parte los cuestionarios y rúbricas de autoevaluación tales como DigCompEdu (Redecker & Punie, 2017), con las limitaciones evidentes sobre la objetividad de estos instrumentos. En el ámbito de la evaluación, diferentes autores indican

437Resultados de investigación sobre la docencia en la Educación Superior

que es necesario disponer de instrumentos como COMDID-C (Lázaro, Usart & Gisbert, 2019) que evalúen de manera válida a los futuros docentes. Sin embargo, estos mismos autores indican que un proceso completo de evaluación de la CDD debe implementar diferentes tecnicas, entre ellas la observación de la práctica docente. Cabe destacar que, respecto a la observación del docente en el aula, los autores no han encontrado en la literatura ningún instrumento de videoanálisis usado para evaluar la CDD, todos los estudios en este campo se centran en el uso de grabaciones con cámaras digitales y su posterior visionado, o bien usan programas básicos que no permiten almacenar ni categorizar fracciones o clips de vídeo, como explican en detalle Usart y Gisbert (2018). Aun así, en las últimas decadas, en la formación de futuros docentes, las tecnicas de videoanálisis se han in-corporado como aspecto clave para la reflexión y evaluación de las habilidades docentes (Brouwer, 2011; Major & Watson, 2018). En comparación con la observación clásica, el videoanálisis brinda mayor acceso a los eventos en el aula (Rich y Hannafin, 2008), sin comprometer la autenticidad (Sherin, 2004). Estas herramientas se desarrollan más a medida que avanza la tecnología, y agregan dimensiones nuevas y beneficiosas al aprendizaje profesional de los docentes (Aubusson, Schuck, y Burden, 2009).

1.3. Objetivos e hipótesisDe acuerdo con lo establecido en este apartado, creemos que existe la necesidad de evaluar la CDD de los futuros docentes a partir de una rúbrica integrada en una herramienta de videoanálisis que per-mita a los investigadores y docentes universitarios evaluar de manera eficiente y útil. Para ello nos basaremos en la implementación de una versión adaptada de la rúbrica COMDID de Lárazo y Gisbert (2015) implementada en una herramienta de videoanálisis llamada MED1A (Gisbert & Usart, 2018), donde los ítems se convierten en indicadores que pueden ser observados y categorizados durante o tras la acción docente, bien sea esta en el aula o en un entorno de prácticas simulado, como el que presentamos. Por todo esto, el objetivo de esta investigación es demostrar la eficacia y eficiencia de la herramienta MED1A para la evaluación de la Competencia Digital Docente (CDD) a través de la comparación con el uso del metodo tradicional con una rúbrica en papel.

Para poder utilizar de manera correcta el videoanálisis es necesario evaluar esta herramienta en su contexto. Las posibles mejoras para docentes e investigadores deben tener en cuenta la rapidez en el proceso de evaluación, la efectividad o eficiencia de la herramienta, es decir, si el uso de esta nos aporta una evaluación más fiable. Finalmente, si el usuario final experimenta una mejora en la usabi-lidad y facilidad de uso de la nueva herramienta respecto al proceso tradicional y el uso de la rúbrica en papel. Para estudiar nuestras hipótesis usaremos el modelo de aceptación de la tecnología (TAM) propuesto por Davis, Bagozzi y Warshaw (1989).

Para conseguir el objetivo general de este estudio, mediremos cuantitativamente la efectividad y la percepción de los expertos mientras evalúan la CDD de futuros docentes mediante la implementación de una herramienta de videoanálisis, y en comparación con el procedimiento actual (mediante rúbrica en papel). Partimos de 3 hipótesis concretas:

Hipótesis 1. El uso de una herramienta MED1A mejora el tiempo de evaluación significativamente, comparado con el uso del papel.

Hipótesis 2. El uso de la herramienta MED1A mejora la efectividad (número de aciertos del eva-luador/tiempo evaluación) de la Muestra estudiada.

Hipótesis 3. Los evaluadores perciben la herramienta MED1A como más útil y con más facilidad de uso que el papel.


2. MÉTODO Las variables tiempo de evaluación, efectividad (definida como competencias evaluadas correctamente entre tiempo dedicado a evaluar), usabilidad y facilidad de uso percibidas son medidas en un grupo de expertos (ver sección 2.1.) en dos días diferentes y comparadas para las dos herramientas de eva-luación: la rúbrica en papel y la herramienta de videoanálisis. Para minimizar el efecto de aprendizaje previo, el estudio se diseñó en base a diferentes estudios (Vidal-Abarca, Sanjose & Solaz, 1993; He-derich-Martínez & Camargo-Uribe, 2014) que indican que el cambio de contexto de la prueba ayuda a minimizar este efecto. Además, mediante un estudio correlacional se confirma que no existe relación estadística entre las respuestas del día 1 y las del día 2 (r=0,122; p>0,05) con lo que afirmamos que los participantes no han memorizado las respuestas del primer día. Medimos tambien los biodatos de los participantes, en concreto el nivel de ingles, la experiencia previa en videoanálisis, docencia y entornos virtuales 3D, para así minimizar los posibles errores y asegurar la validez interna de este experimento.

2.1. Descripción del contexto y de los participantesLa muestra de participantes es de 13 expertos en evaluación de CDD de los estudios de pedagogía y educación de la Universitat Rovira i Virgili. En concreto 8 mujeres y 5 hombres con MED1A de edad M=38,33 y SD=11,72 años. De ellos, 6 profesores universitarios, 5 estudiantes de doctorado e investigadores y 2 tecnicos de soporte a la investigación con experiencia en docencia e investigación. Todos los expertos son postgraduados. 10 personas tienen conocimiento y experiencia sobre las ac-tividades de los estudiantes, sólo 3 no tienen experiencia en Entornos Virtuales 3D. La experiencia MED1A en docencia es de M=13,35 años con SD=10,95. Sólo 2 personas reportan experiencia previa en videoanálisis. Finalmente, indicar que debido a que la herramienta TAM es en ingles, y para ase-gurar la validez del procedimiento, se solicitó a los participantes el nivel de inglés. El 100% de los participantes tiene un nivel mínimo de B1, y todos los participantes han realizado investigación y/o docencia en este idioma.

2.2. Instrumentos2.2.1. Technology Acceptance Model (TAM)

El TAM (Davis, Bagozzi y Warshaw, 1989) es un modelo de aceptación tecnológica ampliamente usado y validado. Este modelo define qué factores influyen cuando los usuarios van a utilizar una tecnología nueva. Específicamente en su decisión de cómo y cuándo lo utilizaran basándose tanto en la utilidad percibida, entendido como el grado en que esa tecnología mejorará su rendimiento como en el grado en que le permitirá realizar una tarea con más facilidad. En este instrumento tipo test, los usuarios de una tecnología valoran 12 ítems en una escala Likert de 7 puntos (1:nada de acuerdo; 7:to-talmente de acuerdo). 6 ítems pertenecen a la dimensión de Usabilidad, como por ejemplo “Using the rubric would improve my job performance” a la que nos referiremos como PU y 6 ítems correspon-dientes a la escala de Facilidad de Uso percibida, a la que nos referiremos como PEOU (“I would find the rubric easy to use.”). Debido al tamaño limitado de la muestra y a la robustez del TAM en inglés, se ha decidido aplicarlo en este idioma debido a que todos los participantes tienen como mínimo un nivel de B1 en este idioma y lo utilizan a diario para sus investigaciones.

A partir de los resultados obtenidos se puede confirmar una buena adecuación muestral (KMO, nos indica la proporción de la varianza que tienen en común las variables analizadas, para nosotros presenta un valor de 0,763, χ2= 286.98 y 66 grados de libertad; valor superior al mínimo necesario de


0,5). Mediante la prueba de esfericidad de Bartlett comprobamos en nuestro análisis que la significa-ción es perfecta (p=0,00). El método de extracción fue el análisis de componentes principales (ACP), como método de rotación Oblimin (las dimensiones están correlacionadas y n<150). La rotación con-vergió en 5 iteraciones, emergieron todos los ítems teóricos de PU en esta dimensión con puntuacio-nes entre 0,899 y 0,921. Para PEOU encontramos el ítem 1 con menor peso (0,669) y el ítem 3 (0,923) con el mayor peso en esta dimensión. Todos los ítems tienen pesos superiores al mínimo necesario para ser consideradas en cada dimensión. Los resultados del Alfa de Cronbach para cada dimensión muestran valores de 0,896 (PEOU) y 0,956 (PU), considerados muy buenos (Hair et al.; 2010). Esto no permiten afirmar que el TAM puede ser aplicado a nuestra muestra de manera confiable.

2.2.2. Rúbrica CDDLos aciertos en la clasificación la CDD se midieron respecto a los resultados obtenidos en el curso anterior, en el que el equipo de profesores de la asignatura, expertos en CDD, establecieron la evalua-ción para esta actividad y vídeo concretos. La eficiencia de los evaluadores se cuantificó dividiendo el número de aciertos en la rúbrica entre el tiempo dedicado a evaluar (tiempo pasado rellenando la rúbrica en papel o en MED1A). La rúbrica se basa en cuatro ítems de COMDID se focaliza en los 3 primeros niveles de evaluación: principiante, intermedio y experto (Krumsvik, 2009), prescidiendo del cuarto (transformador) debido a que la rúbrica se ha utilizado en docentes en formación.

Imagen 1. Rúbrica de evaluación para la actividad en vídeo de Simul@b.

2.2.3. MEDIAEs un software de videoanálisis con una base sólida; fue lanzada hace 7 años para hacer frente a nece-sidades similares dentro del sector del coaching deportivo. Las características principales de MED1A incluyen una interfaz fácil de usar, que permite etiquetar y categorizar las acciones docentes de ma-nera personalizada y guardarlas en una base de datos (Gisbert & Usart, 2018). Según Suthers y Rosen (2011), un sistema de análisis integrado de este tipo permite analizar múltiples conjuntos de datos y tecnicas de análisis en una única interfaz.

En concreto, la evolución de MED1A es parte de un proyecto de investigación financiado por la Comisión Europea que involucra a diferentes universidades y empresas de toda Europa. Las ca-racterísticas principales y diferenciales de MED1A incluyen una interfaz fácil de usar, que permite diferentes formatos de vídeo de manera síncrona (multi formato y multi ángulo); permite etiquetar y


categorizar las acciones durante la observación del aula y, a posteriori, reduce el almacenamiento de vídeo únicamente a las partes relevantes.

El uso de MED1A permite tanto el almacenaje de los clips categorizados por más de un obser-vador, como el visionado de estos por parte de los docentes, en tiempo real. Ofrece una interfaz de colaboración accesible desde dispositivos móviles, ayudando a observadores y docentes en el proceso de evaluación de sus competencias. Según Suthers y Rosen (2011), un sistema de análisis integrado como este permite utilizar múltiples conjuntos de datos y tecnicas de análisis en una única interfaz para visualizar y presentar datos a los docentes. Estos dos aspectos son complementarios y ayudan a construir una imagen completa de las habilidades de los maestros en el aula.

2.3. ProcedimientoPara validar las tres hipótesis, se divide la aplicación de la herramienta en papel y la herramienta de videoanálisis en dos días diferentes -separados por un mes para minimizar efectos de memoria-. Esta experiencia se desarrolló en el contexto de los estudios de Doble Grado de Educación Infantil y Primaria, dentro de la materia de Planificación del espacio escolar. En concreto se planteó una activi-dad donde los alumnos en grupos de 3 y 4 personas debían diseñar y crear un aula que atendiera una serie de requisitos relacionados con las actuales necesidades de enseñanza-aprendizaje dentro de un entorno virtual 3D (Simu@b). El resultado de esta actividad es un vídeo donde los alumnos muestran el aula diseñada y verbalizan las características y posibilidades de los espacios creados. La actividad tenía el objetivo de que los estudiantes demostraran el nivel de CDD a partir de la rúbrica presentada en el apartado anterior en su versión papel. El vídeo seleccionado para este experimento fue elegido por un grupo de expertos, tras la visualización de los más de 20 vídeos de alumnos que se grabaron en los 2 semestres anteriores. La elección de este vídeo se basó en los siguientes criterios. Duración, claridad y con posibilidad de evaluar los diferentes elementos y niveles de la rúbrica.

Día 1: Se realiza la experiencia con la rúbrica en papel, se informa a los participantes de la inves-tigación y se explica brevemente la rúbrica. Se solicita la información sobre biodatos. Acto seguido los participantes acceden desde dispositivos al vídeo a analizar a partir de un link proporcionado por los investigadores y rellenan la rúbrica (ver instrumentos). Cuando terminan, todos rellenan el TAM. El tiempo dedicado a la evaluación se mide con cronómetro.

Día 2: Los participantes rellenan directamente la rúbrica en la botonera del software MED1A, previo visionado de un vídeo de 2 minutos sobre el funcionamiento de esta herramienta. Al finalizar la categorización de las competencias digitales observadas, se rellena de nuevo el TAM en el mismo formato que el primer día. El tiempo de evaluación lo mide la herramienta (ver Imagen 2).

Imagen 2. Detalle del día 1 (izquierda) y del día 2 (derecha)


3. RESULTADOSMediante el análisis correlacional no paramétrico (Rho de Spearman, ver tabla 1) observamos que las dos dimensiones del TAM (PU y PEOU) correlacionan significativa y positivamente; al igual que el tiempo y la PEOU. En este caso es una significatividad negativa del -0,331 (p<0,01). Esto indica que los participantes que reportan una facilidad de uso más alta, han pasado menos tiempo evaluan-do. Además, no hay correlaciones significativas entre las tres experiencias previas y las variables de estudio, con lo que suponemos un grupo válido para nuestro análisis.

Tabla 1. Estadísticos de correlaciones de las variables de estudio.

Tiempo ExpVID ExpSimulab AñosDocencia PU PEOU Efectividad

Tiempo 1 0,022 -0,117 -0,052 0,059 -0,331* -0,503*

ExpVID 1 0,234 0 0,185 0,114 -0,100

ExpSimulab 1 -0,049 -0,171 -0,067 -0,128

AñosDocencia 1 -0,113 -0,128 0,122

PU 1 0,608** -0,403

PEOU 1 -0,142

Efectividad 1

**. La correlación es significativa al nivel 0,01 (bilateral).

Hipótesis 1. El uso de una herramienta MED1A mejoró significativamente el tiempo de evaluación comparado con el uso del papel (El tiempo del día 1= 10min, y el tiempo del día 2 =6min). En concre-to, mediante el procedimiento no parametrico para comparar dos grupos independientes (U de Mann Whitney) se obtuvo U(t)=26,00; p=,002. Esto nos permite afirmar que esta hipótesis se confirma en nuestra muestra.

Hipótesis 2. El uso de la herramienta MED1A mejora la efectividad (número de aciertos del eva-luador/tiempo evaluación) de la Muestra estudiada.

Tabla 2. Datos de tiempo y efectividad (H1 y H2)

DIA1 Bajo Medio Alto Aciertos Efectividad (Aciertos / Tiempo)

D1 D2 D1 D2 D1 D2 D1 D2 D1 D2

INDICADOR 1 3 3 3 3 5 7 38,46 53,85 3,85 8,97

INDICADOR 2 1 3 3 7 7 3 27,27 53,85 2,73 8,97

INDICADOR 3 4 3 2 5 1 2 28,57 50,00 2,86 8,33

INDICADOR 4 5 3 2 1 1 1 25,00 20,00 2,50 3,33

En el caso de los aciertos y la efectividad, tambien podemos observar que en el día 2, (uso de la he-rramienta de videoanálisis MED1A), el número de aciertos en la evaluación (Tabla 2), y la efectividad (Imagen 3), calculada con el número de aciertos y dividido por el tiempo de evaluación utilizado por


el evaluador, han sido muy superiores en tres indicadores de la rúbrica de CDD; además, se confirma que sólo el indicador 4 no es significativamente mejor a la rúbrica en papel (U(I4) = 48,00, p=,072).

Imagen 3. Medias de efectividad por indicador en los dos días.

Tras el estudio de fiabilidad interjueces se decidió eliminar este ítem, ya que los expertos conclu-yeron que no puede ser analizado en el vídeo elegido de muestra. La hipótesis número dos tambien se confirma. Finalmente, para la hipótesis 3, los evaluadores perciben de media, la herramienta MED1A como más útil y con más facilidad de uso que el papel (ver Imagen 4). Tras el análisis asociativo no paramétrico, encontramos diferencias significativas en las dos dimensiones U (PU)=45,00, p= ,048; siendo mucho mayor la diferencia en la dimensión de Facilidad de Uso Percibida (U (PEOU)=29,00, p=,003). A nivel de ítems, la diferencia más significativa para la Utilidad Percibida es en el ítem PU5: “Using MED1A would make it easier to do my job”, la diferencia menor y no significativa es para el ítem PU6: “I would find MED1A useful in my job”

Imagen 4. Medias (6 ítems de percepción de usabilidad y 6 para medir la facilidad de uso) del día 1 y del día 2


4. DISCUSIÓN Y CONCLUSIONESEl objetivo de este estudio ha sido demostrar la eficacia y eficiencia de una herramienta de videoaná-lisis como parte de la evaluación de la CDD, y comparar si esta evaluación aportaba mejoras respecto al procedimiento mediante una rúbrica en papel. Tras la experiencia llevada a cabo con el grupo de expertos, podemos afirmar que el procedimiento de evaluación mediante videoanálisis es más eficien-te en terminos de tiempo y evaluación para la muestra estudiada.

Por otro lado, los resultados del modelo TAM nos permite ser optimistas en cuanto a la futura im-plementación positiva de la herramienta de videoanálisis MED1A para la evaluación de la CDD. El modelo definido se ajusta correctamente a nuestro contexto de futuros docentes en formación.

El tiempo que pasan los expertos en la herramienta en relación con la facilidad de uso percibida nos indica que aquellos participantes que ven la herramienta como más fácil de usar, tambien son más rápidos usándola, algo que como hemos visto afirmaban Lovorn y Rezaei (2011), es necesario ser competente con las rúbricas para poder ser eficiente evaluando con ellas. Además, los evaluadores necesitan menos tiempo con MED1A que en la rúbrica en papel. Lo valoramos como positivo ya que este menor tiempo viene acompañado de mayor acierto al evaluar los 4 ítems observados en el vídeo, por tanto mayor eficiencia. Esto está de acuerdo con lo que indican Major y Whatson (2018) sobre el uso de videoanálisis debido a que este está relacionado con mayor reflexión. Un ejemplo de esto, es la discusión sobre el cuarto indicador de la rúbrica, que ha mostrado por parte de los evaluadores, mu-chas dificultades para ser evaluado en la actividad propuesta y finalmente se ha acordado desestimar.

Finalmente, los resultados de la tercera hipótesis indican claramente como el uso de la tecnología MED1A facilita y parece útil a los evaluadores para realizar de ahora en adelante su tarea. Aun así, creemos que es necesaria una muestra mayor tanto de evaluadores como de vídeos o actividades de futuros docentes en el aula, para entender el uso real y potencial que se establece para esta tecnología de evaluación de la CDD. En concreto, observamos que, para la dimensión de facilidad de uso, la muestra percibe MED1A como fácil de usar, excepto a nivel de competencias “It would be easy for me to become skillful with my job”, ya que como aseguran Leonard-Barton y Kraus (1985), para cualquier nueva tecnología, es más sencillo rellenar en papel y lápiz que en una pantalla, si aún no se es competente en esa herramienta en concreto.

Los 13 participantes fueron seleccionados por su experiencia en la evaluación de la CDD. Desde su experiencia en la evaluación de la CDD hemos podido valorar el potencial de realizar estos pro-cesos a traves de una herramienta de videoanálisis como es MEDIA. Debemos señalar por un lado la mayor efectividad con un mayor número de aciertos, la eficiencia por el uso de menos tiempo y la percepción positiva de los expertos hacía la herramienta MED1A destacando la facilidad de uso y la utilidad percibidas.

En resumen, el análisis cuantitativo presentado permite afirmar que el uso de una herramienta de videoanálisis diseñada y adaptada para la evaluación de competencias docentes, una de las priorida-des de la educación actual (Delors, 1997) optimiza el tiempo de dedicación del docente, algo necesa-rio en nuestro sistema educativo debido a que la tarea de los docentes es una de las más intensivas y necesitada de optimización de los tiempos (Frey & Osborne, 2017).

A su vez, aumenta la calidad de la evaluación ya que aumenta la efectividad de los docentes al evaluar mediante rúbrica. Además, recordamos que el uso de rúbricas existe en todos los niveles educativos y tiene grandes beneficios tanto para estudiantes como para docentes (Lovorn & Rezaei, 2011), como la mayor autoreflexión, la equidad en el proceso y el feedback detallado al estudiante (Beyreli & Ari, 2009) aunque este sistema todavía está faltado de evidencias en cuanto a su fiabilidad.


Este estudio es un primer paso para ayudar a profesores, investigadores e instituciones que nece-siten evaluar de manera objetiva la CDD de los docentes en formación. Creemos que la implementa-ción de estas herramientas ayudará a aumentar la validez de un proceso clave para los futuros docen-tes, complementando la evaluación mediante cuestionarios con datos reales de la práctica docente.

5. REFERENCIAS Aubusson, P., Schuck, S., & Burden, K. (2009). Mobile learning for teacher professional learning:

Benefits, obstacles and issues. Research in Learning Technology, 17, 233–249. Beyreli, L., & Ari, G. (2009). The use of analytic rubric in the assessment of writing performance:

Inter-rater concordance study. Educational Sciences: Theory and Practice, 9(1), 105-125.Brouwer, N. (2011). Imaging teacher learning: a literature review on the use of digital video for pre-

service teacher education and professional development. Paper presented at the Annual Meeting of the American educational Research Association, New Orleans, LA.

Carless, D. (2007). Learning-oriented assessment: conceptual basis and practical implications. Innova-tions in Education and Teaching International, 44(1), 57-66. doi:10.1080/14703290601081332

Davis, F. D., Bagozzi, R. P., & Warshaw, P.R. (1989) User acceptance of computer technology: a comparison of two theoretical models. Management Science, 35 (8), 982–1003.

Delors, J. (1997). La educación encierra un tesoro. Madrid: Santillana.de Miguel, M. (Coord.) (2007). Metodologías de enseñanza y aprendizaje para el desarrollo de com-

petencias. Orientaciones para el profesorado universitario ante el Espacio Europeo de Educa-ción Superior. Madrid: Alianza.

Esteve, F. (2015). La competencia digital docente. Análisis de la autopercepción y evaluación del desempeño de los estudiantes universitarios de educación por medio de un entorno 3D (Tesis doctoral). Rovira i Virgili, Tarragona. Recuperado de http://www.tdx.cat/handle/10803/291441

Frey, C. B., & Osborne, M. A. (2017). The future of employment: how susceptible are jobs to com-puterisation? Technological Forecasting and Social Change, 114, 254-280.

Generalitat de Catalunya (2018). Competència digital docent del professorat de Catalunya. Barce-lona: Departament d’Ensenyament. Recuperado de http://ensenyament.gencat.cat/ca/departa-ment/publicacions/monografies/competencia-digital-docent/

Gisbert, M., & Usart, M. (2018). Vídeomining for the assessment of teacher skills in higher education. 10th EDEN Research Workshop. Towards Personalized Guidancce and Support for Learning. Conference Proceedings (2018). Edited by Josep M. Duart, András Szucs. European Distance and e-Learning Network: Budapest.

Hall, R., Atkins, L., & Fraser, J. (2014). Defining a self-evaluation digital literacy framework for secondary educators: the DigiLit Leicester project.

Hederich-Martínez, C., & Camargo-Uribe, A. (2014). Análisis psicométrico de la prueba de intersec-ción de figuras (FIT). Suma Psicológica, 21(2), 89-98. doi: 10.1016/S0121-4381(14)70011-6.

Lázaro, J. L., & Gisbert, M. (2015). Elaboració d’una rúbrica per avaluar la competència digital del docent. Universitas Tarraconensis. Revista de Ciències de l’Educació, 1(1), 48–63.

Lázaro, J., Usart, M., & Gisbert, M. (2019). Assessing Teacher Digital Competence: the Construction of an Instrument for Measuring the Knowledge of Pre-Service Teachers. Journal of New Ap-proaches in Educational Research, 8(1), 73-78. doi:http://dx.doi.org/10.7821/naer.2019.1.370

Leonard-Barton, D., & Kraus, W. A. (1985). Implementing new technology. Harvard Business Re-view, 63(6).


http://ensenyament.gencat.cat/ca/departament/publicacions/monografies/competencia-digital-docent/

http://ensenyament.gencat.cat/ca/departament/publicacions/monografies/competencia-digital-docent/

Lovorn, M. G., & Rezaei, A. R. (2011). Assessing the assessment: Rubrics training for pre-service and new in-service teachers. Practical Assessment, Research & Evaluation, 16(1), 1-18.

Major, L., & Watson, S (2018). Using vídeo to support in-service teacher professional development: the state of the field, limitations and possibilities. Technology, Pedagogy and Education, 27(1), 49-68, doi:10.1080/1475939X.2017.1361469

Redecker, C., & Punie, Y. (2017). Digital competence framework for educators (DigCompEdu). Brussels: European Union.

Regan-Smith, M., Hirschmann K., & Lobst, W. (2007). Direct observation of faculty with feedback: An effective means of improving patient-centered and learner-centered teaching skills. Teaching and Learning in Medicine, 19(3), 278-286

Rich, P. J. & Hannafin, M. (2008). Vídeo Annotation Tools: Technologies to Scaffold, Struc-ture, and Transform Teacher Reflection. Journal of Teacher Education, 60(1), 52-67. doi:10.1177/0022487108328486

Rivkin, S. G., Hanushek, E. A., & Kain, J. F. (2005). Teachers, schools, and academic achievement. Econometrica, 73(2), 417-458.

Sherin, M. G. (2004). New perspectives on the role of vídeo in teacher education. En J. Brophy (Ed.), Using video in teacher education: Advances in research on teaching (Vol. 10, pp. 1–27). Ox-ford: Elsevier Press.

Suthers, D. D., & Rosen, D. (2011). A unified framework for multi-level analysis of distributed learn-ing Proceedings of the First. International Conference on Learning Analytics & Knowledge, Banff, Alberta.

Vidal-Abarca, E. Sanjosé, V., & Solaz, J. (1993). Effects of text adaptations, previous knowl-edge, and study strategies on recall, comprehension, and learning from scientific texts. Infan-cia y Aprendizaje. Journal for the Study of Education and Development, 17(67-68), 75-90. doi:10.1174/021037094321268877

Wilson, M. (2007). Why I won’t be using rubrics to respond to students’ writing. English Journal, 96(4), 62-66.


investigación e innovación en la enseñanza...

Documents