advertiment advertencia - dipòsit digital de … · 2017-02-08 · 2.3.11. aula virtual ... guía...

ADVERTIMENT. Laccs als continguts daquesta tesi doctoral i la seva utilitzaci ha de respectar els drets de lapersona autora. Pot ser utilitzada per a consulta o estudi personal, aix com en activitats o materials dinvestigaci idocncia en els termes establerts a lart. 32 del Text Refs de la Llei de Propietat Intellectual (RDL 1/1996). Per altresutilitzacions es requereix lautoritzaci prvia i expressa de la persona autora. En qualsevol cas, en la utilitzaci delsseus continguts caldr indicar de forma clara el nom i cognoms de la persona autora i el ttol de la tesi doctoral. Nosautoritza la seva reproducci o altres formes dexplotaci efectuades amb finalitats de lucre ni la seva comunicacipblica des dun lloc ali al servei TDX. Tampoc sautoritza la presentaci del seu contingut en una finestra o marc alia TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i ndexs.

ADVERTENCIA. El acceso a los contenidos de esta tesis doctoral y su utilizacin debe respetar los derechos de lapersona autora. Puede ser utilizada para consulta o estudio personal, as como en actividades o materiales deinvestigacin y docencia en los trminos establecidos en el art. 32 del Texto Refundido de la Ley de PropiedadIntelectual (RDL 1/1996). Para otros usos se requiere la autorizacin previa y expresa de la persona autora. Encualquier caso, en la utilizacin de sus contenidos se deber indicar de forma clara el nombre y apellidos de la personaautora y el ttulo de la tesis doctoral. No se autoriza su reproduccin u otras formas de explotacin efectuadas con fineslucrativos ni su comunicacin pblica desde un sitio ajeno al servicio TDR. Tampoco se autoriza la presentacin desu contenido en una ventana o marco ajeno a TDR (framing). Esta reserva de derechos afecta tanto al contenido dela tesis como a sus resmenes e ndices.

WARNING. The access to the contents of this doctoral thesis and its use must respect the rights of the author. It canbe used for reference or private study, as well as research and learning activities or materials in the terms establishedby the 32nd article of the Spanish Consolidated Copyright Act (RDL 1/1996). Express and previous authorization of theauthor is required for any other uses. In any case, when using its content, full name of the author and title of the thesismust be clearly indicated. Reproduction or other forms of for profit use or public communication from outside TDXservice is not allowed. Presentation of its content in a window or frame external to TDX (framing) is not authorized either.These rights affect both the content of the thesis and its abstracts and indexes.

Tesis doctoral

AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN

UNIVERSITARIA VIRTUAL

Renata Marciniak

Director: Dr. Joaqun Gairn Salln

Departamento de Pedagoga Aplicada Facultad de Ciencias de la Educacin

Doctorado en Educacin

Bellaterra-Cerdanyola del Valls, septiembre 2016

Tesis doctoral

AUTOEVALUACIN DE

PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL

SELFASSESSMENT OF HIGHER VIRTUAL EDUCATION

PROGRAMMES

Renata Marciniak

Director: Dr. Joaqun Gairn Salln

Departamento de Pedagoga Aplicada Facultad de Ciencias de la Educacin

Doctorado en Educacin

Bellaterra-Cerdanyola del Valls, septiembre 2016

AGRADECIMIENTOS

A lo largo de todo este recorrido que he dado como doctoranda siempre ha habido personas que me han apoyado de distintas formas para lograr esta tesis doctoral. Si tuviera que enumerar a todas estas personas, no encontrara las palabras adecuadas para expresar mi enorme reconocimiento y agradecimiento por apoyarme. Por eso, no enumerar, de forma interminable, a todas las personas que han contribuido de alguna forma a finalizar este trabajo y con l una etapa de mi vida, sino dir GRACIAS a todos y todas por estar conmigo y apoyarme en lo que habis podido.

Sin embargo, deseo destacar, por encima de todo, el apoyo firme, constante e ilimitado de los dos pilares fundamentales en este trabajo:

En primer lugar, quiero agradecer a travs de estas lneas, el apoyo que he recibido de mi familia ms cercana. Principalmente a mi querido marido Edward que siempre ha credo en m y me ha apoyado firmemente de todas las formas posibles y ms en los momentos difciles. Gracias por tu paciencia y por todo lo que me has dado y el apoyo incondicional no slo durante la redaccin de la presente tesis, sino en toda mi vida. Agradezco de toda mi corazn a mi hija Dagmara por su apoyo continuo, sobre todo por sus innumerables lecciones y correcciones de mi espaol que, sin duda, hicieron esta tesis ms comprensible para el lector. Tambin doy las gracias a mi hijo Mariusz por darme nimos, horas de conversacin sobre la innovacin digital y el apoyo tecnolgico que fue de gran ayuda a la hora de elaborar herramientas en lnea para esta tesis. Otra persona a la que quiero dar las gracias es mi querida madre Sabina que, aunque vive a miles de kilmetros de mi, estaba siempre conmigo en su pensamiento rezando por m cada da para que no me rinda y aguante en este camino tan difcil para m, sobre todo por la lengua espaola que no es mi lengua materna. Gracias mam por todo lo que hiciste por m durante toda mi vida (Dzikuj Ci mamo za wszystko co dla mnie zrobia!).

Y otra mencin, especialmente fundamental, va destinada desde el ms profundo respeto y admiracin por su conocimiento, estrategias de tutorias, capacidad de trabajo y ganas de ayudar a sus estudiantes, y que por encima de cualquier otra cabe acentuar ahora. Esta es para mi director, Dr. Joaqun Gairn Salln, experto profesional de fama mundial, que durante tres aos de la redaccin del presente trabajo fue para m no slo el director de mi tesis, sino Inspirador, Motivador, Mentor, Asesor y Entrenador de mi Investigacin. Las palabras se quedan cortas para expresar la magnitud de su persona, por eso slo dir GRACIAS!. Gracias Estimado Doctor por tus aportaciones, sugerencias, consejos, exigencia y orientaciones durante todas las etapas del presente trabajo. Gracias por darme la oportunidad de ser tu discpula y ensearme hacer investigacin cientfica de calidad. Gracias por todo!

Para terminar, mi ms sentido agradecimiento a todas esas personas e instituciones que contribuyeron a que se culmine este trabajo.

Renata Marciniak Tesis doctoral

7

NDICE DE CONTENIDOS

INTRODUCCIN. .............................................................................................. 25 INTRODUCTION .......29

BLOQUE 1: FUNDAMENTACIN Y DISEO GENERAL DE LA INVESTIGACIN

Captulo 1. PLANTEAMIENTO GENERAL DE LA INVESTIGACIN ............................... 37 1.1. Situacin problemtica y preguntas de investigacin .................................................... 37 1.2. Justificacin de la importancia de la investigacin.41 1.3. Objetivos de la investigacin ........................................................................................ 41

1.4. Etapas de la investigacin y cronograma ..................................................................... 42

Chapter 1. GENERAL APPROACH OF THE RESEARCH ................................................ 47 1.1. Problematic situation and research questions ............................................................... 47 1.2. Justification of the relevance of the research .50 1.3. Research objectives ..................................................................................................... 51

1.4. Research stages and schedule..................................................................................... 51

BLOQUE 2: MARCO TERICO

Captulo 2. CONCEPTO DE PROGRAMA DE EDUCACIN UNIVERSITARIA VIRTUAL ........................................................................................................ 61

2.1. Definicin, caractersticas y elementos bsicos de educacin virtual ........................... 61

2.2. Concepto de programa de educacin universitaria virtual............................................. 64

2.2.1. La nocin del programa formativo ......................................................................... 64

2.2.1.1. Programa como accin ............................................................................... 67 2.2.1.2. Programa como plan ................................................................................... 67 2.2.1.3. Programa como contenido .......................................................................... 68

2.2.2. Qu se entiende por programa de educacin universitaria virtual? ..................... 69

2.3. Elementos del programa de educacin universitaria virtual .......................................... 71

2.3.1. Justificacin del programa virtual (Por qu el programa virtual?) ........................ 75

2.3.2. Objetivos formativos y competencias del programa virtual (Para qu el programa virtual?).................................................................................................. 75

2.3.3. Perfil de ingreso y egreso (A quin va dirigido el programa?) ............................. 79

2.3.4. Contenidos temticos/temario (Qu se va a ensear?) ....................................... 82

2.3.5. Actividades del programa virtual (Cmo se va a realizar el programa virtual?) ... 84

2.3.6. Perfil del docente en lnea (Quines lo van a realizar?) ...................................... 87


8

2.3.7. Materiales y recursos didcticos (Con qu se va a realizar el programa

virtual?) .................................................................................................................. 89

2.3.8. Estrategias de evaluacin del aprendizaje (Cmo se va a valorar lo que el estudiante ha aprendido?) ..................................................................................... 95

2.3.9. Estrategias didcticas (Cmo se va a ensear?) ................................................ 98

2.3.10. Tutora (Cmo se va a apoyar al estudiante a realizar el programa virtual?) ... 103

2.3.11. Aula virtual (Cmo ser el entorno virtual del programa?) ............................... 106

2.4. A modo de sntesis ..................................................................................................... 109

Captulo 3. EVALUACIN DE LA CALIDAD DE PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL .......................................................................... 113

3.1. Concepto de calidad de programas de educacin universitaria virtual ........................ 113

3.1.1. Definiciones y ncleo de la calidad de educacin superior .................................. 113

3.1.2. Calidad de programas de educacin universitaria virtual .................................... 118

3.2. Evaluacin de la calidad de programas de educacin universitaria virtual .................. 121

3.2.1. Definicin de evaluacin de programas formativos realizados en la modalidad virtual ................................................................................................................... 121

3.2.2. Evaluacin continua del programa ...................................................................... 123

3.2.3. Autoevaluacin como forma de evaluacin de la calidad de programas de educacin universitaria virtual .............................................................................. 129

3.2.3.1. Concepto de autoevaluacin ..................................................................... 129 3.2.3.2. Concepto de autoevaluacin aplicado a los programas de educacin

universitaria virtual ........................................................................................ 132 3.2.3.3. Propuesta de metodologa de autoevaluacin de programas de educacin

universitaria virtual ......................................................................................................................... 136 3.2.4. Acreditacin de programas de educacin universitaria virtual ............................. 144

3.3. Debate conceptual sobre la autoevaluacin y trminos similares a sta ..................... 146

3.4. Algunas controversias sobre la calidad y la evaluacin de programas de educacin universitaria virtual......151

3.5. A modo de sntesis ..................................................................................................... 156

BLOQUE 3: MARCO TERICO ESPECFICO SOBRE LOS ESTNDARES, MODELOS Y HERRAMIENTAS DESARROLLADOS PARA EVALUAR LA CALIDAD DE EDUCACIN VIRTUAL

Captulo 4. METODOLOGA DEL ESTUDIO DOCUMENTAL ......................................... 163 4.1. Tipo de la investigacin .............................................................................................. 163

4.2. Diseo del estudio documental ................................................................................... 163

4.3. Procedimiento del estudio documental ....................................................................... 163

4.3.1. Procedimiento y criterios para analizar estndares de la calidad de educacin virtual ................................................................................................................... 164

4.3.2. Procedimiento y variables para analizar modelos diseados para la evaluacin de programas de educacin universitaria virtual .................................................. 165


9

4.3.3. Procedimiento y variables para analizar herramientas diseadas para la

autoevaluacin de programas de educacin universitaria virtual ......................... 166

4.4. Poblacin y muestra del estudio documental .............................................................. 168

4.5. Tcnicas e instrumentos de recoleccin de la informacin ......................................... 171

4.6. Validez y confiabilidad de los instrumentos de recoleccin de la informacin ............. 171

Captulo 5. ESTNDARES DE REFERENCIA DE AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL ............................................. 173

5.1. Estndares y su importancia para la educacin virtual ............................................... 173

5.2. Tipos de estndares de la educacin virtual ............................................................... 177

5.2.1. Estndares tecnolgicos. Panorama de organizaciones de estandarizacin ....... 180

5.2.2. Estndares relacionados con la gestin y aseguramiento de calidad en educacin virtual .................................................................................................. 189

5.3. Anlisis del alcance de los estndares analizados para la autoevaluacin de programas de educacin universitaria virtual............................................................ 201

5.4. A modo de sntesis ..................................................................................................... 208

Captulo 6. MODELOS DE REFERENCIA DE AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN VIRTUAL ................................................................................ 209

6.1. Introduccin al anlisis de modelos de evaluacin de programas virtuales ................ 209

6.2. Modelos clsicos de evaluacin de programas formativos....210 6.3. Modelos para evaluar la calidad de educacin virtual ................................................. 214

6.3.1. Modelos con enfoque parcial ............................................................................... 214

6.3.1.1. Modelos de evaluacin de actividad formativa .......................................... 214 6.3.1.2. Modelos de evaluacin de materiales y recursos didcticos ...................... 230 6.3.1.3. Modelos de evaluacin de la plataforma virtual ......................................... 238 6.3.1.4. Modelos de evaluacin financiera ..................................................................................... 244

6.3.2. Modelos con enfoque global ............................................................................... 245

6.3.2.1. Modelos de evaluacin centrados en modelos y/o estndares de calidad total ............................................................................................................... 245

6.3.2.2. Modelos basados en la prctica del benchmarking ................................... 249 6.4. A modo de sntesis ..................................................................................................... 252

Captulo 7. HERRAMIENTAS DE REFERENCIA DE AUTOEVALUACIN DE PROGRAMAS DE EDUCACIN UNIVERSITARIA VIRTUAL ..................... 255

7.1. Herramientas de autoevaluacin de programas de educacin universitaria virtual existentes en el mbito internacional ........................................................................ 255

7.1.1. EFMD CEL Guide to Self Assessment ................................................................ 256

7.1.2. Proyecto Alfa Rueda. Evaluacin de los Programas de Educacin a Distancia. Gua metodolgica............................................................................................... 258

7.1.3. Evaluating E-learning. A Guide to the Evaluation of E-learning de E-VAL ........... 260

7.1.4. E-learning Maturity Model (eMM). Process Assessment Workbook .................... 262


10

7.1.5. Gua de autoevaluacin para programas de pregrado a distancia del CALED .... 263

7.1.6. SEVAQ+. Self-Evaluation Tool for eLearning ...................................................... 265

7.1.7. Metodologa General para la Evaluacin de Programas de Educacin Superior a Distancia del CIEES. Gua de autoevaluacin. ................................................. 267

7.1.8. Interregional Guidelines for the Evaluation of Distance Education Programmes (Online Learning) ................................................................................................. 269

7.1.9. Manual on Quality Assessment for E-learning de la EADTU ............................... 270

7.1.10. Guide to Evaluating Distance Education and Correspondence Education ......... 272

7.1.11. A modo de sntesis............................................................................................ 273

7.2. Herramientas de autoevaluacin de programas de educacin universitaria virtual desarrollados en Espaa .......................................................................................... 277

7.2.1. Gua para la evaluacin de acciones formativas basadas en Tecnologas de la Informacin y la Comunicacin (Gua @FORTIC)...277

7.2.2. Manual para la evaluacin de la calidad de acciones de formacin a travs de e-learning del proyecto QUALITAS ...................................................................... 280

7.2.3. Guia dAvaluaci Interna dels Ensenyaments de Formaci Virtual. Guia dAvaluaci de les Titulacions.....281

7.2.4. Instrumento Anlisis didctico de las estrategias de enseanza de cursos universitarios en red (ADECUR) ......................................................................... 283

7.2.5. Gua de autoevaluacin (con adaptaciones especficas para la UNED) .............. 284

7.3. A modo de sntesis ..................................................................................................... 286

Bloque 4: MARCO APLICADO

Captulo 8.METODOLOGA ............................................................................................. 293 8.1. Tipo de la investigacin .............................................................................................. 293

8.2. Procedimiento de la investigacin .............................................................................. 294

Captulo 9. RESULTADOS............................................................................................... 299 9.1. FASE I. Anlisis bibliogrfico y documental ................................................................ 299

9.2. FASE II. Diseo del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional I .............................................................................. 301

9.2.1. Subfase 1: Establecimiento de la estructura del modelo provisional I ................. 301

9.2.2. Subfase 2. Establecimiento de un sistema de indicadores para el modelo provisional I ......................................................................................................... 306

9.3. FASE III. Validacin del modelo provisional I...311 9.3.1. Validacin del modelo provisional I mediante su pilotaje en cuatro programas

formativos de la Universidad Abierta y a Distancia de Mxico ............................. 312

9.3.1.1. Muestra de programas evaluados ............................................................. 312 9.3.1.2. Tcnicas de recoleccin de la informacin ................................................ 313 9.3.1.3. Instrumentos de recogida de informacin .................................................. 314 9.3.1.4. Recopilacin de datos ............................................................................... 314


11

9.3.1.5. Conclusiones y sugerencias derivadas de la aplicacin del modelo

provisional I en cuatro casos ......................................................................... 317 9.3.2. Validacin del modelo provisional I por parte de los expertos ............................. 320

9.3.2.1. Paso 1: Seleccin de expertos .................................................................. 320 9.3.2.2. Paso 2: Invitacin a los expertos ............................................................... 322 9.3.2.3. Paso 3: Propuesta de los criterios de validacin ....................................... 323 9.3.2.4. Paso 4: Elaboracin del formulario de validacin ...................................... 324 9.3.2.5. Estrategias de anlisis de los resultados de validacin ............................. 327 9.3.2.6. Resultados de la validacin del modelo provisional I por parte de los

expertos ........................................................................................................ 328 9.3.2.6.1. Resultados cuantitativos de la validacin ........................................ 328 9.3.2.6.2. Resultados cualitativos de la validacin del modelo provisional I ..... 340

9.4. Fase IV: Diseo del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II ............................................................................. 361

9.4.1. Triangulacin de los datos obtenidos del proceso de validacin de las dimensiones del modelo provisional I con la teora .............................................. 362

9.4.2. Triangulacin de los datos obtenidos del proceso de validacin de los indicadores con la teora ...................................................................................... 364

9.4.3. Resultados de la triangulacin de los datos: Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II ................................ 378

9.5. Fase V: Validacin del modelo provisional II............................................................... 381

9.5.1. Validacin del modelo provisional II por el primer grupo de discusin ................. 381

9.5.1.1. Contexto .................................................................................................... 381 9.5.1.2. Participantes ............................................................................................. 382 9.5.1.3. Procedimiento ........................................................................................... 382 9.5.1.4. Desarrollo .................................................................................................. 383 9.5.1.5. Resultados ................................................................................................ 384

9.5.2. Validacin del modelo provisional II por el segundo grupo de discusin ............. 388

9.5.2.1. Muestreo y participantes ........................................................................... 388 9.5.2.2. Procedimiento ........................................................................................... 388 9.5.2.3. Desarrollo .................................................................................................. 389 9.2.5.4. Resultados ................................................................................................ 389

9.5.3. A modo de sntesis ............................................................................................. 393

9.6. Fase VI. Diseo del modelo definitivo y propuestas para facilitar su implementacin y seguimiento ........................................................................................................... 393

9.6.1. Subfase 1: Triangulacin de los resultados del proceso de validacin del modelo provisional II ............................................................................................ 393

9.6.2. Subfase 2: Modelo definitivo de autoevaluacin de programa de educacin universitaria virtual ............................................................................................... 398

9.6.3. Subfase 3: Elaboracin de propuestas para facilitar la implementacin y el seguimiento del modelo ....................................................................................... 429


12

9.6.3.1. Propuesta de estrategias para implementar el modelo .............................. 429 9.6.3.2. Propuesta de estrategias para superar las resistencias a la implementacin

del modelo .................................................................................................... 430 9.6.3.3. Propuesta de acciones para seguir el modelo ........................................... 431 9.6.3.4. Propuesta de una herramienta interactiva para elaborar un protocolo en

lnea de autoevaluacin de programas de educacin universitaria virtual ..... 432 9.6.3.5. Propuesta de un cuestionario de opinin de los estudiantes sobre el

programa virtual en la fase de su desarrollo ................................................. 436 9.6.3.6. Propuesta de conferencia magistral sobre el Modelo de Autoevaluacin de

Programas de Educacin Universitaria Virtual diseado ............................... 439 9.6.4. A modo de sntesis ............................................................................................. 440

BLOQUE 5: MARCO CONCLUSIVO Captulo 10. DISCUSIN, CONCLUSIONES, LIMITACIONES Y PERSPECTIVAS DE

INVESTIGACIN.......................................................................................... 447 10.1. Discusin .................................................................................................................. 447

10.2. Conclusiones en relacin con los objetivos de la investigacin ................................. 451

10.2.1. Objetivo especfico 1 ......................................................................................... 451






10.3. Otras conclusiones ................................................................................................... 459

10.3.1. Sobre el modelo ................................................................................................ 459

10.3.2. Sobre la aplicacin del modelo ......................................................................... 460

10.3.3. Sobre la utilidad del modelo .............................................................................. 460

10.4. Limitaciones de la investigacin ............................................................................... 461

10.5. Futuras lneas de investigacin ................................................................................ 462

Chapter 10. DISCUSSION, CONCLUSIONS, RESEARCH LIMITATIONS AND PERSPECTIVES .......................................................................................... 465

10.1. Discussion465 10.2. Conclusions regarding research objective ................................................................ 469

10.2.1. Specific objective 1 ........................................................................................... 469



10.2.4. Specific objective 4 ...439 10.2.5. Specific objective: 5 .......................................................................................... 475

10.2.6. Specific objective: 6 .......................................................................................... 476


13

10.3. Other conclusions ..................................................................................................... 477

10.3.1. Regarding the model ......................................................................................... 477

10.3.2. Regarding the implementation of the model ...................................................... 477

10.3.3. Regarding the utility of the model ...................................................................... 477

10.4. Limits of the research ............................................................................................... 478

10.5. Future research lines ................................................................................................ 479

REFERENCIAS BIBLIOGRFICAS ................................................................................. 481

ANEXOS ELECTRNICOS ........ en CD adjunto

ANEXO 1. Fichas descriptivas de los indicadores del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional I.

ANEXO 2a. Protocolo de autoevaluacin del programa virtual Sistemas de Calidad ofrecido por la UnADM.

ANEXO 2b. Protocolo de autoevaluacin del programa virtual Consultora y Gestin Financiamento ofrecido por la UnADM.

ANEXO 2c. Protocolo de autoevaluacin del programa virtual Comunicacin Efectiva en Salud ofrecido por la UnADM.

ANEXO 2d. Protocolo de autoevaluacin del programa virtual Gestin y Administracin de PYME ofrecido por la UnADM.

ANEXO 3. Anexo 1 adjunto a los correos electrnicos enviados a los expertos. ANEXO 4. Anexo 2 adjunto a los correos electrnicos enviados a los expertos. ANEXO 5. Triangulacin de los datos obtenidos del proceso de validacin de las

dimensiones del modelo provisional I con la teora.

ANEXO 6. Triangulacin de los datos obtenidos del proceso de validacin de los indicadores del modelo provisional I con la teora.

ANEXO 7. Fichas descriptivas de los indicadores de Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II.

ANEXO 8. Glosario


15

NDICE DE TABLAS, FIGURAS, IMGENES Y ABREVIATURAS

NDICE DE TABLAS

Tabla 1.1. Cronograma de la investigacin ........................................................................................... 44

Tabla 2.1. Componentes y subcomponentes de una competencia ...................................................... 78

Tabla 2.2. Tipos de actividades de aprendizaje utilizados en la educacin virtual universitaria .......... 85

Tabla 2.3. Clasificacin de materiales y recursos didcticos ms comunes en educacin virtual. ...... 91

Tabla 2.4. Cuadro sinptico de tipos textuales usados en la educacin virtual .................................... 91

Tabla 2.5. Criterios para seleccionar la bibliografa bsica y complementaria. .................................... 94

Tabla 2.6. Definiciones de evaluacin segn diferentes autores .......................................................... 95

Tabla 2.7. Diferencias entre evaluacin para el aprendizaje y evaluacin del aprendizaje ................. 95

Tabla 2.9. Los roles y las funciones a desempear por el docente en lnea ...................................... 104

Tabla 2.10. Funcionalidades esenciales de un aula virtual ................................................................. 108

Tabla 3.1. Definicin de Calidad ......................................................................................................... 113

Tabla 3.2. Principios de la calidad educativa segn la Ley Orgnica de Calidad de la Educacin .... 115

Tabla 3.3. Modelo de evaluacin continua del programa ................................................................... 124

Tabla 3.4. Evaluacin continua del programa. .................................................................................... 125

Tabla 3.5. Definicin de Autoevaluacin y sus elementos compositivos ............................................ 130

Tabla 3.6. Diferencias entre ................................................................................................................ 131

Tabla 3.7. Algunas definiciones de autoevaluacin aplicadas a los programas de educacin universitaria ....................................................................................................................... 133

Tabla 3.8. Algunas funciones del Comit de Autoevaluacin ............................................................. 137

Tabla 3.9. Lista de los elementos a comprobar por el observador en el proceso de autoevaluacin de programas virtuales ...................................................................................................... 138

Tabla 3.10. Propuestas de estructuras del plan de mejora de la calidad segn diferentes autores .. 142

Tabla 3.11. Propuesta para elaborar un plan de mejora de programa virtual .................................... 142

Tabla 3.12. Programas de acreditacin realizados por la ANECA ..................................................... 144

Tabla 3.13. Diferencias entre Autoevaluacin, Acreditacin, Evaluacin interna y Evaluacin externa de programas virtuales ...................................................................................................... 149

Tabla 3.14. Ventajas e Inconvenientes de la formacin en red .......................................................... 151

Tabla 3.15. Comparacin entre programas de Fundamentos de Marketing de la UCM y la UOC .... 153

Tabla 4.1. Muestra de estndares ....................................................................................................... 168

Tabla 4.2. Muestra de modelos ........................................................................................................... 169

Tabla 4.3. Muestra de herramientas ................................................................................................... 170

Tabla 5.1. Relacin organizaciones - nmero de estndares publicados .......................................... 174

Tabla 5.2. Caracterizacin de estndares sobre educacin virtual. ................................................... 178


16

Tabla 5.3. Categoras y elementos de metadatos del estndar LOM. ................................................ 184

a 5.4. Estndares principales de la IMS GLC. ................................................................................... 185

Tabla 5.5. Algunos estndares tecnolgicos creados por el Comit ISO/IEC JTC1 SC36 en el campo de la educacin virtual. ...................................................................................................... 186

Tabla 5.6. Caractersticas y subcaractersticas del Modelo de Calidad Interna y Externa segn la ISO/IEC 9126-1. ................................................................................................................ 188

Tabla 5.7. Definicin de las caractersticas del Modelo de Calidad en Uso prescriptas en la ISO/IEC 9126-1................................................................................................................................ 189

Tabla 5.8. Principales estndares de calidad en la educacin virtual ................................................ 190

Tabla 5.9. Modelo de proceso de ISO/IEC 19796-1:2005. ................................................................. 191

Tabla 5.11. Relacin de estndares analizados con la evaluacin de programa virtual .................... 200

Tabla 5.12. Cuadro comparativo. Resultados del anlisis del alcance de los estndares tecnolgicos ....................................................................................................................... 201

Tabla 5.13. Cuadro comparativo. Resultados del anlisis del alcance de los estndares de calidad ............................................................................................................................... 202

Tabla 5.14. Estndares para evaluar los elementos de programa de educacin universitaria virtual ................................................................................................................................. 205

Tabla 6.2. Anlisis comparativo de diferentes modelos clsicos de evaluacin de educacin utilizados en la evaluacin de programas de educacin virtual ........................................ 211

Tabla 6.4. Cuadro comparativo. Elementos de programa que evalan los modelos de evaluacin de una accin formativa analizados ....................................................................................... 227

Tabla 6.5. Sntesis de las dimensiones de los modelos de evaluacin de una accin formativa de educacin virtual analizadas ............................................................................................. 228

Tabla 6.6. Modelos desarrollados para evaluar materiales y recursos didcticos de educacin virtual. ................................................................................................................................ 231

Tabla 6.7. Sntesis de las dimensiones de los modelos de evaluacin de materiales y recursos didcticos analizados ........................................................................................................ 237

Tabla 6.9. Sntesis de las dimensiones de los modelos de evaluacin de plataformas virtuales analizados.......................................................................................................................... 243

Tabla 6.10. Acciones y posibles instrumentos de evaluacin de una accin formativa ..................... 244

Tabla 6.11. Algunos proyectos de benchmarking realizados en el campo de la educacin superior virtual ................................................................................................................................. 250

Tabla 7.1. Estructura y operativa de la EFMD CEL Guide to Self-Assessment. ................................ 257

Tabla 7.2. Aspectos sobresalientes y de mejora de la EFMD CEL Guide to Self-Assessment ........ 258

Tabla 7.3. Estructura y operativa de la gua de la RED ALFA. ........................................................... 259

Tabla 7.4. Aspectos sobresalientes y de mejora de la gua de la RED ALFA .................................... 260

Tabla 7.5. Estructura y operativa de la Guide to the Evaluation of E-learning de E-VAL ................... 261

Tabla 7.6. Aspectos sobresalientes y de mejora de la Guide to the Evaluation of E-learning de E-VAL ................................................................................................................................ 261

Tabla 7.7. Estructura y operativa del Process Assessment Workbook. ............................................. 262

Tabla 7.8. Aspectos sobresalientes y de mejora del Process Assessment Workbook ...................... 263

Tabla 7.9. Estructura y operativa de la gua de autoevaluacin del CALED. ..................................... 264

Tabla 7.10. Aspectos sobresalientes y de mejora de la gua de autoevaluacin del CALED ............ 265

Tabla 7.11. Estructura y operativa de SEVAQ+. ................................................................................. 266

Tabla 7.12. Aspectos sobresalientes y de mejora de SEVAQ+ .......................................................... 267


17

Tabla 7.13. Estructura y operativa de la gua de autoevaluacin de los CIEES................................. 268

Tabla 7.14. Aspectos sobresalientes y de mejora de la gua de autoevaluacin de los CIEES ......... 268

Tabla 7.15. Estructura y operativa de las Interregional Guidelines for the Evaluation of Distance Education Programmes. .................................................................................................... 269

Tabla 7.16. Aspectos sobresalientes y de mejora de las Interregional Guidelines for the Evaluation of Distance Education Programmes ................................................................ 270

Tabla 7.17. Estructura y operativa de la gua del Manual de la EADTU. ............................................ 271

Tabla 7.18. Aspectos sobresalientes y de mejora del Manual de la EADTU ...................................... 271

Tabla 7.19. Estructura y operativa de la Guide to Evaluating Distance Education and Correspondence Education. .............................................................................................. 272

Tabla 7.20. Aspectos sobresalientes y de mejora de la Guide to Evaluating Distance Education and Correspondence Education. ....................................................................................... 273

Tabla 7.21. Anlisis comparativo entre herramientas de autoevaluacin de programas de educacin virtual existentes en diferentes pases ............................................................. 275

Tabla 7.22. Elementos del programa de educacin universitaria virtual evaluados por las herramientas desarrolladas en el mbito internacional ..................................................... 276

Tabla 7.23. Caractersticas de la gua @FORTIC. ............................................................................. 278

Tabla 7.24. Aspectos sobresalientes y de mejora de la gua @FORTIC ........................................... 279

Tabla 7.25. Caractersticas de las dimensiones y otros aspectos del Manual del proyecto QUALITAS. ........................................................................................................................ 280

Tabla 7.26. Aspectos sobresalientes y mejorables del Manual del proyecto QUALITAS. ................. 281

Tabla 7.27. Caractersticas de la Guia dAvaluaci Interna dels Ensenyaments de Formaci Virtual de la AQU. .............................................................................................................. 282

Tabla 7.28. Aspectos sobresalientes y mejorables de la Guia dAvaluaci Interna dels Ensenyaments de Formaci Virtual de la AQU ................................................................. 283

Tabla 7.29. Caractersticas del Instrumento ADECUR. ...................................................................... 284

Tabla 7.30. Aspectos sobresalientes y mejorables del Instrumento ADECUR ................................... 284

Tabla 7.31. Caractersticas de la gua de autoevaluacin (con adaptaciones especficas para la UNED) de la ANECA. ........................................................................................................ 285

Tabla 7.32. Aspectos sobresalientes y mejorables de la Gua de Autoevaluacin (con adaptaciones especficas para la UNED) de la ANECA .......................................................................... 286

Tabla 7.33. Anlisis comparativo entre herramientas de autoevaluacin de programas de educacin virtual existentes en Espaa ............................................................................ 287

Tabla 7.34. Elementos de programa de educacin universitaria virtual evaluados por las herramientas desarrolladas en Espaa ............................................................................. 288

Tabla 9.1. Operacionalizacin de las variables ................................................................................... 302

Tabla 9.2. Distribucin de indicadores segn las dimensiones propuestas ....................................... 306

Tabla 9.3. Sistema de indicadores para el modelo de autoevaluacin de programas ....................... 307

Tabla 9.4. Elementos de la ficha descriptiva del indicador ................................................................. 310

Tabla 9.5. Ficha descriptiva del indicador APEV-1 ............................................................................ 310



Tabla 9.8. Protocolo de autoevaluacin del programa virtual Sistemas de Calidad ofrecido por la UnADM .......................................................................................................................... 315


18

Tabla 9.9. Integracin de los resultados obtenidos en las autoevaluaciones de cuatro programas de la UnAdm ...................................................................................................................... 317

Tabla 9.10. Estructura y caractersticas del grupo de expertos .......................................................... 321

Tabla 9.12. Escalas para validar los criterios de validacin ................................................................ 323

Tabla 9.13. ndices de aceptabilidad para cada dimensin e indicador y validez facial emitida por expertos ............................................................................................................................. 329

Tabla 9.14. Razn de Validez de Contenido para cada indicador segn el Modelo Lawshe modificado por Tristn (CVR) ........................................................................................... 332

Tabla 9.15. Fiabilidad de las dimensiones del modelo provisional I segn el ndice Kappa de Fleiss ................................................................................................................................. 335

Tabla 9.16. Fiabilidad del sistema de indicadores del modelo provisional I segn el ndice Kappa de Fleiss ............................................................................................................................ 336

Tabla 9.17. Resultados de la validacin cualitativa de las dimensiones del modelo .......................... 341

Tabla 9.18. Comentarios realizados por los expertos respecto de las dimensiones del modelo provisional I ....................................................................................................................... 341

Tabla 9.19. Resultados de la validacin de los indicadores de la dimensin 1 .................................. 342

Tabla 9.20. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 1 ........................................................................................................................................... 343


Tabla 9.22. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 2 ....................................................................................................................... 344





Tabla 9.27. Los resultados de la validacin de los indicadores de la dimensin 5............................. 347


Tabla 9.29. Resultados de la validacin cualitativa de los indicadores la dimensin 6 ...................... 348


Tabla 9.31. Resultados de la validacin cualitativa de la subdimensin 7.1 ...................................... 349

Tabla 9.32. Comentarios realizados por los expertos respecto de los indicadores de la subdimensin 7.1 .............................................................................................................. 350

Tabla 9.33. Los resultados de la validacin cualitativa de la subdimensin 7.2 ................................ 352


Tabla 9.35. Resultados de la validacin cualitativa de la subdimensin 7.3 ...................................... 353


Tabla 9.37. Resultados de la validacin cualitativa de la dimensin 8 ............................................... 354

Tabla 9.38. Comentario realizado por los expertos respecto de los indicadores de la dimensin 8 ....................................................................................................................... 355


19

Tabla 9.39. Los resultados de la validacin cualitativa de la dimensin Tutora ................................ 355


Tabla 9.41. Los resultados de la validacin cualitativa de la dimensin 10 ........................................ 356

Tabla 9.42. Comentarios realizados por los expertos respecto de los indicadores de la dimensin 10 ..................................................................................................................... 356





Tabla 9.47. Resultados de la validacin cualitativa de la dimensin 13 ............................................. 359


Tabla 9.49. Resultados de la validacin cualitativa de la dimensin 14 ............................................. 360


Tabla 9.51. Triangulacin de los datos obtenidos para la dimensin 1 .............................................. 362



Tabla 9.54. Modificaciones en las dimensiones del modelo provisional II .......................................... 364

Tabla 9.55. Triangulacin de los datos obtenidos para el indicador APEV-1 ..................................... 365



Tabla 9.58. Modificaciones en el modelo provisional II. Dimensin "Justificacin del programa virtual" ................................................................................................................................ 367

Tabla 9.59. Modificaciones en el modelo provisional II. Dimensin "Objetivos formativos del programa virtual\ ................................................................................................................ 367

Tabla 9.60. Modificaciones en el modelo provisional II. Dimensin "Perfil de ingreso y egreso ........ 368

Tabla 9.61. Modificaciones en el modelo provisional II. Dimensin "Contenido temtico/temario del programa virtual".......................................................................................................... 369

Tabla 9.62. Modificaciones en el modelo provisional II. Dimensin "Actividades de aprendizaje" ..... 369

Tabla 9.63. Modificaciones en el modelo provisional II. Dimensin "Perfil del docente en lnea" ...... 370

Tabla 9.64. Modificaciones en el modelo provisional II. Dimensin "Materiales y recursos didcticos". Subdimensin "Unidad Didctica" ................................................................. 370

Tabla 9.65. Modificaciones en el modelo provisional II. Dimensin "Materiales y recursos didcticos". Subdimensin "Gua Didctica ...................................................................... 372

Tabla 9.66. Modificaciones en el modelo provisional II. Dimensin "Materiales y recursos didcticos". Subdimensin: "Otros materiales y recursos didcticos" .............................. 372

Tabla 9.67. Modificaciones en el modelo provisional II. Dimensin "Estrategias didcticas". ............ 373

Tabla 9.68. Modificaciones en el modelo provisional II. Dimensin "Tutora" .................................... 373

Tabla 9.69. Modificaciones en el modelo provisional II. ...................................................................... 374

Tabla 9.70. Modificaciones en el modelo provisional II. Dimensin "Aula virtual" .............................. 375


20

Tabla 9.71. Modificaciones en el modelo provisional II. Dimensin "Evaluacin de la fase inicial del programa virtual".......................................................................................................... 376

Tabla 9.72. Modificaciones en el modelo provisional II. Dimensin "Evaluacin de la fase de desarrollo del programa virtual\ ......................................................................................... 376

Tabla 9.73. Modificaciones en el modelo provisional II. Dimensin "Evaluacin de la fase final del programa virtual".......................................................................................................... 377

Tabla 9.74. Evolucin del modelo autoevaluacin de programas de educacin universitaria virtual desde el modelo provisional I hasta el modelo provisional II ............................................ 378

Tabla 9.75. Sistema de indicadores del Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual provisional II ...................................................................................... 379

Tabla 9.76. Composicin del primer grupo de discusin .................................................................... 382

Tabla 9.77. Ejemplo de ficha elaborada para los grupos de discusin ............................................... 383

Tabla 9.78. Los resultados de las validacin del modelo provisional II por el primer grupo de discusin ............................................................................................................................ 385

Tabla 9.79. Composicin del segundo grupo de discusin ................................................................. 388

Tabla 9.80. Los resultados de la validacin del modelo provisional II por el segundo grupo de discusin ............................................................................................................................ 390

Tabla 9.81. Triangulacin de los resultados del proceso de validacin del modelo provisional II por los dos grupos de discusin ........................................................................................ 394

Tabla 9.82. Estructura del Modelo Definitivo de Autoevaluacin de Programa de Educacin Universitaria Virtual ........................................................................................................... 398

Tabla 9.83. Sistema de indicadores del modelo definitivo de autoevaluacin de programa de educacin universitaria virtual ........................................................................................... 400

Tabla 9.84. Propuestas de actividades para superar las resistencias a la implementacin del modelo ............................................................................................................................... 431

Tabla 9.85. Propuesta del cuestionario para evaluar el programa virtual en la fase de desarrollo .... 437

Tabla 9.86. Propuesta del programa de la conferencia mgistral sobre el Modelo de autoevaluacin de Programas de Educacin Universitaria Virtual ............................................................. 439

NDICE DE FIGURAS Figura 1.1. Desarrollo de la investigacin ............................................................................................. 42

Figura 2.2. Taxonoma de Bloom original y revisada. ........................................................................... 76

Figura 2.3. Taxonoma de Bloom para la Era Digital ............................................................................ 77

Figura 3.1. Modelo integrador de evaluacin de programas ............................................................... 127

Figura 3.2. Metodologa de autoevaluacin de programas de educacin universitaria virtual

propuesta ........................................................................................................................... 137

Figura 3.3. Criterios de evaluacin de un programa utilizados por la ANECA ................................... 145

Figura 5.1. Clasificacin de los estndares de educacin virtual y estndares asociados ................ 177

Figura 5.2. Proceso de acreditacin de la EFMD CEL. ...................................................................... 196

Figura 5.3. Mapa conceptual del anlisis del alcance de los estndares tecnolgicos y de la calidad

relacionados con educacin virtual.179


21

Figura 6.1. Modelo EFQM. .................................................................................................................. 246

Figura 6.2. Propuesta del Cuadro de Mando Integral para una universidad virtual............................ 248

Figura 8.1. Procedimiento de diseo y validacin del Modelo de Autoevaluacin de Programas de

Educacin Universitaria Virtual.......................................................................................... 294

Figura 9.1. Estructura del Modelo de Autoevaluacin de Programas de Educacin Universitaria

Virtual provisional I ............................................................................................................ 302

NDICE DE IMGENES

Imagen 9.1. Captura de pantalla del formulario de validacin en lnea. Apartado 1 .......................... 325 Imagen 9.2. Captura de pantalla del formulario de validacin en lnea. Validacin de

dimensiones .................................................................................................................... 325 Imagen 9.3. Captura de pantalla del formulario de validacin en lnea. Descripcin de las

dimensiones .................................................................................................................... 326 Imagen 9.4. Captura de pantalla del formulario de validacin en lnea. Cambio de color de la

fila. ............................................................................................................................... 326 Imagen 9.5. Captura de pantalla del formulario de validacin en lnea. Seleccin de indicadores ... 326 Imagen 9.6. Captura de pantalla del formulario de validacin en lnea .............................................. 327 Imagen 9.7. Captura de pantalla de resultados de validacin obtenidos a travs de la pgina web

HTML5 .......................................................................................................................... 328 Imagen 9.8. Imagen de un momento de la sesin del grupo de discusin de los expertos .............. 384 Imagen 9.9. Imagen de un momento de la sesin del grupo de discusin de los usuarios de la

educacin virtual........................................................................................................... 389 Imagen 9.10. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto.

Apartado 1 .................................................................................................................... 433 Imagen 9.11. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto.

Apartado 2 .................................................................................................................... 433 Imagen 9.12. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto.

Apartado 3 .................................................................................................................... 434 Imagen 9.13. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Modo de

rellenar el protocolo ...................................................................................................... 434 Imagen 9.14. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Modo de

inicio de autoevaluacin ............................................................................................... 435 Imagen 9.15. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Ficha

descriptiva del indicador ............................................................................................... 435 Imagen 9.20. Captura de pantalla del protocolo de autoevaluacin en lnea propuesto. Seleccin

de la escala de evaluacin ........................................................................................... 436


23

NDICE DE ABREVIATURAS ACODE Australasian Council on Open, Distance and E-Learning ACCJC Accrediting Commission for Community and Junior Colleges ACSUG Axencia para a Calidade do Sistema Universitario de Galicia ADL Advanced Distributed Learning AENOR Asociacin Espaola de Normalizacin y Certificacin AFNOR Association Franaise de Normalisation AGRs AICC Guidelines and Recommendations AICC Aviation Industry CBT Comittee ANCED Asociacin Nacional de Centros de e-Learning y Distancia ANECA Agencia Nacional de Evaluacin de la Calidad y Acreditacin AQU Agncia per a la Qualitat del Sistema Universitari de Catalunya BCTD British Centre for Training and Development BENVIC Benchmarking of Virtual Campuses CALED Instituto Latinoamericano y del Caribe de Calidad en Educacin Superior a

Distancia CBT Computer Based-Training CEN European Committee for Standardization CIEES Comits Interinstitucionales para la Evaluacin de la Educacin Superior CINCE Centro Nacional de Informacin y Comunicacin Educativa de Espaa CMI Cuadro de Mando Integral CONEAU Comisin Nacional de Evaluacin y Acreditacin Universitaria (Argentina) CWA CEN Workshop Agreements DIN Deutsches Institut fr Normung EADL European Association for Distance Learning EATDU European Association of Distance Teaching Universities EdNA Education Network Australia EFMD European Foundation for Management Development EFMD European Foundation for Management Development EFQUEL European Foundation for Quality in eLearning EFQM European Foundation for Quality Management eMM E-learning maturity model ENQA European Association for Quality Assurance in Higher Education IEC International Electrotechnical Commission IEEE/ LTSC Institute of Electrical and Electronics Engineers/Learning Technologies

Standards Committee ISO International Standards Organisation LCMS Learning Content Management System LMS Learning Management Systems LO Learning Object LOM Learning Object Metadata LORM Learning Object Repositories Network MASSIVE Nombre propio de la herramienta NAACE National Association of Advisors for Computers in Education NADE Norwegian Association for Distance Education


24

OAI Open Archives Initiative ODRL Open Digital Rights Language ODL QC Open and Distance Learning Quality Council PAS Publicitly Available Specification RFDQ Reference Framework for the Description of Quality Approaches RUEDA Red de Universidades de Educacin a Distancia SCORM Shareable Content Object Reference Model QAA Quality Assurance Agency for Higher Education UNE Una Norma Espaola UNIQUe European University Quality in eLeaning TIC Tecnologas de Informacin y Comunicacin W3C World Wide Web Consortium


25

INTRODUCCIN

Para mejorar la calidad de los programas de educacin virtual, las personas responsables de su ejecucin necesitan, adems del punto de vista que les ofrecen las evaluaciones externas realizadas por los profesionales externos o ajenos a la universidad, disponer de una visin propia sobre el estado del programa, sus fortalezas, debilidades y oportunidades de mejora. Este enfoque hace posible la autoevaluacin que es el primer paso en el proceso de mejora continua.

Llevar a cabo la autoevaluacin de un programa de educacin universitaria virtual implica contar con un modelo de autoevaluacin particular que tenga en cuenta las peculiaridades de estos programas. Por ello, se propone un conjunto de variables, dimensiones e indicadores de calidad adecuados al objeto y al contexto en el que se produce y desarrolla dicho programa.

Cabe mencionar que, actualmente, existen muchos modelos que indican qu dimensiones se deben medir durante el proceso de evaluacin de la calidad de educacin virtual y, a la vez, proponen un conjunto de indicadores para valorar las mismas. No obstante, la mayora de dichos modelos suelen orientarse a la evaluacin institucional sin hacer el debido nfasis en la evaluacin de programas formativos a partir de los que se desarrolla la educacin virtual. S que existen algunos modelos desarrollados con el fin de evaluar los mencionados programas, pero el problema es que son pocos y, adems, no permiten evaluar tanto la calidad del propio programa como la calidad de su planificacin, desarrollo y resultados, tal como postula Martnez (2013):

La evaluacin de programas debe recoger la informacin sistemtica acerca de un programa elaborado para atender a unas necesidades, centrada en 1) la calidad del propio programa, en sus fundamentos, estructura y coherencia; 2) la planificacin de su puesta en accin, considerando los recursos personales, materiales y organizativos; 3) el programa en su desarrollo, en la accin, y 4) sus resultados, en el inmediato, medio y largo plazo, con el objetivo de comprobar y valorar el grado y calidad con el que ha conseguido atender las necesidades y resolver los problemas que eran la razn del ser del programa (Martnez, 2013, p. 197).

Para suplir dicho vaco, el objetivo del presente trabajo est orientado al diseo de un modelo aplicativo para la autoevaluacin de programas de educacin universitaria virtual que integre la evaluacin de la calidad de propio programa virtual y la evaluacin continua del mismo. De esta manera, se espera que el modelo se convierta en una herramienta til para evaluar y mejorar todos los elementos que constituyen un programa virtual y cada una de las tres fases por las que el programa pasa durante su existencia; es decir, la fase inicial, la fase de desarrollo y la fase final.

El punto de partida del diseo del modelo fue el anlisis bibliogrfico-documental sobre los elementos de programa de educacin universitaria impartido bajo la modalidad virtual e indicaciones sobre el mtodo de evaluacin de ste, as como el estudio documental sobre los estndares, modelos y herramientas desarrollados para evaluar la calidad de educacin virtual que actan a modo de aliados para la autoevaluacin del programa mencionado anteriormente.

A partir de los resultados de dicho anlisis se construy el Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual compuesto de dos variables, catorce dimensiones y ciento once indicadores. Para facilitar la aplicacin y precisar la utilidad de los indicadores propuestos se elabor una ficha descriptiva para cada uno de los indicadores


26

que contiene elementos indicados por la norma UNE 66175, es decir, el cdigo del indicador, su objetivo, su descripcin, frmula de clculo del indicador y evidencias solicitadas para que se pueda evaluar el grado de cumplimiento del indicador.

Antes de construir el modelo definitivo, se elaboraron dos borradores del mismo que se sometieron al proceso de validacin por expertos internacionales en la educacin virtual, aplicacin piloto en la autoevaluacin de cuatro programas virtuales ofrecidos por la Universidad Abierta y a Distancia de Mxico y dos grupos de discusin, uno entre los profesionales del Sistema de Universidad Virtual de la Universidad de Guadalajara (Mxico) y el otro entre cinco usuarios (estudiantes) de la educacin universitaria virtual.

Aunque para comprobar la total utilidad del modelo diseado se debe aplicar el mismo en la autoevaluacin de un conjunto de programas virtuales, su aplicacin piloto en la autoevaluacin de cuatro programas de educacin universitaria virtual permiti comprobar su gran potencial a la hora de evaluar la calidad de dichos programas mediante la deteccin de sus puntos fuertes y dbiles y la obtencin de datos relevantes que sirven de base para elaborar un plan de accin de sus mejora. Permiti, a su vez, proponer diferentes propuestas para facilitar la implementacin del modelo en la realidad universitaria. Entre dichas propuestas se encuentran, estrategias para implementar y seguir el modelo, estrategias para superar las resistencias a la implementacin del modelo, un protocolo en lnea de autoevaluacin de programas de educacin universitaria virtual, un cuestionario de opinin de los estudiantes sobre el programa virtual en la fase de su desarrollo y la propuesta de la conferencia magistral sobre el Modelo de Autoevaluacin de Programas de Educacin Universitaria Virtual propuesto.

Toda la investigacin realizada se describe en el presente documento, a travs de 10 captulos agrupados en cinco bloques.

BLOQUE 1: FUNDAMENTACIN Y DISEO GENERAL DE LA INVESTIGACIN

El primer bloque est dedicado al diseo general de la investigacin. Consta de un captulo (captulo 1) en el que se explica el problema de la investigacin y se expone la justificacin de la misma. A continuacin, se describen las etapas de desarrollo de la investigacin realizada y se presenta el cronograma de la misma. El captulo termina con la presentacin de la estructura de la investigacin.

BLOQUE 2: MARCO TERICO GENERAL

El segundo bloque est dedicado al estudio de los fundamentos tericos de la autoevaluacin de programas de educacin universitaria virtual. Consta de dos captulos:

En el captulo 2, se define la educacin virtual, sus caractersticas generales y elementos de la misma. Adems, se muestran numerosas definiciones de programa formativo que se dividen en tres grupos: 1) Programa como plan; 2) Programa como accin, y 3) Programa como contenido. Asimismo se define el programa de educacin universitaria virtual y se describen los elementos bsicos del mismo, prestando especial atencin a su importancia en la calidad de los antemencionados programas. Estos elementos son: justificacin del programa, objetivos del mismo, perfil del estudiante, contenido temtico del programa, materiales y recursos didcticos, perfil del docente en lnea, actividades de aprendizaje, tutora, estrategias didcticas, estrategias de evaluacin de aprendizaje del estudiante, y el aula virtual a partir de la cual se desarrollo el programa. El captulo 3 trata en profundidad el tema de calidad de programas de educacin universitaria virtual y mtodos de evaluacin de dicha calidad. La autoevaluacin es un mtodo bsico para evaluar los programas mencionados y esencial para mejorarlos, por lo tanto consideramos necesario su detenido estudio para conocer las principales teoras y


27

procedimiento de su realizacin. En el marco de educacin universitaria, con frecuencia, la autoevaluacin de programas constituye el paso inicial hacia su acreditacin, por lo cual, describimos tambin este tipo de evaluacin. Ya que la autoevaluacin de un programa se debe llevar a cabo en tres momentos de su realizacin (inicial, desarrollo y final), por eso, dicho captulo aborda tambin el tema de evaluacin continua de programas de educacin universitaria virtual. El captulo termina con un debate conceptual sobre la autoevaluacin y conceptos similares a la misma que no se deberan confundir (acreditacin, evaluacin interna y evaluacin externa).

BLOQUE 3: MARCO TERICO ESPECFICO SOBRE LOS ESTNDARES, MODELOS Y HERRAMIENTAS DE EVALUACIN DE CALIDAD DE EDUCACIN VIRTUAL

El tercer bloque de la investigacin, que consta de cuatro captulos, es un estudio documental sobre diferentes estndares, modelos y herramientas diseados para la evaluacin de educacin virtual que actan a modo de aliados para las universidades en su camino hacia la autoevaluacin de programas de educacin virtual.

En el captulo 4 se presenta la metodologa utilizada para desarrollar este estudio documental. Se muestran aspectos como el tipo de investigacin, diseo y procedimientos de seleccin de estndares, modelos y herramientas, variables, tcnicas e instrumentos de recopilacin de informacin que fueron utilizados para llevar a cabo dicha investigacin.

El captulo 5 tiene como objetivo presentar un acercamiento a los estndares asociados al mbito de educacin virtual y conocer cules son los ms adecuados para la autoevaluacin de programas de educacin universitaria virtual. Por ello, se explica el concepto de estndares y se presentan las ventajas de su uso para la educacin virtual. Tambin se muestran dos tipos de estndares desarrollados para evaluar la educacin virtual: 1) estndares tecnolgicos y 2) estndares relacionados con la gestin y aseguramiento de la calidad de educacin virtual. Los estndares de calidad tambin se presentan en dos grupos: los estndares reconocidos en toda Europa y los estndares nacionales desarrollados y utilizados solamente en algunos pases europeos, entre ellos, en Espaa. Finalmente, para saber cules de los estndares analizados pueden servirnos de referente para llevar a cabo la autoevaluacin de programas de educacin universitaria virtual, en el ltimo subapartado del captulo se hace un anlisis del alcance de los estndares revisados en este captulo. El captulo termina con las conclusiones extradas del anlisis de estndares realizados, junto con un mapa conceptual que constituye el resumen de la investigacin realizada sobre los estndares desarrollados para la educacin virtual.

El objetivo del captulo 6 es identificar y realizar un anlisis comparativo de los modelos tericos de evaluacin de programas de educacin virtual ms representativos, incidiendo en sus caractersticas ms significativas, fortalezas y debilidades, dimensiones, reas y criterios que proponen para evaluar la calidad de dichos programas. El anlisis incluye modelos clsicos que han sido desarrollados para la evaluacin de programas de educacin presencial y son adaptados o recomendados para evaluar los que se realizan en la modalidad virtual. Asimismo, se analiza una buena parte de los modelos desarrollados con el propsito de evaluar la calidad de programas de educacin virtual. Estos modelos se analizan desde dos enfoques: parcial y global. El primer enfoque aborda el anlisis de tres tipos de modelos: 1) modelos diseados para evaluar alguna accin formativa, 2) modelos diseados para evaluar la calidad de materiales didcticos, y 3) modelos diseados para evaluar la calidad del aula virtual. Dentro del segundo enfoque se analizan los modelos de evaluacin centrados en estndares de calidad total (TQM) y en benchmarking. El captulo termina con las conclusiones extradas del anlisis descriptivo-comparativo de los modelos analizadas a lo largo del captulo.

En el ltimo captulo del tercer bloque de la investigacin (captulo 7) se describen


28

diferentes herramientas de gran relevancia en el contexto espaol e internacional que deben ser tomadas en cuenta por las universidades que pretendan atender a los lineamientos generales y especficos en cuanto a la autoevaluacin de programas de educacin universitaria virtual. La mayor parte de estas herramientas constituyen guas de autoevaluacin que han sido diseadas por las instituciones responsables de la evaluacin y acreditacin de educacin superior, con el fin de ayudar a las universidades a realizar la evaluacin interna, que es el primer paso en el proceso de acreditacin. Adems de dichas guas, en este captulo se describen tambin algunas herramientas on-line diseadas con el propsito de llevar a cabo la antemencionada evaluacin. El captulo termina con las conclusiones extradas del anlisis descriptivo-comparativo de las herramientas analizadas a lo largo del captulo.

BLOQUE 4: MARCO APLICADO El cuarto bloque de este trabajo, que resume la investigacin emprica desarrollada, se divide a su vez en dos captulos:

En el captulo 8 se presenta la metodologa empleada para la elaboracin del modelo de autoevaluacin de programas de educacin virtual. Se muestran aspectos como el tipo de investigacin y el procedimiento de diseo y validacin de dicho modelo.

En el captulo 9 se presentan los principales resultados de la investigacin. Se presenta el proceso de diseo del modelo provisional I (primer borrador) para llevar a cabo la autoevaluacin de programas de educacin universitaria virtual. Tambin se presenta el proceso de validacin de dicho modelo que se llev a cabo por parte de un grupo de expertos, as como aplicndolo en la autoevaluacin de cuatro programas ofrecidos por la Universidad Abierta y a Distancia de Mxico. Adems, se presenta el proceso de diseo y validacin del modelo provisional II (segundo borrador). Dicha validacin se llev a cabo mediante dos grupos de discusin: uno entre los expertos del Sistema Virtual de la Universidad de Guadalajara (Mxico) y otro entre los usuarios (estudiantes) de la educacin universitaria virtual. El captulo termina con el modelo definitivo elaborado a partir de los resultados de la antemencionada validacin, as como con algunas propuestas para facilitar su implementacin en las universidades.

BLOQUE 5: MARCO CONCLUSIVO

Finalmente, el quinto bloque contiene el captulo 10 en el que se ofrecen algunas conclusiones de especial relevancia e implicaciones para futuras investigaciones sobre la autoevaluacin de programas virtuales a partir de los hallazgos obtenidos en esta investigacin. Tambin se exponen las limitaciones encontradas durante la investigacin.

Todos los captulos contienen una introduccin general que focaliza y sit a el tema que se presenta en los mismos y una sntesis final que resume lo significativo de las distintas aportaciones en relacin al tema del captulo y contenido de la tesis.

La presente tesis opta a la acreditacin de Mencin de Doctor Internacional, por lo que la introduccin, el Captulo 1 y el Captulo 10 se presentan tambin traducidos al ingls.


29

INTRODUCTION

In order to improve the quality of virtual education programmes, the persons in charge of the said programmes require, apart from their own point of view, external assessments carried out by professionals not belonging to the university in order for them to provide their own vision of the programme, its strengths, weaknesses and improvement opportunities. This focus makes it possible to self-assess the programmes as the first step of the process of its continuous improvement. Carrying out the self-assessment of a virtual education programme implies applying an assessment model specific to this type of programmes. For this reason a set of quality variables, dimensions and indicators is proposed suitable to the purpose and context of the said programmes. It is worth mentioning that currently there are many models that indicate what dimensions should be measured during the assessment of virtual education and, at the same time, propose a set of indicators in order to evaluate the said dimensions. Nevertheless, most of the said models are focused on institutional assessment without duly emphasizing the assessment of educational programmes upon which it is based. There are some models developed in order to assess the said programmes, nevertheless there are only few of them and they do not allow evaluating both the quality of the programme, as wells as the quality of its planning, development and results, as postulated by Martnez (2013):

Program evaluation is the systematic collection of information regarding a program in order to meet specific needs, that is focused on 1) the quality of the program itself, its basic elements, structure and coherence; 2) the planning of its putting into action, taking into consideration human, material and organizational resources, 3) the development of the program and 4) the program results in the immediate, medium and long term in order to verify and assess the degree and quality with which the needs have been met and the problems have been solved (Martnez, 2013, p. 197).

In order to fill this void, the purpose of this thesis is to design a model to be applied in the assessment of virtual education programmes, which includes assessment of the quality of the program itself, as well as its continuous assessment. This way the model is expected to become an useful tool in order to evaluate and improve all the elements of virtual education programmes in all the three phases of their existence, that is, the initial phase, the development phase and the final phase.

The starting point of the design was a bibliographical-docum

advertiment advertencia - dipòsit digital de … · 2017-02-08 · 2.3.11. aula virtual ... guía...

Documents