construcciÓn y aplicacion de un … · análisis de componentes principales y rotación varimax...

97
CONSTRUCCIÓN Y APLICACION DE UN INSTRUMENTO PARA EVALUACIÓN DEL DESEMPEÑO ACADEMICO Y LABORAL DE LOS EGRESADOS DE UN PROGRAMA DE MEDICINA

Upload: truongmien

Post on 25-Sep-2018

214 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CONSTRUCCIÓN Y APLICACION DE UN INSTRUMENTO PARA

EVALUACIÓN DEL DESEMPEÑO ACADEMICO Y LABORAL DE LOS

EGRESADOS DE UN PROGRAMA DE MEDICINA

Page 2: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

PONTIFICA UNIVERSIDAD JAVERIANA

FACULTAD DE MEDICINA

UNIDAD DE EPIDEMIOLOGIA Y BIOESTADÍSTICA

CONSTRUCCION Y APLICACIÓN DE UN INSTRUMENTO PARA

EVALUACIÓN DEL DESEMPEÑO ACADEMICO Y LABORAL DE LOS

EGRESADOS DE UN PROGRAMA DE MEDICINA

MARY BERMÚDEZ GOMEZ, MD

Tesis presentada a la Facultad de Medicina

Como requisito para optar el grado de

Maestría en Epidemiología Clínica

Pontificia Universidad Javeriana

Diciembre de 2005

2

Page 3: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

COMITÉ DE TESIS

TUTORES:

o Dr Rodolfo Dennis Verano

o Dra María Nelsy Rodríguez

JURADOS

o Dra María Dolores Pérez

o Dr Carlos Gómez

o Dr Martín Alonso Rondón

3

Page 4: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CONSTRUCCION Y SEGUIMIENTO DE UN INSTRUMENTO PARA

EVALUACIÓN DEL DESEMPEÑO ACADEMICO Y LABORAL DE LOS

EGRESADOS DE UN PROGRAMA DE MEDICINA

CONTENIDOS

CAPITULO 1:

INTRODUCCIÓN ...............................................................................................................11

CAPITULO 2:

JUSTIFICAGIÓN Y MARCO TEORIGO .........................................................................14

CAPITULO 3:

OBJETIVOS: PRINCIPAL Y SECUNDARIO .................................................................23

CAPITULO 4:

METODOS: TIPO DE DISEÑO .......................................................................................24

4.1. ETAPA I: DISEÑO Y VALIDACIÓN DEL INTRUMENTO

4.1.1. CONSTRUCCION DEL INSTRUMENTO

4.1.1.1. Establecer dominios y preguntas ..................................................24

4.1.1.1.1. Grupos Focales

4.1.1.1.2. Entrevistas semi-estructuradas

4.1.1.1.3. Entrevistas en profundidad

4.1.1.1.4. Construcción del instrumento preliminar

4.1.1.1.5. Validez de apariencia y contenido del instrumento

preliminar

4.1.1.1.6. Reproducibilidad del instrumento preliminar

4.1.1.2. Análisis Factorial ........................................................................27

4.1.1.2.1. Extracción de Factores y Reducción de items

4.1.1.2.2. Consistencia interna de la escala

4

Page 5: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

4.1.2. VALIDEZ DEL INTRUMENTO .............................................29

4.1.2.1. Validez de Apariencia

4.1.2.2. Validez de Contenido

4.1.2.3. Validez de Constructo

4.1.3. CONFIABILIDAD DEL INSTRUMENTO FINAL .................29

4.1.3.1. Evaluación de calidad

4.1.3.2. Reproducibilidad

4.1.4. INSTRUMENTO PARA LOS PACIENTES ............................30

Aplicación

4.2. ETAPA II: APLICACIÓN DEL INSTRUMENTO ................................30

4.2.1. Población de estudio

4.2.2. Aplicación del instrumento

CAPITULO 5:

PRESENTACION DE RESULTADOS: ....................................................................32

5.1. CONSTRUCCION Y VALIDACIÓN DEL INSTRUMENTO ..............32

5.2. APLICACIÓN DEL INSTRUMENTO A PACIENTES .........................56

5.3. APLICACIÓN DEL INSTRUMENTO FINAL. EVALUACIÓN

DEL EGRESADO JAVERIANO.....................................................................61

CAPITULO 6:

ANÁLISIS, CONCLUSIONES Y RECOMENDACIONES ......................................65

CAPITULO 7:

BIBLIOGRAFÍA .........................................................................................................69

ANEXOS …………………………………………………………………………….74

LISTADO DE TABLAS ..............................................................................................6

LISTADO DE ANEXOS .............................................................................................7

5

Page 6: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

LISTADO DE TABLAS:

TABLA No.1: Flujograma Construcción del Instrumento (Pag. 33)

TABLA No.2: Definición y significado del Proyecto según grupos focales (Pag. 35)

TABLA No.3: Dominios propuestos para el Instrumento preliminar (Pag.37)

TABLA No.4: Listado Preliminar de dominios e items (Pag.38)

TABLA No.5: Aspectos demográficos a evaluar en los egresados (Pag.40)

TABLA No.6: Validez de apariencia y contenido Instrumento preliminar – respuestas

(Pag.41)

TABLA No 7: Validez de apariencia y contenido Instrumento preliminar – consolidado

(Pag.42)

TABLA No.8: Nivel de importancia establecido por los jueces para el instrumento

preliminar (Pag.43)

TABLA No.9: Evaluación de la Calidad de los items. Instrumento preliminar (Pag.44)

TABLA No.10: Reproducibilidad de los Items. Instrumento preliminar (Pag.46)

TABLA No. 11: Supuestos para el análisis factorial (Pag. 48)

TABLA No.12: Factores extraídos según porcentaje de varianza explicada (Pag.50)

TABLA No.13: Factores e Items retenidos (Pag.51)

TABLA No.14: Confiabilidad del Instrumento y sus factores (Pag.51-52)

TABLA No. 15: Nominación de los factores (Pag.53)

TABLA No.16: Reproducibilidad del Instrumento final (Pag. 55)

TABLA No.17 A – 17 B: Motivo de los pacientes para escoger su médico (Pag.57-58)

TABLA No.18: Médicos Javerianos evaluados según vinculación (Pag.59)

TABLA No.19: Evaluación del egresado Javeriano (Pag.60)

TABLA No.20: Resultados obtenidos en la evaluación del Javeriano de acuerdo al puntaje

(Pag. 61)

TABLA No.21: Resultados evaluación del Javeriano por factores (Pag.62)

TABLA No.22: Concepto general sobre la carrera de Medicina de la Universidad Javeriana

(Pag.63)

GRAFICO No.1: Scree Plot del análisis factorial (Pag.49)

6

Page 7: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

LISTADO DE ANEXOS

1. ANEXO 1: Tabla resumen estudios publicados para evaluar Profesionalismo

(Referencia 23) (Pag 71)

2. ANEXO 2: Guía de Trabajo para grupos focales (Pag.72)

3. ANEXO 3: Matriz resultados grupos focales (Pag.73)

4. ANEXO 4: Formato entrevistas semi-estructuradas (Pag 74)

5. ANEXO 5: Formato entrevistas en profundidad (Pag 75)

6. ANEXO 6: Informe consolidado resultado de las entrevistas (Pag 76)

7. ANEXO 7: Instrumento preliminar. Validación fase I y fase II (Pag 77)

8. ANEXO 8: Nivel de Importancia establecido por los jueces para el Instrumento

preliminar (Pag 78)

9. ANEXO 9: Evaluación de calidad de los items instrumento preliminar (Pag 79)

10. ANEXO 10: Reproducibilidad instrumento preliminar (Pag 80)

11. ANEXO 11: Instrumento No.1 Preliminar (para análisis factorial) (Pag 81)

12. ANEXO 12: Base de datos Ministerio de la Protección social (Pag 82)

13. ANEXO 13: Matriz de correlaciones y determinante (Pag 83)

14. ANEXO 14: Comparación de tres métodos para extracción de factores (Pag 84)

i. Análisis de componentes principales y rotación Varimax

ii. Máxima Verosimilitud y rotación Varimax

iii. Factorización del eje principal y rotación Varimax

15. ANEXO 15: Varianza total explicada: Porcentaje de Varianza acumulada y eigen

value (Pag 85)

16. ANEXO 16: Tabla de factores e Items retenidos (Pag 86)

17. ANEXO 17: Instrumento Final por factores y para aplicación (Pag 87)

18. ANEXO 18: Evaluación de calidad de Items y escala de respuesta en el instrumento

final (Pag 88)

19. ANEXO 19: Reproducibilidad del Instrumento final (Pag 89)

20. ANEXO 20: Resultados evaluación del egresado Javeriano por factores (Pag 90)

21. ANEXO 21: Instrumento para pacientes (Pag 91)

22. ANEXO 22: Resultado opinión de pacientes (Pag 92)

7

Page 8: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

RESUMEN

CONSTRUCCION Y APLICACION DE UN INSTRUMENTO PARA

EVALUACIÓN DEL DESEMPEÑO ACADEMICO Y LABORAL DE LOS

EGRESADOS DE UN PROGRAMA DE MEDICINA

Objetivos: Construir y aplicar un instrumento para medir el impacto académico y laboral

de los egresados de un programa de medicina

Diseño: Investigación cualitativa, para diseño y validación de una escala

Métodos: Se utilizaron grupos focales, entrevistas semi-estructuradas y en profundidad,

para establecer los dominios que debían incluirse en este instrumento. A partir de los

resultados obtenidos se construyó un instrumento preliminar, validado en apariencia y

contenido por un grupo de expertos. La validez de constructo se hizo a través de las

matrices resultantes por confrontación de contenidos. No se estableció validez de criterio

por no existir patrón de oro. Se evaluó calidad de los items, reproducibilidad de la escala y

de los items mediante prueba de wilcoxon, eliminando los no reproducibles. Se realizó

análisis factorial por el método de Análisis de Componentes Principales y rotación

Varimax, para extracción de factores. Prueba de confiabilidad para la escala resultante y se

nominaron los factores extraídos. El instrumento final se utilizó para evaluar egresados

Javerianos. Una versión modificada se empleo para conocer la opinión de los pacientes.

Resultados: Se realizaron 3 grupos focales, 16 entrevistas para construcción del

instrumento preliminar, el cual fue validado por 20 expertos. El Instrumento preliminar

que contenía 67 items, se aplicó a 330 líderes del sector salud para análisis factorial. El

análisis factorial permitió obtener una escala con 8 dominios y 45 variables, con una

consistencia interna alpha = 0.9438. Los factores más importantes fueron los relacionados

con aspectos éticos y valores humanos, tanto en el análisis factorial como en la aplicación a

los pacientes. La aplicación del instrumento validado, calificó el desempeño de los

javerianos, como bueno ó excelente en el 80% de los casos.

Conclusiones: Este trabajo permitió construir un instrumento válido, reproducible y

confiable para medir desempeño de los egresados de un programa de medicina. Su

aplicación permitirá hacer un seguimiento dinámico en el tiempo, para mejorar la calidad

de los programas.

8

Page 9: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

SUMMARY

DEVELOPMENT AND APPLICATION OF AN INSTRUMENT TO EVALUATE

THE ACADEMIC AND PROFESIONAL PERFORMANCE OF GRADUATE

FROM SCHOOL OF MEDICINE

Objectives: Development and application of an instrument to evaluate the academic and

professional performance of graduate from school of medicine

Design: Qualitative research. Development of a scale

Methodology: Focus groups, deep interviews and semi-structured interviews were perform

to establish domains and items for the scale. The face and content validity were evaluated

for the preliminary instrument by experts group. The construct validation was evaluated

through confrontation of the matrices. No criterion validity was perform because there is

not gold standard for it. Quality of items was evaluated and reproducibility test was

conducted through Wilcoxon test. The principal component analysis and varimax rotation

was used to extraction factors. Confiability test with alpha Cronbach was perform for each

domain and the whole scale. The developed instrument was used to evaluate graduates

from Javeriana. A modified and adapted version was use with patients.

Results: Three focus groups, 16 interviews and a 20 experts group were used. The

preliminary instrument has 67 items, 5 domains. The sample size for factor analysis was

330. After the factor analysis the final scale (instrument) had 45 items, 8 domains, Internal

consistence was excellent with alpha Cronbach 0.9438. Being the most important domains

in this instrument, ethics and human values. The patients gave the highest importance to

the same domains that factor analysis.

The application of the validated instrument show that graduate from Javeriana are in the

good and excellent range in more than 80% of the sample.

Conclusions: This qualitative research allowed to development a valid and reproducible

instrument to measure academic and professional performance in graduate medical

students. In the future this instrument will be useful for follow up and improve the quality

of medicine programs.

9

Page 10: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

AGRADECIMIENTOS

A los Doctores Rodolfo Dennis y Maria Nelcy Rodríguez, por su tiempo, sus

enseñanzas, su estímulo permanente, sus aportes y dirección en el desarrollo de este

proyecto

A Martín Alonso Rondón por sus aportes en el análisis estadístico

A la Unidad de Epidemiología Clínica en general, por su paciencia, por todas las

enseñanzas y oportunidades durante estos años

Al Doctor Francisco Henao, quien siendo Decano, me brindó todo el apoyo para

que pudiera culminar este trabajo

A la facultad de Medicina y al Hospital San Ignacio, quienes en forma generosa

cedieron parte de su tiempo para que pudiera ser dedicado a este proyecto

A mis compañeros de la Unidad de Neumología por permitirme el espacio y el

tiempo dedicado a este trabajo

A todas las personas que en diferente forma aceptaron participar y colaborar en el

proyecto

A mis secretarias Nelly Guativa y a mi asistente Sandra Ariza, por toda su ayuda

A Mariela Gómez, Cecilia de Santacruz, Maria Patricia Bermúdez por todos sus

aportes

En una forma muy especial a mi familia que ha sido el soporte, el estimulo y el

apoyo para la realización de mis metas.

10

Page 11: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CAPITULO 1: INTRODUCCIÓN La idea de este proyecto surge a partir de la importancia que para la Educación Superior

tiene los procesos de acreditación de calidad. Teniendo en cuenta que todos estos procesos

buscan que los programas puedan entregar a la sociedad individuos altamente calificados,

idóneos para el ejercicio de la profesión, en capacidad de responder a las necesidades del

país, la comunidad y a las propias; es importante poder evaluar y medir el impacto de su

desempeño como profesionales y como personas. Este proyecto está enmarcado dentro del

proceso de acreditación del programa de medicina.

El Sistema Nacional de acreditación surgió a partir de la ley 30 de 1992, como una

respuesta a la necesidad de fortalecer la calidad en la educación superior y al compromiso

de preservar los derechos de sus usuarios y la sociedad. Existe una necesidad de consolidar

el sistema educativo del nivel superior, para responder a los retos derivados de la

modernización, globalización y creciente investigación científica, tecnológica y

producción de bienes y servicios. El incremento de la oferta de instituciones de educación

superior y sus programas, obliga a establecer un control por calidad, a fortalecer las

comunidades académicas para alcanzar niveles de calidad en los distintos programas y

responder adecuadamente a las exigencias planteadas por el país. El proceso de

acreditación busca responder a todas estas necesidades.

El proceso de acreditación implica la presentación y auto evaluación de la Institución y su

programa, la evaluación por pares académicos, el concepto y recomendaciones y el

reconocimiento de calidad por el cual se da fe pública.(1)

Los objetivos de la Acreditación son:

1. Propiciar el mejoramiento de la calidad en la Educación Superior

2. Ser un mecanismo para la que las Instituciones de educación superior rindan

cuentas a la sociedad y al estado sobre el servicio que prestan

3. Propiciar la idoneidad y la solidez de las Instituciones

4. Ser un incentivo para que las Instituciones de Educación superior verifiquen el

cumplimiento de su misión, propósitos y objetivos en el marco de la Constitución y

11

Page 12: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

la ley

5. Propiciar la auto evaluación permanente de instituciones y programas académicos

dentro de una cultura de evaluación

6. Ser el instrumento mediante el cual el estado da fe publica de la calidad de sus

instituciones y programas

7. Brindar información confiable a los usuarios del sistema

8. Ser un incentivo para los académicos mediante la credibilidad y reconocimiento de

su trabajo

El concepto de calidad involucra identidad intrínseca, institucional y social. Desde el punto

de vista de la Educación superior se entiende como la síntesis de características que

permiten reconocer un programa académico específico y hacer un juicio sobre la distancia

relativa entre el modo como el programa presta el servicio y el optimo que corresponde a su

naturaleza.

Los criterios para la evaluación de los programas son: Universalidad, Integridad, Equidad,

Idoneidad, Responsabilidad, Coherencia, Transparencia, Pertinencia, Eficacia, Eficiencia.

En el caso específico de la Carrera de Medicina, la proliferación de Facultades de

Medicina, plantea un reto que solo puede enfrentarse mediante la evaluación de la calidad.

Este proceso exige el cumplimiento de una serie de normas, estándares y requisitos

mínimos para el aseguramiento de la calidad, pero a la vez plantea al programa la necesidad

de generar estrategias, disponer de recursos físicos y humanos altamente calificados que le

permitan al programa promover y mantener unos niveles de excelencia que lo hagan

competitivo y que permitan ofrecerle a los futuros egresados una formación de excelencia

que le abra muchas puertas en su desarrollo personal y profesional, un ambiente propicio

para su desarrollo académico e investigativo.

El objetivo final del proceso de acreditación será el poder ofrecer a la sociedad un

profesional íntegro, con principios éticos y morales sólidos, con una formación de

12

Page 13: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

excelencia que lo haga altamente competitivo, con una gran capacidad para el trabajo y el

servicio a la comunidad y a la sociedad en general. Pero será necesario evaluar en una

forma objetiva si estos propósitos se cumplen, durante su ejercicio profesional, mediante la

aplicación de un instrumento adecuadamente desarrollado, válido y reproducible.

13

Page 14: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CAPITULO 2:

JUSTIFICACION Y MARCO TEORICO

Dentro de los procesos de auto evaluación y acreditación de los programas de educación

superior uno de los factores o criterios a tener en cuenta es la evaluación de los egresados

de los programas de pre-grado. Ascofame, ha considerado que uno de los factores más

importantes para la acreditación especializada debería ser la evaluación del impacto de los

programas (1, 2). Este factor ha sido evaluado de diferentes formas por los distintos

programas de medicina que han sido acreditados, algunos a través de entrevistas, grupos de

conveniencia e instrumentos no validados. Se ha considerado que este ha sido uno de los

factores mas débilmente trabajados, por las dificultades que impone. Dentro del proceso de

reflexión curricular iniciado por la Universidad Javeriana con miras a las nuevas reformas

curriculares y a la acreditación de los programas no acreditados o de la renovación de la

acreditación de los que ya lo han logrado, se espera que se evalúe nuevamente este aspecto,

dado que se considera de gran importancia en la planeación y reformas hacia el futuro. La

ausencia de instrumentos metodológicamente bien diseñados, estructurados y validados

para evaluar este factor hace necesario el diseño e implementación de uno que nos permita

obtener resultados confiables.

Dentro de los lineamientos para la acreditación, del CNA -Consejo Nacional de

Acreditación se tienen en cuenta nueve factores (3):

Los factores y sus características a evaluar dentro del proceso son:

1. Proyecto Institucional

a. Misión Institucional

b. Pertinencia del Programa

c. Proyecto Institucional

d. Proyecto Educativo del Programa

2. Currículo:

a. Integralidad del currículo

b. Flexibilidad

14

Page 15: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

c. Evaluación y auto-regulación del programa

d. Proyección social

e. Metodologías de la enseñanza

f. Interdisciplinariedad

g. Recursos de apoyo didáctico

h. Recursos Bibliográficos

i. Recursos Informáticos y de comunicación

j. Trabajo de los estudiantes

k. Relaciones nacionales e internacionales

3. Estudiantes

a. Competencias

b. Evaluación de estudiantes

c. Participación en actividades de formación integral

d. Reglamento estudiantil

e. Mecanismos de ingreso

f. Numero de estudiantes admitidos

g. Permanencia y deserción estudiantil

4. Docentes:

a. Número, dedicación y nivel de formación de los profesores

b. Estatuto profesoral

c. Estimulo a la docencia, investigación y extensión o proyección social

d. Selección de profesores

e. Remuneración por méritos

f. Desarrollo profesoral

g. Interacción con las comunidades académicas

h. Producción de material docente

5. Organización, administración y gestión

a. Organización, administración y gestión del programa

b. Dirección del programa

c. Sistemas de comunicación e información

d. Promoción del programa

15

Page 16: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

6. Recursos físicos y financieros

a. Presupuesto del programa

b. Administración de recursos

c. Recursos físicos

7. Egresados e impacto sobre el medio

a. Influencia del programa en el medio

b. Impacto de los egresados en el medio social y académico

c. Seguimiento de los egresados

8. Bienestar Institucional

a. Políticas, programas y servicios de bienestar institucional

9. Investigación

a. Investigación formativa

b. Compromiso con la investigación

Cada uno de estos factores es analizado bajo la perspectiva de docencia, investigación y

proyección social. Este trabajo hace relación solamente a uno de esos factores y la

caracterización y seguimiento del egresado será el objeto principal de este instrumento.

Cada programa y cada Institución tiene sus particularidades y aunque este será un

Instrumento que se aplicará al egresado Javeriano, se espera que pueda ser un instrumento

universal y que pueda ser utilizado por otras facultades para evaluar este factor.

De acuerdo con el CNA este factor debe evaluarse bajo ciertas características:

- Relación con el entorno

- Proyección hacia la comunidad

- Ubicación y seguimiento

Algunos de los indicadores de impacto más importantes serían:

a. Desempeño de los egresados a través de evaluaciones hechas por medio de

pruebas externas objetivas (como las pruebas de estado)

b. Opinión de los expertos en salud sobre los egresados (instrumento

desarrollado)

16

Page 17: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

c. Opinión de usuarios de servicios o productos suministrados por los

egresados (opinión de los pacientes)

Tomando como base los resultados obtenidos en la evaluación de los egresados, realizada

para la acreditación durante los años 1997 y 1997 (4), a partir de una serie de grupos

focales en egresados seleccionados por conveniencia, pretendo realizar un instrumento más

estructurado y de mayor validez en la evaluación de este factor.

Las conclusiones de los resultados obtenidos en ese momento fueron: los 4820 egresados

del programa de Medicina a Diciembre de 1997, habían tenido un impacto verdadero en la

práctica de la Medicina en el País y en el exterior:

-Ocupado posiciones académicas destacadas

-Participando activamente en la atención y cuidado de pacientes en diferentes

instituciones especialmente aquellas de alta complejidad

-Destacándose en el área de la Investigación

-Desempeñando exitosamente tareas en el área administrativa y de la salud Pública

-Alto porcentaje de ingreso a programas de pos-grado en Colombia (80%) y en el

exterior

Uno de los sesgos más importantes en esta evaluación fue la vinculación que existía entre

los egresados evaluados y el programa de Medicina, ya que muchos de ellos se encontraban

vinculados como docentes de la Facultad, lo cual podía disminuir la objetividad en el

momento de evaluar (4).

Este proyecto de tesis esta ligado al proceso de auto evaluación con miras a la extensión de

la Acreditación, dentro del marco de la evaluación del Factor Egresados.

La evaluación de este factor incluyó tres partes, dos de las cuales hacen parte de este

proyecto, los resultados serán parte del informe final, para la re-acreditación. Las tres

partes son:

1. Descripción demográfica de los egresados del programa de Medicina:

2. Desempeño Académico y Laboral del egresado del programa de Medicina que

corresponde a la segunda fase de este proyecto. En el desarrollo del instrumento se pretende

17

Page 18: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

establecer cuales son los principales parámetros para tener en cuenta en la evaluación de

este componente del factor 7

3. Opinión de los usuarios (pacientes): Aplicar una encuesta a una muestra por

conveniencia de pacientes de diferentes instituciones para evaluar los aspectos que a su

juicio son los determinantes más importantes del desempeño académico y laboral del

egresado.

La búsqueda de instrumentos existentes utilizados por los programas acreditados mostró

que todos los programas utilizaron algún tipo de instrumento bien sea en forma de

cuestionario con pregunta abierta, grupos focales, encuesta con preguntas de selección

múltiple que fueron aplicados a un grupo representativo de egresados y no a evaluadores

externos. El análisis muestra una debilidad en el sentido de la forma como se elaboraron

los instrumentos y la forma como se aplicaron. Específicamente la Facultad utilizó el

método de grupos focales, cuyo resultado se mencionó previamente.

El trabajo titulado "Investigación sobre el desempeño del egresado de la Facultad de

Medicina de la Universidad Javeriana" realizado en 1987 (5), utilizó un instrumento

diseñado por los investigadores que incluye las siguientes variables: Datos personales,

datos sobre el ejercicio de la profesión: tipo de práctica, áreas de desempeño, tipo de

especialidad, Datos sobre nivel de ingresos, realización profesional. Datos sobre las

instituciones donde trabajan los egresados y tipo de cargos que desempeñan. Es importante

anotar que en este estudio el porcentaje de respuestas obtenidas fue inferior al 10% y por

otro lado solo se mencionan algunos aspectos del desarrollo de la encuesta, pero no están

claramente especificados los aspectos metodológicos del diseño y validación.

El estudio de Imagen de la Universidad Javeriana (6), utilizó una entrevista semi

estructurada para ser aplicada a diferentes empleadores, que evaluó aspectos como

expectativas de contratación, percepción de los egresados del PUJ en cuanto a aspectos

generales y específicos por área, competencias, debilidades y fortalezas. La muestra por

facultades fue muy pequeña ya que el objetivo era evaluar a los egresados javerianos en

general y no a los de los programas en particular.

18

Page 19: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Las asociaciones de exalumnos de las diferentes Universidades, tienen encuestas o formatos

para actualización de información de egresados, que no están diseñados para evaluar

desempeño e impacto del programa. Generalmente estos formatos están disponibles en la

página web respectiva.

La búsqueda en bases de datos de Educación Médica, utilizando términos como egresados,

seguimiento, desempeño, (graduated medical student, follow up, associations, medical

education, physicians performance, school of medicine), encontró una serie de instrumentos

que podrían tener las características del que se pretende construir, pero un alto porcentaje

de estos instrumentos son pruebas para medir conocimientos, habilidades, destrezas y

desempeño durante los programas de posgrado, de acuerdo al tipo de educación recibida en

el pregrado. Muy pocos han sido aplicados en egresados durante su ejercicio profesional.

La búsqueda orienta casi todos los artículos a lo que ellos mencionan como

“profesionalismo”, que podría estar equivaler a lo que hemos llamado “desempeño”.

Se encontraron las siguientes publicaciones relacionadas:

- Hojat y colaboradores estudiaron la percepción que egresados jóvenes del Jefferson

Medical College, diferenciando entre hombres y mujeres, tenían acerca de su

educación médica, su vida profesional, práctica médica, elección de

especialidades y su productividad investigativa. El cuestionario previamente

diseñado para otro estudio, fue revisado y adaptado de acuerdo a un estudio piloto

realizado con 20 profesores. Tenía 86 preguntas en 15 sesiones y una parte para

verificación de datos personales. Este es un instrumento de percepción personal.

(7).

- Una publicación muy reciente de Veloski y su grupo, también del Jefferson

College, presenta una revisión de los estudios publicados entre 1982 y 2002 en los

cuales se incluyen instrumentos de medida para evaluar “profesionalismo”.

Relacionan profesionalismo con atributos personales, éticos, humanísticos y

valores personales. Considerando como requisitos de dichos instrumentos la

validez de contenido, juzgada por expertos nacionales y tener una reproducibilidad

alta. Se revisan un total de 134 estudios, de los cuales 114 incluían instrumentos

19

Page 20: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

con algunos de los elementos mencionados previamente. 109 fueron empleados

para evaluación de programas, aplicados a estudiantes de medicina y residentes, 65

fueron auto administrados, 62 reportan alguna evidencia de reproducibilidad. La

validez de contenido es reportada en 86 estudios, pero solamente 34 muestran

evidencia fuerte, la validez concurrente en 46 y la validez predictiva en 16. Los

autores concluyen que hay pocos estudios con instrumentos bien diseñados que

puedan ser utilizados para evaluar profesionalismo. Recomiendan que todo

instrumento debe tener tres propiedades: validez, reproducibilidad y practicidad.

No todos los instrumentos reúnen estas características (8).

- El Royal Australian College of Physicians elaboró un instrumento de 12 preguntas

relacionadas con destrezas en comunicación, realización de procedimientos y

examen físico, habilidades diagnósticas y de tratamiento, manejo y cuidado del

paciente, conocimientos, aspectos de responsabilidad, sensibilidad y honorabilidad.

Uno de los objetivos era ver si este instrumento, empleado en residentes y

egresados, podía ser utilizado en forma temprana en estudiantes de pregrado,

conservando sus características de reproducibilidad, validez y distribución

factorial. El análisis factorial agrupa las preguntas en 2 factores: Destrezas clínicas

y aspectos humanísticos. (9)

- El grupo de Lynch, perteneciente al Accreditation Council for Graduates Medical

Education, al Drexel University College of Medicine y al American Board of

Medical Specialities, publicó en el 2004 una revisión de la Literatura acerca de las

técnicas empleadas para evaluar “profesionalismo” en los últimos 20 años. La

revisión define profesionalismo como la habilidad para alcanzar las expectativas de

la práctica médica en una forma competente. Los instrumentos se categorizan

según los contenidos, en los que miden profesionalismo en aspectos éticos,

características personales, todos los aspectos relacionados y otros aspectos. Las

áreas evaluados se categorizan en: cognoscitiva, afectiva, de comportamiento y

ambiental. De 411 estudios publicados, este trabajo incluye 84 que contienen

instrumentos relacionados con alguna de las categorías mencionadas. (Ver anexo

No 1: Tabla resumen de los estudios analizados). El estudio concluye

mencionando la necesidad de utilizar instrumentos reproducibles y válidos en la

20

Page 21: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

evaluación de estudiantes, residentes y egresados, siendo importante incluir la

opinión de los pacientes, especialmente en el caso de los egresados. (10)

- El estudio publicado en Academic Medicine por Arnold, quien es miembro del

American Board of Internal Medicine, evaluó una escala para medir actitudes y

comportamientos profesionales relacionados con la educación médica en pregrado

y en posgrado. Participaron 5 Facultades de Medicina alopática, con un porcentaje

de respuesta dentro de los participantes de 75%. La escala tuvo una consistencia

interna de 0.71 y el análisis factorial identificó 3 factores: excelencia,

honorabilidad e integridad y altruismo, con eigenvalues mayores a 1 y

confiabilidad de 0.72, 0.60 y 0.51 respectivamente. Este estudio resalta la

importancia de desarrollar escalas validas, reproducibles y fácilmente aplicables

para evaluar en forma rigurosa aspectos de profesionalismo desde la educación

médica, para asegurar la calidad del egresado. (11)

- La Universidad Nacional utiliza un instrumento para evaluación de egresados por

parte de empleadores, es un cuestionario de 16 preguntas relacionadas con el

desempeño laboral, compromiso, capacidad de liderazgo e innovación, nivel de

formación, actitud, sensibilidad social, la imagen del egresado, sus fortalezas y

debilidades. No es un instrumento específico para un tipo particular de egresado, es

un instrumento que aplica para todos los egresados de la universidad.

- La Universidad Autónoma de México a través de su asociación de egresados tiene

un cuestionario que envía para actualización de información y seguimiento para ser

llenado por el egresado.

Muchas publicaciones hacen relación a “profesionalismo”, su definición y contenido,

relacionándolos directamente con el ejercicio profesional en todos sus aspectos. En

este proyecto hablamos de desempeño que parece estar muy relacionado con el

concepto de profesionalismo descrito en la literatura. La educación médica es un

determinante en el desempeño profesional y en la calidad del egresado, estos a su vez

condicionan el impacto que ellos puedan tener en su entorno. Las percepciones han

cambiado en el tiempo, los sistemas de salud, la tecnología y las expectativas de la

sociedad, los pacientes y los médicos también han cambiado. Es importante tener en

21

Page 22: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

cuenta estos aspectos, para establecer formas de medida dinámicas. (12,13,14,15).

Cada día es más importante la evaluación por competencias ya que estas son

determinantes de la calidad (15). Las propuestas de reforma de la educación médica

buscan responder a las nuevas necesidades de la sociedad, al creciente desarrollo de la

medicina, a la demanda laboral, al desarrollo de competencias, la inclusión de las

ciencias sociales y dar una respuesta a la creciente insatisfacción con la calidad de la

atención médica. (16).

Es importante tener en cuenta los atributos que deben tener un buen médico, sabiendo

que no existen patrones de oro, estos atributos están relacionados con sus

conocimientos, destrezas y habilidades, dedicación y relación con los pacientes y su

capacidad de trabajar con otros grupos diferentes al clínico. Aspectos que deben ser

contemplados en los currículos ya que serán determinantes del impacto y desempeño

de los profesionales (17).

La importancia de evaluar permanentemente el impacto, desempeño, profesionalismo y

calidad del ejercicio profesional de la medicina, esta en la necesidad de mejorar, de

adaptarse a los cambios, de responder a las expectativas y del aseguramiento permanente de

la calidad.

Finalmente la acreditación de un programa de medicina garantiza la calidad de los procesos

de formación durante la educación del pregrado, pero lo que realmente establece si el

objetivo de estos procesos se cumple, es la medida del impacto, el desempeño y el

profesionalismo de sus egresados. Aquí esta la importancia de la evaluación permanente y

la necesidad de tener un instrumento válido y reproducible que podamos aplicar en forma

universal y periódica.

Como muestra la revisión, existen múltiples instrumentos desarrollados y validados en

otros países, ninguno en nuestro medio. Dadas las diferencias en el sistema de salud y en el

entorno socio cultural, considere justificado desarrollar, un instrumento propio para ser

utilizado en nuestro país.

22

Page 23: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CAPITULO 3

OBJETIVOS:

a. PRINCIPAL:

i. Construir un instrumento vá1ido y reproducible para seguimiento del

impacto del egresado de un programa de medicina.

b. SECUNDARIO:

i. Aplicar el instrumento diseñado, en líderes del sector salud para establecer

el impacto del egresado de la Facultad de Medicina de la Javeriana

ii. Describir la percepción de los pacientes en relación con los aspectos

determinantes del desempeño definidos en el instrumento desarrollado.

El propósito de este trabajo es aportar información al proceso de auto evaluación para la

extensión de la acreditación del programa.

Para efectos de este trabajo tendremos en cuenta las siguientes definiciones operativas

como punto de partida, las cuales serán ajustadas con los resultados del proyecto:

Impacto: Definimos impacto como la marca, la huella, la impresión o imagen que deja en la

sociedad y en la comunidad el ejercicio profesional de la medicina en sus diferentes áreas.

En este estudio miraremos solamente el espectro positivo en términos de calidad y

excelencia (2,5)

Profesionalismo: como la capacidad de alcanzar las expectativas requeridas para una

práctica competente. Esto implica colocar los intereses del paciente por encima de los del

médico, mantener estándares de competencia e integridad basada en los principios de

autonomía de los pacientes, justicia social y servicio a la comunidad (8,10,11,12)

23

Page 24: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CAPITULO 4:

TIPO DE DISEÑO, MATERIAL Y METODOLOGIA:

DISEÑO

Esta fue una investigación cualitativa, de diseño y validación de un instrumento

MATERIAL Y METODOLOGÍA:

4.1. ETAPA I: DISEÑO Y VALIDACION DEL INSTRUMENTO

4.1.1. Construcción del Instrumento:

4.1.1.1. Establecer Dominios y Preguntas: Utilizamos diferentes estrategias como:

Grupos focales, entrevistas semiestructuradas de respuesta abierta y entrevistas en

profundidad que son las principales fuentes para obtener los dominios y las preguntas que

formarán parte del instrumento final (18,19,20,21). En esta parte se tomaron como base los

factores ya establecidos como puntos a evaluar en el documento del consejo nacional de

acreditación, en el factor de egresados (1).

Teniendo en cuenta que los egresados del programa de Medicina que desean ejercer en

Colombia deberán realizar el servicio social obligatorio y posterior a esto podrán ingresar al

mercado laboral para ejercer como médicos generales o ingresar a programas de postgrado

en Colombia o en el Exterior (22), se seleccionaron personas representativas de estos

grupos para las entrevistas semi-estructuradas y los grupos focales. Estos grupos fueron:

directores de programas de post-grado, directores médicos de casas farmacéuticas,

instituciones prestadoras de servicios de salud, EPS, decanos de facultades de medicina,

entidades financiadoras de investigación entre otros. En el diseño del trabajo se realizaron

3 grupos focales heterogéneos entre si, en los cuales se obtuvo información para los

dominios e items a incluir.

24

Page 25: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

4.1.1.1.1. Los grupos focales son una forma de entrevista grupal, que canaliza la

comunicación entre los participantes de la investigación, para generar datos en forma

simultánea y se basa en la interacción entre los participantes. El método busca que las

personas hablen entre sí sobre los tópicos o preguntas planteadas, es muy útil para explorar

conocimiento y experiencia de los participante sobre el tema. En ciencias de la salud es

particularmente útil para medir el impacto de la educación a la comunidad, su percepción

de salud, sus experiencias de enfermedad. Se espera que este método ayude a clarificar

aspectos que serían difíciles de explorar por otros métodos. Dentro de las ventajas de los

grupos focales podemos mencionar el que no discrimina personas que no saben leer ni

escribir, estimula la participación de personas que no permitirían ser entrevistadas en forma

individual, permite conocer fácilmente perspectivas, puntos de vista, experiencias y

conocimientos de los participantes (23,24, 25,26).

4.1.1.1.2. Las entrevistas semi-estructuradas: Utilizan preguntas abiertas que definen las

áreas que quieren ser exploradas al menos inicialmente, para obtener opiniones,

percepciones, creencias y conocimientos sobre los aspectos que se quiere evaluar, en este

caso para establecer los indicadores de impacto del instrumento a construir. Se

entrevistaran directores de programas de posgrado, EPS e IPS (19,24,27,28).

4.1.1.1.3. Las entrevistas en profundidad: son menos estructuradas que las anteriores y

buscan cubrir aspectos específicos en mayor detalle. Se inicia con una pregunta general

sobre el tema y las preguntas subsecuentes dependerán de las respuestas del entrevistado.

Se realizaran 4 entrevistas a expertos en educación medica, acreditación y salud publica.

(24,29).

4.1.1.1.4. Construcción del Instrumento: Los datos provenientes de los grupos focales y las

entrevistas se ordenaron en forma sistemática y se construyó una matriz de dos

dimensiones: las personas o grupos en las filas y los aspectos o preguntas en las columnas.

Con la información obtenida se hará una lista de probables dominios y preguntas,

agrupando los similares y eliminando los que aparecen repetidos (30)

25

Page 26: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

A partir de esta lista se elaboró un instrumento preliminar para la validación de apariencia,

contenido y constructo.

4.1.1.1.5. Validez de Apariencia, Contenido y Constructo del instrumento preliminar:. El

instrumento preliminar fue sometido a la evaluación por un grupo de 20 expertos del sector

salud, quienes verificaron la validez de apariencia señalando si el instrumento correspondía

a lo que pretendía medir y la de contenido, indicando si estaban incluidos todos los

aspectos que debían evaluarse y cuales debían adicionarse. Señalaron las preguntas no

relevantes para el objetivo del instrumento y calificaron la importancia de cada uno de los

dominios y sus preguntas (10,31)

La validez de constructo en investigación cualitativa, puede inferirse mediante

triangulación de la información proveniente de dos o más fuentes ó mediante la

contrastación de la información, para determinar la similaridad entre las fuentes, en este

caso entre grupos focales, entrevistas y grupo de expertos (32,33,34).

La validez de criterio es difícil de establecer en estos instrumentos a menos que se compare

con instrumentos similares ya que no existe un patrón de oro de medida del “buen médico”

que sería el que tendría mayor impacto y mejor desempeño (9). Pero se espera que haya un

grado razonable de acuerdo entre los resultados de este instrumento y otro tipo de medidas

y percepciones.

4.1.1.1.6. Reproducibilidad del Instrumento Preliminar: Se realizó una prueba re-prueba

(test-re-test) en la cual los expertos debieron evaluar el instrumento preliminar en dos

ocasiones con diferencia de dos semanas, para establecer la reproducibilidad con respecto

al contenido y la importancia de cada item y dominio. Se utilizó una prueba de Wilcoxon,

asumiendo que se trataba de una escala categórica de respuesta. Se eliminaron en esta fase,

aquellos items en los cuales la prueba de rechazó la hipótesis nula o los que a juicio de los

expertos no debían ser incluidos, por no ser determinantes de impacto o porque se

prestaban a diferentes interpretaciones (20,30,35, 37, 38).

26

Page 27: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

4.1.1.2. Análisis Factorial: El instrumento resultante fue sometido al análisis factorial para

establecer los factores y sus items (27,39,40,41).

Para la realización del análisis factorial, se estableció un tamaño de muestra que permitiera

tener alrededor de 5 medidas por cada variable del instrumento preliminar. Dicho

instrumento fue contestado por directores de EPS, IPS, decanos de facultades de medicina,

profesores de medicina, Directores de programas de posgrado, Presidentes de Asociaciones

científicas, estudiantes de posgrado y estudiantes de ultimo año de medicina. Se tomó la

base de datos del Ministerio de la Protección Social, de Ascofame y de la Asociación

Colombiana de Sociedades Científicas.

El instrumento se envió fuera de Bogotá a través de un sistema de correo con respuesta

prepagada, junto con un instructivo que explicaba el objetivo del proyecto, la importancia

de la participación, así como la forma en que debían responder. Se generaron estrategias

para recuperar la información, como llamadas telefónicas, mensajes por correo electrónico.

Dentro de Bogotá se ofreció la posibilidad de mensajería personalizada a través de entrega

y recolección certificada, se recogieron las encuestas entre los días 5 y 45 después de su

entrega.

Los cuestionarios fueron numerados de acuerdo a la base de datos, para poder tener un

control de las respuestas y la búsqueda activa de los no respondedores.

4.1.1.2.1. El análisis Factorial, se realizó con un paquete estadístico SPPS para windows

versión 11.2. Este análisis incluyó varios pasos fundamentales:

Paso 1: Elaboración de base de datos para SPSS. Estadística descriptiva de las variables

(items)

Paso 2: Establecer si se cumplían los supuestos para la realización de análisis factorial:

- Verificación de la matriz de correlación,

- Establecer si el determinante es diferente de 0,

- Realizar el test de Kaiser-Meyer-Olkin es un indicador de la fortaleza de la

correlación entre los items y el coeficiente de correlación parcial. Su valor va entre

0 y 1 y entre más cercano este a 1, más indicado estará el análisis factorial.

- Prueba de esfericidad de Bartlet: para descartar que la matriz de correlación sea una

matriz idéntica, es decir que no hay relación entre los items. Es una prueba de chi

27

Page 28: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

cuadrado que tiene en cuenta el tamaño de muestra, el número de items en la matriz

y el determinante de la matriz de correlación.

Paso 3: Extracción de factores: La extracción de los factores es el paso más importante,

mediante el cual se obtiene el número de factores que pueden explicar la correlación entre

las variables. Los dos métodos recomendados son el método de componentes principales y

el método de factorización del eje principal. Existen otros métodos como el de máxima

verosimilitud y de cuadrado mínimos. Cuando se quiere relacionar un número grande de

variables y agruparlas en un número pequeño de factores, el método de componentes

principales puede ser el indicado. En este paso se acogió la recomendación de realizar un

análisis exploratorio: por lo cual se hizo la extracción de factores por tres métodos y se

escogió el que tuvo mejor ajuste al modelo conceptual.

Paso 4: Rotación de Factores: Puede realizarse mediante el método ortogonal: rotación

varimax, quartimax, equamax. La rotación ortogonal se basa en el principio que los factores

son independientes entre sí.

La rotación oblicua parte del supuesto que los factores están interrelacionados entre sí. Los

métodos más conocidos son Oblimin, Promax, Ortooblicua.

Una vez realizada la rotación se establecieron los items de cada factor, tomando aquellos

con una carga >0.4. Para aquellos items con cargas altas en dos o mas factores se realizó

un análisis de consistencia interna mediante Alpha de Cronbach, para decidir en cual factor

debían ubicarse. Los items con carga inferior a 0.3 en todos los factores fueron eliminados,

items con carga entre 0.3 y 0.4 se conservaron dependiendo de la importancia conceptual

que podían tener para la escala.

A partir de la matriz de factores rotados, se conservaron los factores de acuerdo con los

siguientes criterios:

o factores con eigenvalues >1.0,

o porcentaje de varianza extraída equivalente al 50% del total de la varianza,

o análisis del “scree plot” en búsqueda de los puntos en los cuales la pendiente

cambia en forma significativa.

Paso 5: Se nominaron los factores de acuerdo a los items que mayor peso tenían en cada

uno, de tal forma que la denominación identificara el contenido. Cuando los items

28

Page 29: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

quedaron agrupados de una forma similar a como se había propuesto inicialmente, antes

del análisis factorial, se conservó la nominación del instrumento preliminar.

Se establecieron las cargas de cada factor, teniendo en cuenta que los pesos pueden ser

válidos solamente para la población en que se aplicó.

4.1.1.2.2. Prueba de Consistencia Interna de la escala y de los factores identificados. Para

evaluar la consistencia interna de la escala final, se aplicó la prueba alpha de Cronbach

para la escala total, la escala reducida y cada factor. Se utilizó el paquete estadístico Stata

8.0

Como último paso se realizó la edición del Instrumento final para verificar su validez,

confiabilidad y calidad antes de su aplicación en la etapa II.

4.1.2. VALIDACION DEL INSTRUMENTO FINAL:

En esta fase se incluyeron 20 sujetos que representaban la población en la cual se aplicaría

el instrumento (líderes en el sector salud)

4.1.2.1. La validez de apariencia se evaluó pidiendo a 10 expertos que indicaran si el

instrumento en su apariencia correspondía a lo que se pretendía medir. Dado que los

expertos fueron incluidos en la etapa de construcción, se espera que esto validará lo

anterior.

4.1.2.2. La validez de contenido el mismo grupo de expertos emitió un concepto sobre si

todos los dominios o aspectos pertinentes al constructo estaban incluidos en el instrumento.

4.1.2.3. La validez de constructo, dado que no existe una medida o patrón de oro y que se

había hecho para el instrumento preliminar, se evaluó contra las hipótesis, teorías o

categorías planteadas por la población entrevistada y fueron a su vez validados por los

expertos quienes podían dar un valor o peso a los diferentes dominios.

4.1.3. Confiabilidad del Instrumento Final:

El instrumento resultante al finalizar el análisis factorial, fue presentado en una forma que

permitiera ser utilizado para los egresados de cualquier programa, lo cual implicó una

29

Page 30: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

modificación del estilo de presentación. La escala de respuestas fue una escala de Likert

que tendía entre 5 y 7 posibilidades dependiendo de la pregunta (30,34)

4.1.3.1. Evaluación de Calidad: Este instrumento antes de su aplicación en la etapa II, fue

sometido a una prueba piloto con 20 profesionales de la salud. Esta prueba piloto tuvo

dos partes:

- En la primera parte cada participante recibió una versión del instrumento con el

cual evaluó la claridad, redacción, lenguaje, comprensión e interpretación tanto de

las instrucciones, como de la preguntas y la escala de respuesta incluida en el

cuestionario. Se les solicitó indicar las palabras cuyo significado era controvertido,

lo que se entendía en cada pregunta, si las preguntas y las respuestas eran

ambiguas, si se utilizaron modismos y sí las palabras empleadas llevaban un valor

o un peso implícito, la presencia de preguntas negativas y/o positivas, longitud de

las preguntas también fueron evaluadas. En algunos casos se pedió al entrevistado

que refraseara la pregunta en sus propias palabras.

- En la segunda parte recibieron la versión final del instrumento y cada participante

lo contestó en forma individual para medir el tiempo de respuesta y verificar si

había dificultades adicionales no detectadas previamente. 4.1.3.2. La reproducibilidad: se evaluó mediante el test re-test, aplicando el instrumento con

diferencia de 2 semanas, a 20 profesionales de la salud que correspondían al perfil de

aquellos que deberían contestar el instrumento para la evaluación de los javerianos. El

análisis de reproducibilidad se hizo mediante prueba de Wilcoxon para establecer la no

diferencia entre los dos momentos.

4.1.4. INSTRUMENTO PARA PACIENTES:

Con el instrumento preliminar, se hizo una prueba piloto en pacientes para su aplicación

posterior, evidenciando la necesidad de adaptarlo y llevarlo a un lenguaje más fácil de

comprender e interpretar, pero que conservara los mismos contenidos del instrumento

diseñado.

30

Page 31: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Este instrumento adaptado fue nuevamente sometido a un estudio piloto para lenguaje,

comprensión y claridad, hasta llegar a la mejor versión, antes de su aplicación final.

Aunque era un instrumento autoadministrado, se entrenó una persona para que estuviera

presente durante la aplicación. Se escogió una muestra por conveniencia de 500 pacientes

de la población que asistió a consulta en 2 IPS y 2 consultorios particulares. El objeto de

esta aplicación era establecer la diferencia o similitud entre la opinión de los expertos o

líderes del sector salud y los pacientes, en relación a los aspectos determinantes de impacto

y a la importancia que estos podían tener.

4.2. ETAPA II: APLICACIÓN DEL INSTRUMENTO -MEDIDA DE IMPACTO

4.2.1. Población de estudio: Se estableció la muestra representativa de los empleadores

líderes en el sector salud constituida por : directores de Posgrado, directores de IPS,

directores de EPS, Industria Farmacéutica, Decanos Facultades de Medicina. Tomando la

base de datos de IPS, EPS del país, que posee el Ministerio de la Protección Social y el de

facultades de medicina de la base de datos de Ascofame.

4.2.2. Aplicación del Instrumento: Tiene por objetivo evaluar a los egresados javerianos y

validar los resultados que se obtengan.

Para su aplicación, se utilizaron varias formas de envío: correo electrónico con respuesta a

través de esta medio, envío por fax, correo certificado o a través de mensajería con entrega

y recolección de las encuestas.

El instrumento final fue una encuesta estructurada, auto administrada y con respuestas

cerradas en escala de Likert, con un espacio abierto, al final, para sugerencias. La encuesta

fue anónima y como única identificación tuvo un numero consecutivo, el cual fue ciego

para quienes analizaron las respuestas. Este código fue utilizado para buscar activamente

los no respondedores y poder garantizar un tamaño adecuado de muestra. Las estrategias

para mejorar respuesta fueron: se envío de mensajes recordatorios para estimular a la gente

a contestarla, visitas, personas que llevaron y recogieron las encuestas en el momento en

que se solicitara. Esto planteó una dificultad para sitios diferentes a la ciudad de Bogota,

en donde no fue posible implementar esta última estrategia.

31

Page 32: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CAPITULO 5.

PRESENTACIÓN DE RESULTADOS Y ANÁLISIS ESTADÍSTICO:

Para el análisis se crearon varias bases de datos:

o Una base de datos en STATA y otra en SPSS debidamente codificada que incluyó

todas las variables para la construcción, análisis factorial y validación del

instrumento, en la etapa I

o Una segunda base de datos para registro de la información obtenida de la

aplicación del instrumento final, durante la segunda II (evaluación del egresado)

o La tercera base de datos corresponde al instrumento aplicado a los pacientes.

5.1. DISEÑO Y CONTRUCCION DEL INSTRUMENTO:

En la Tabla No.1. Flujograma para la construcción del Instrumento, podemos ver en

resumen los pasos que se siguieron en la construcción del Instrumento.

Establecer Dominios y preguntas:

Grupos Focales:

Se realizaron tres grupos focales, en cada uno de los cuales participaron entre 6 y 10

personas, con una duración máxima de 2 horas por sesión. Para cada grupo se convocaron

12 personas, la invitación se hizo por escrito y en forma telefónica, explicando brevemente

la intención y propósito de la reunión, a la vez que la importancia de la participación. Las

reuniones se realizaron en el Noveno piso de la facultad de Medicina o en la Sala de

Consejo y se ofreció un desayuno a los asistentes.

Cada grupo tuvo un facilitador que en todos los casos fue un psicólogo con experiencia en

esta estrategia. Su función fue dirigir la sesión, mantener el dialogo y propiciar la

intervención de todos los participantes, centrando el tema, asegurándose que se cubrieran

todos los objetivos propuestos. Se designó un relator, quien no participó de la discusión y

que fue siempre el director de la carrera de Medicina.

Al inicio de la reunión el facilitador solicitó a los asistentes autorización para grabar la

sesión, explico cual era el objeto de la reunión, haciendo énfasis en que el propósito era

tratar de construir un instrumento universal que permitiera evaluar egresados de cualquier

programa de medicina. Cada participante se presentó en forma breve.

32

Page 33: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 1. FLUJOGRAMA CONSTRUCCIÓN DEL INSTRUMENTO

PASO ACCION

1 Revisión de Instrumentos existentes

2 Grupos Focales

3 Entrevistas semi estructuradas y en profundidad

4 Construcción de matrices y contrastación de los contenidos

5 Lista preliminar de dominios e items a partir del análisis de las matrices

6 Construcción del instrumento preliminar

7 Validación por 20 jueces expertos: apariencia, contenido, constructo,

calidad de los items

Reproducibilidad del instrumento preliminar

8 Aplicación del instrumento líderes en salud, selección de la muestra

9 Elaboración bases de datos

10 Estadística descriptiva de las variables

11 Análisis factorial:

Supuestos para el análisis, extracción de factores, rotación de

factores

Retención de factores e items

Análisis de consistencia interna - confiabilidad

Nominación de factores

Peso de los factores

Instrumento final

12 Elaboración y aplicación del instrumento a pacientes y resultados

13 Edición del instrumento final para evaluación del egresado

14 Revisión del instrumento, calidad de items, reproducibilidad

15 Resultados de la aplicación del Instrumento – Evaluación del egresado.

El facilitador participó activamente guiando la discusión del grupo hacia los puntos de

controversia o de interés, induciendo al grupo a explorarlos a fondo durante la sesión para

el análisis posterior. Al finalizar la sesión se hizo un resumen de los aportes de los

33

Page 34: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

participantes y se llego a un consenso sobre las conclusiones y puntos clave que se

consideraron era el producto de la reunión. Para asegurar que se cumplieran los objetivos

de la reunión el facilitador tenía un cuestionario guía que incluía los aspectos que se

esperaba se cubrieran durante la sesión. Todos las opiniones, conceptos o aspectos

enunciados fueron tenidos en cuenta dentro del análisis tanto las de consenso como las

opiniones diferentes ó extremas.

Se realizaron tres grupos focales:

GRUPO 1: Conformados por directores médicos de EPS: Colmedica, Cruz blanca, Sanitas,

Compensar, IPS: San José, Shaio, Javesalud, San Ignacio

GRUPO 2: Conformado por personas con vinculación en el área académica: directores de

postgrado, jefes de educación médica, decanos ex decanos y profesores de la Universidad

Nacional, Militar, Ciencias de la Salud, Javeriana, Bosque, postgrado INC.

GRUPO 3: Conformado en forma heterogéneo formado por personas de diferentes ámbitos.

Industria Farmacéutica: Glaxo, Novartis. EPS: Humana, Colsanitas, Colsubsidio,

Profesores: Universidad Valencia y Javeriana

Los tópicos planteados para iniciar la discusión fueron: (Anexo No 2: Guía de trabajo para

los grupos focales)

o El significado de un “Instrumento para medir impacto académico y laboral de los

egresados de un programa de medicina”

o Aspectos o área que deben incluirse en ese instrumento

o Aspectos de mayor importancia

o A partir de estos aspectos planteados en cada grupo, tratar de profundizar en cada

uno de ellos

Matriz Grupos Focales:

Primer tópico de discusión: Que entiende el grupo o que piensan cuando le mencionan un

“instrumento para medir impacto académico y laboral”. En la tabla No.2 se encuentran

resumidas las opiniones expresadas en los tres grupos focales.

34

Page 35: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 2: Definición y Significado el Proyecto según los grupos focales

Qué entiende cuando le mencionan un “Instrumento”

Grupo 1 Grupo 2 Grupo 3 o Un cuestionario o Una encuesta o Un formato de evaluación

o Una serie de preguntas sobre aspectos relacionados

o Una forma de evaluación o Una lista de aspectos que se

deben evaluar o Una escala

o Un cuestionario o Un formato de evaluación que

incluya aspectos relevantes o Una escala de medida

Qué entienden por Impacto? Grupo 1 Grupo 2 Grupo 3

o Desempeño en cualquiera de los dos áreas

o Es una percepción global o El desempeño de un egresado

deja una imagen de su Universidad

o El impacto de los egresados equivaldría a su desempeño, la forma de realizar su trabajo, la imagen que trasmiten y la trascendencia que como grupo llegan a tener

o Que tan buenos son o Es como una huella o una

marca en el entorno

o La forma como la persona desarrolla su trabajo

o El perfil del egresado y el liderazgo que ejerce entre sus colegas y en la comunidad en general deja una imagen que identifica la formación de origen

Qué entienden por Impacto Laboral?

Grupo 1 Grupo 2 Grupo 3 o Laboral se entendería como lo

asistencial, donde no hay vinculación con programas de formación

o Es importante pensar que las actividades académicas o de investigación también pueden tener una connotación laboral

o Mirar solamente el # de personas contratadas en un campo determinado, nos daría una Información parcial, que podría extrapolarse a que tan “buenos” son, cual es su perfil, pero no siempre nos dice que tanta huella o marca dejan

o Lo académico es laboral también. Es difícil distinguir completamente los dos aspectos

o La forma de mirar el impacto puede variar dependiendo del área donde se desempeñen

o Unos aspectos pueden tener mas peso o relevancia en un ámbito que en otro

o Finalmente el ejercicio de la profesión siempre tendrá una connotación laboral

Qué entienden por Impacto Académico?

Grupo 1 Grupo 2 Grupo 3 o Académico como la docencia

o la asistencia docencia, quienes trabajan en instituciones vinculadas a programas de formación

o Lo académico también involucra aspectos laborales

o En el área académica el impacto esta dado por la capacidad para enseñar, de transmitir y compartir el conocimiento.

o Quienes son maestros, pero a su vez esto implica trabajo

o Se podría mirar cuantos egresados están en cada área y que tan importantes son en ella

o Cualquier área de desempeño académico tiene implicación laboral

35

Page 36: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

o Segundo tópico de la discusión: los aspectos ó categorías que deberían incluirse

en el instrumento. En el anexo No 3, se encuentra la matriz que consolida los

resultados del trabajo de los tres grupos. En esta parte se pidió a los participantes

que trataran de establecer los aspectos, factores o dominios que deberían incluirse

en un instrumento como este y a partir de ellos que trataran de profundizar y detallar

lo que debería tenerse en cuenta en cada factor. (Anexo No. 3: Matriz resultados

grupos focales).

Entrevistas:

Se realizaron en total 16 entrevistas distribuidas así:

Entrevistas Semi – Estructuradas: Se realizaron 9 entrevistas semi estructuradas: 6

Directores de programa y jefes de Educación médica (Samaritana, Cancerología,

Dermatológico, Bosque, Militar, Javeriana), 3 Directores Médicos de EPS

(Colmedica, Cafesalud, Humana), 2 Directores de IPS (Palermo, Hospital San

Cristóbal), 1 Industria Farmacéutica (Glaxo),

Entrevistas en Profundidad: En total 4: 1 Representante de Ascofame experto en

Educación Médica, 1 Ex decano de Facultad de Medicina, 1 representante del área

de docencia e investigación del Ministerio Salud, secretaría de salud de Bogotá, 1

Experto en Acreditación

Para las entrevistas se hizo una cita telefónica con cada persona, explicándole el objetivo de

la entrevista. Todas fueron realizadas por el Investigador principal, quien se desplazó al

sitio fijado por el entrevistado. Se utilizó un formato previamente elaborado para las

entrevistas semi-estructurados. Para las entrevistas en profundidad se fijaron unos tópicos

iniciales de discusión (Anexo No 4: Formato de entrevistas semi-estructuradas, Anexo No

5: Formato para entrevistas en profundidad).

Resultado de las Entrevistas:

En el Anexo No.6 se encuentran los resultados consolidados de las entrevistas semi-

estructuradas y en profundidad, de acuerdo al formato establecido. Igualmente la tabla

muestra la frecuencia con que se enunciaron los diferentes aspectos, de tal forma que las

36

Page 37: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

opiniones se fueran validando entre sí, a manera de constructo. (Anexo No 6: Informe

consolidado de las entrevistas).

Construcción del Instrumento Preliminar:

A partir de los resultados obtenidos en los grupos focales, las entrevistas y lo señalado por

el CNA, se realizo la comparación inicial de los contenidos como parte de la validez de

constructo. Esto se hizo mediante la triangulación de los resultados obtenidos en cada

grupo, para cada aspecto relevante.

El análisis de la matriz mostró los dominios que se repetían varias veces o que fueron

comunes tanto en las entrevistas como en los grupos, igualmente los que fueron menos

frecuentes. Al explorar los aspectos que irían en cada dominio, se encontró que algunos

dominios nominados en forma diferente eran muy similares en su significado e incluían los

mismos aspectos. Algunos items se repetían en dominios diferentes, otros con igual

significado eran nominados en diferente forma.

De acuerdo con el análisis de los resultados previos se establecieron 5 dominios a juicio

del investigador, suprimiendo los que estaban repetidos y agrupando aquellos que tenían

diferente nominación pero el mismo contenido o significado. Igualmente se distribuyeron

los items, eliminando los repetidos o con igual significado y asignando los restantes a un

solo dominio. Se elaboró una lista preliminar la cual incluyó 5 dominios y 76 preguntas,

distribuidas como muestra la tabla No.3, a continuación:

Tabla No.3: Dominios propuestos para Instrumento Preliminar

DOMINIO PROPUESTO No DE PREGUNTAS

CONOCIMIENTOS 17

DESTREZAS Y HABILIDADES 21

VALORES HUMANOS 16

VALORES ETICOS 9

OTROS DETERMINANTES 13

TOTAL DE PREGUNTAS 76

37

Page 38: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

En el dominio “Otros determinantes” se incluyeron aquellos items que aparentemente no

tenían una ubicación clara en ninguno de los dominios, pero que consideraron importantes.

A partir de estos dominios se organizan los items resultantes del análisis de los grupos y las

entrevistas, como aparece en la Tabla No.4:

Tabla No. 4: LISTADO PRELIMINAR DE DOMINIOS E ITEMS CONOCIMIENTOS 1. En ciencias básicas 2. En ciencias clínicas 3. Sobre ley 100 y sistema nacional de salud 4. Sobre la realidad socio - cultural del país y su entorno 5. Acerca del código de ética y responsabilidad médica 6. Sobre administración y gestión en salud 7. Sobre prevención de la enfermedad y promoción de la salud 8. De inglés como segunda lengua 9. En informática 10. En Humanidades 11. En Investigación Clínica 12. En Biotecnología 13. Sobre cultura general 14. Sobre uso racional de medicamentos 15. Sobre Guías de práctica clínica y de atención 16. Sobre elementos de comunicación oral y escrita 17. Conocimientos de fármaco-economía DESTREZAS Y HABILIDADES 18. Capacidad para elaborar adecuadamente la historia clínica 19. Capacidad para elaborar correctamente una epicrisis 20. Habilidad en el desarrollo del examen físico y la identificación de signos clínicos 21. Juicio clínico 22. Capacidad de síntesis y análisis 23. Destreza y habilidad para realizar procedimientos diagnósticos y terapéuticos 24. Utilización adecuada del recurso en salud 25. Manejo de las herramientas de Internet 26. Uso racional de los recursos en salud 27. Manejo y aplicación de las estrategias de búsqueda de información médica 28. Facilidad de expresión oral y escrita 29. Capacidad para escuchar a otros 30. Capacidad para trabajar con el equipo de salud 31. Capacidad para relacionarse con el paciente 32. Capacidad para relacionarse la familia del paciente

38

Page 39: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

33. Capacidad de gestión administrativa 34. Capacidad para relacionarse con los responsables de las políticas de salud del estado e influir en ellas 35. Capacidad de analizar críticamente y aplicar nueva información 36. Capacidad para influir en la comunidad o en su entorno 37. Capacidad para relacionarse y manejar los medios de comunicación masiva (TV, radio) 38. Habilidades para participar en negociación y solución de conflictos VALORES HUMANOS 39. Honestidad y honradez 40. Responsabilidad y cumplimiento 41. Amabilidad 42. Capacidad de sacrificio 43. Respeto hacia las personas 44. Respeto hacia las instituciones 45. Lealtad hacia sus colegas 46. Sensibilidad social 47. Capacidad de adaptación al medio 48. Mística en el ejercicio de la profesión 49. Actitud positiva ante el trabajo 50. Liderazgo 51. Capacidad de Reflexión y autocrítica 52. Compromiso con el paciente 53. Generosidad 54. Compromiso con la institución VALORES ETICOS 55. Manejo correcto de la información sobre los pacientes (Secreto Profesional) 56. Registro veraz de la información médica 57. Información completa y adecuada al paciente o su familia 58. Honestidad e integridad en el ejercicio de la profesión 59. Respeto por la vida, dignidad y decisiones de los pacientes 60. Actitud correcta en situaciones de conflicto ético/legal 61. Proteger los derechos del paciente por encima de los intereses personales o económicos 62. Tomar decisiones costo-efectiva en beneficio del paciente, la Institución y la sociedad 63. Capacidad para evaluar y valorar riesgo /beneficio de intervenciones diagnósticas y terapéuticas OTROS DETERMINANTES 64. Presentación personal 65. Modales y comportamiento 66. Nivel socio – económico 67. Manejo de las situaciones de estrés 68. Personalidad del egresado 69. Estabilidad familiar

39

Page 40: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

70. Universidad en la cual estudio medicina 71. Sentido de pertenencia hacia la universidad donde se formó 72. Sentido de pertenencia hacia su profesión como médico 73. Calidad de vida como médico 74. Participación permanente en educación continuada 75. Desempeño de la prueba de estado 76. Perfil del egresado Dentro de los aspectos mencionados debemos tener en cuesta, como otro marcador de

impacto, los demográficos que van a caracterizar o definir la actividad que los médicos

desempeñan (Tabla No.5). Estos fueron incluidos en la aplicación del instrumento final en

la fase II, pero se consideró que no debían formar parte del instrumento para el análisis

factorial.

Tabla No. 5: Aspectos Demográficos a evaluar en los egresados ASPECTOS A INCLUIR EN LA APLICACIÓN DEL INSTRUMENTO EN LA FASE II 1. Número de egresados vinculados a instituciones 2. Tipo de actividad que desempeñan 3. Egresados vinculados en cargos directivos en Instituciones 4. Egresados vinculados a asociaciones científicas 5. Egresados en programas de posgrado o con especialización 6. Premios y distinciones obtenidos por los egresados A partir del listado preliminar (Tabla No.4), se elaboró el Instrumento Preliminar que se

encuentra en el Anexo No. 7: Instrumento Preliminar. Este instrumento fue enviado a 20

expertos seleccionados entre los líderes en el sector salud:

o Decanos y ex decanos de facultades de medicina del país: 5,

o Directores de programas de postgrado: 3,

o Directores Médicos de IPS: 4,

o Directores EPS: 2,

o Industria Farmacéutica (Directores Médicos – Jefes de Investigación): 2,

o Asociaciones e Institutos: (Academia Nacional de Medicina, INAS Director

docencia e investigación): 2,

o Profesor Facultad de Medicina: 2

40

Page 41: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Este grupo de expertos recibió la versión del Instrumento Preliminar junto con una carta

que les explicaba el objetivo del proyecto, se aclaraba que esta era la fase inicial de

validación, la cual se hizo teniendo en cuenta que no existía un patrón de oro y por lo tanto

los expertos debían validar los planteamientos hechos en los grupos focales y las

entrevistas. Se utilizó una escala de Likert para la validez de apariencia, (si el instrumento

medía lo que se pretendía) y para la de contenido (si todos los aspectos importantes a su

juicio fueron incluidos). Los resultados de esta fase aparecen en las Tablas No.6 y No.7.

La evaluación de los expertos corroboró la validez de constructo establecida mediante la

triangulación de la matriz de los grupos focales y las entrevistas. Igualmente ellos

calificaron la importancia de los items, teniendo también la oportunidad de hacer

sugerencias para la versión final del instrumento que sería sometido al análisis factorial.

Tabla No. 6: Validez de Apariencia y Contenido Instrumento Preliminar - Respuestas

MATRIZ DE EXPERTOS PARA LA VALIDEZ DE APARIENCIA, CONTENIDO

JUEZ VALIDEZ DE APARIENCIA El instrumento corresponde a lo que pretende

medir

VALIDEZ DE CONTENIDO Todos los aspectos relevantes a su juicio

están incluidos 1: Completamente en desacuerdo 2: Parcialmente en desacuerdo

3: Parcialmente de acuerdo 4: De acuerdo 5: Completamente de acuerdo 6: No sabe

1 5 5 2 5 5 3 5 5 4 4 4 5 5 5 6 5 5 7 5 5 8 4 5 9 5 5

10 4 5 11 4 5 12 5 5 13 4 4 14 5 5 15 4 4 16 5 4 17 5 5 18 5 5 19 5 5 20 5 5

41

Page 42: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 7: Validez de Apariencia y Contenido del Instrumento – Consolidado

RESULTADOS VALIDEZ INTRUMENTO 1

APARIENCIA CONTENIDO

Categoría de respuesta Numero % Número % Completamente en desacuerdo 0 0 Parcialmente en desacuerdo 0 0 Parcialmente de acuerdo 0 0 De acuerdo 6 30% 4 20% Completamente de acuerdo 14 70% 16 80% No sabe 0 0

La validez de constructo: Teniendo en cuenta que se trata de investigación cualitativa, el

constructo se planteó a partir de los estándares de calidad establecidos por el Ministerio de

Educación y Ascofame, la experiencia de los empleadores, de los formadores y de su nivel

de conocimientos, lo cual se contrastó contra los contenidos del instrumento mismo. Este

análisis se fue realizando en la medida en que se construyeron las matrices, contrastando

los contenidos entre sí mediante triangulación, de tal forma que una opinión valida la

anterior. El análisis de estas matrices mostró contenidos similares y consistentes entre los

grupos, entre los grupos y los entrevistados y entre los entrevistados entre sí. El grupo de

expertos validó con su opinión los constructos previos. Los contenidos propuestos por

ellos van acorde con los parámetros establecidos en los estándares de calidad (2).

Importancia de los Items: En la tabla No.8, se presenta la parte correspondiente a la

importancia de los items en el dominio conocimientos. Para el resto de los dominios del

Instrumento Preliminar, los resultados aparecen en el Anexo No.8: Importancia de los

items. Tanto en la tabla como en el anexo, se presenta el porcentaje de jueces que calificó

con un determinado puntaje, de acuerdo al nivel de importancia otorgado a cada uno de los

items. Estos resultados muestran que algunos de los items incluidos en el dominio “Otros

determinantes” como: nivel socio-económico, estabilidad familiar, personalidad y calidad

de vida, fueron calificados como no relevantes para este instrumento (casilla N/A). Por

otro lado los que correspondían a evaluación global de cada dominio, no fueron calificados

por la gran mayoría de los jueces-expertos, indicando que eran difíciles de interpretar y

deberían suprimirse del instrumento final.

42

Page 43: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 8: Nivel de Importancia establecido por los jueces para el Instrumento Preliminar – Items del dominio conocimientos

Ver resto de tablas en el Anexo No. 8

FACTOR DETERMINANTE DEL IMPACTO DEL EGRESADO DE UN PROGRAMA DE

MEDICINA

Nivel de Importancia Porcentaje de respuestas (%) Total de la muestra: 20 Jueces

DOMINIO: CONOCIMIENTOS 1= Muy poco importante, 2= Poco importante 3= ni poco ni mucho, 4= Importante, 5= Muy importante

1 2 3 4 5 N/A 1.CONOCIMIENTOS (evaluación global) 2. Conocimientos en ciencias básicas 5 10 40 45 3. Conocimientos en ciencias clínicas 5 20 75 4. Conocimientos sobre ley 100 y sistema nacional de salud

5 10 60 25

5. Conocimiento de la realidad socio - cultural del país y su entorno

40 60

6. Conocimiento del código o normas sobre ética médica y responsabilidad médica

30 70

7. Conocimientos sobre administración y gestión en salud

25 65 10

8. Conocimientos sobre prevención y promoción de la salud

15 45 40

9. Dominio del inglés como segunda lengua 15 60 25 10. Conocimientos en informática 20 70 10 11. Desempeño en la prueba de estado para Medicina 10 30 40 20 12. Conocimientos en Humanidades 25 50 20 5 13. Conocimiento en Investigación Clínica y biotecnología

30 55 15

14. Conocimientos de cultura general 20 65 15 15. Conocimientos en fármaco - economía 30 55 15 16. Conocimiento y manejo de guía de atención de servicio

20 45 35

17. Conocimiento de elementos de comunicación oral y escrita

15 40 45

18. Participación permanente en educación continuada

5 5 25 65

Evaluación de la calidad de los Items:

Se solicitó a los 20 jueces expertos, que calificarán cada uno de los items de acuerdo a su

calidad en términos de: claridad, comprensión, lenguaje, redacción. Los resultados para el

dominio propuesto de conocimientos aparecen en la Tabla No. 9 y para el resto de

dominios en el anexo No. 9.

43

Page 44: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 9: Evaluación de la Calidad de los Items

Instrumento preliminar para el análisis factorial

(20 Evaluadores)

EVALUACION DE LOS ITEMS – AREA CONOCIMIENTOS

1= Pésima 2= Mala 3= Regular 4= Buena 5= Excelente

ITEM Claridad Promedio

Comprensión Promedio

Redacción Promedio

Lenguaje Promedio

Los conocimientos de los médicos Javerianos son 4,74 4,74 4,56 4,56 Ciencias básicas 4,74 4,74 4,78 4,78 Ciencias clínicas 4,85 4,89 4,85 4,81 Ley 100 y sistema nacional de salud 4,74 4,74 4,78 4,81 Realidad socio - cultural del país y su entorno 4,37 4,41 4,30 4,37 Código de ética y sobre responsabilidad médica 4,52 4,52 4,56 4,48 Administración y gestión en salud 4,67 4,67 4,67 4,67 Prevención de la enfermedad y promoción de la salud 4,63 4,67 4,63 4,63 Inglés como segunda lengua 4,70 4,67 4,74 4,70 Informática 4,59 4,59 4,70 4,70 Desempeño en la prueba de estado 4,48 4,48 4,35 4,50 Humanidades 4,54 4,56 4,63 4,63 Investigación clínica 4,67 4,59 4,70 4,70 Biotecnología 4,54 4,54 4,73 4,62 Cultura general 4,58 4,54 4,58 4,58 Aplicación uso racional de medicamentos 4,11 4,19 4,48 4,56 Guías de atención ó de práctica clínica y su aplicación 4,37 4,48 4,74 4,74 Elementos de comunicación oral y escrita 4,15 4,26 4,42 4,46 Participación en actividades de educación continuada 4,70 4,74 4,74 4,74 Ver resultados para los otros items en el Anexo No. 9.

Los resultados (Anexo No.9) mostraron que el nivel de comprensión, la redacción y el tipo

de lenguaje no fueron adecuados para los items de evaluación global, personalidad, nivel

socio-económico, estabilidad familiar y calidad de vida.

Reproducibilidad del Instrumento:

Dos semanas posterior a la primera entrega del Instrumento preliminar y después de haber

recolectado el total de las respuestas del grupo de expertos, se envió nuevamente el

44

Page 45: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

instrumento, con el objeto de realizar un test de reproducibilidad (test re-test) y ver que tan

consistentes era las opiniones, con relación al nivel de importancia de los items, los

contenidos y los constructos planteados, en dos momentos en el tiempo.

Se realizó una prueba Wilcoxon para cada uno de los items y para el instrumento completo.

Los resultados para el dominio propuesto de conocimientos, se muestran en la Tabla No.

10 y para el resto del instrumento en el Anexo No.10: Reproducibilidad del Instrumento

Preliminar. La reproducibilidad del Instrumento fue muy buena, (z: 1.569, Prob>z 0.1169,

no se rechazó la Ho).

A partir de los resultados de esta prueba, se eliminaron los items no reproducibles (Nivel

socio-económico) y los items que en la evaluación de calidad tuvieron puntajes muy bajos

o fueron muy confusos y de poca importancia. Estos fueron: Personalidad, Estabilidad

familiar, calidad de vida como médico.

Los items de evaluación global para conocimientos, destrezas, valores humanos y valores

éticos tuvieron un porcentaje muy bajo de respuestas. Al evaluar la razón se encontró que

muchos de los expertos no entendieron que se trataba de una pregunta de evaluación global

para el dominio, por esto se limitaron a evaluar los demás items dentro del dominio.

Tampoco se pudo verificar su reproducibilidad por el bajo número de respuestas. Por lo

anterior se decidió suprimir estos items globales, además se consideró que generarían ruido

para el análisis factorial.

ANÁLISIS FACTORIAL:

El instrumento validado por los expertos, se denominó “Instrumento No.1”, el cual fue

aplicado para el análisis factorial (Anexo No. 11: Instrumento Preliminar para análisis

factorial). Este instrumento conservó los 5 dominios inicialmente propuestos e incluyó 67

de los 76 items iniciales. Para el tamaño de muestra se tomaron 5 medidas por cada item lo

cual significaba una muestra total esperada de 335 aplicaciones.

Para la selección de la muestra, se utilizó la base de datos del Ministerio de la Protección

Social donde están registradas todas las IPS, EPS, públicas y privadas del país. También se

utilizó el registro de Ascofame para las Facultades de Medicina y los programas de

posgrado.

45

Page 46: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 10: Reproducibilidad del Instrumento Preliminar

Test – retest: Prueba de Wilcoxon: Aplicación a 20 Expertos

Para el resto del Instrumento, ver Anexo No. 10: Reproducibilidad Instrumento Preliminar.

CONOCIMIENTOS

Ho: momento 1 = Momento 2 Wilcoxon signed-rank test

FACTOR DETERMINANTE DEL IMPACTO DEL EGRESADO DE UN PROGRAMA DE MEDICINA

Z Prob > Z No rechazo Ho

CONOCIMIENTOS 1.CONOCIMIENTOS (evaluación global) 2. Conocimientos en ciencias básicas 0.0 1.0 NO 3. Conocimientos en ciencias clínicas 0.577 0.563 NO 4. Conocimientos sobre ley 100 y sistema nacional de salud

0.372 0.7098 NO

5. Conocimiento de la realidad socio - cultural del país y su entorno

-1.175 0.2399 NO

6. Conocimiento del código o normas sobre ética médica y responsabilidad médica

0.378 0.755 NO

7. Conocimientos sobre administración y gestión en salud

0.085 0.9319 NO

8. Conocimientos sobre prevención y promoción de la salud

0.918 0.3587 NO

9. Dominio del inglés como segunda lengua -0.769 0.4419 NO 10. Conocimientos en informática 1.117 0.2640 NO 11. Desempeño en la prueba de estado para Medicina

0.397 0.6916 NO

12. Conocimientos en Humanidades . . NO 13. Conocimiento en Investigación Clínica y biotecnología

. . NO

14. Conocimientos de cultura general . . NO 15. Conocimientos en fármaco - economía . . NO 16. Conocimiento y manejo de guía de atención de servicio

. . NO

17. Conocimiento de elementos de comunicación oral y escrita

. . NO

18. Participación permanente en educación continuada

. . NO

La base de datos del Ministerio incluía 1500 entidades privadas y 1000 entidades públicas

(Anexo No. 12: Base datos del Ministerio de la Protección Social), en la revisión se

encontró que un número significativo de las instituciones figuraban como públicas y

privadas a la vez, por lo que la base quedó reducida a 980 Instituciones.

46

Page 47: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Se incluyeron las 52 Facultades de Medicina registradas en Ascofame, 15 presidentes de

Asociaciones Científicas, 20 estudiantes de medicina de ultimo año.

En las EPS e IPS el instrumento fue enviado a los Directores médicos o jefes de Atención

médica, en las facultades de Medicina a los decanos, directores de carrera, directores de

programas de posgrado y profesores.

Para todas las ciudades fuera de Bogotá, el Instrumento se envió a través de un sistema de

correo con respuesta prepagada, se privilegiaron las ciudades capitales y ciudades

intermedias, de acuerdo a su número de Instituciones de salud. En Bogotá el envío se hizo a

través de mensajería con entrega certificada y recolección directa a partir del 5 día de la

entrega y durante 45 días.

Se enviaron en total 1067 instrumentos y se recuperaron 335 (34%). Aunque el porcentaje

de respuesta fue bajo, se completó el tamaño de muestra esperado para el análisis factorial.

Los resultados obtenidos de esta muestra fueron sometidos a un análisis factorial para

reducir los items y establecer los factores a retener para el instrumento final.

El análisis Factorial, se realizó con el paquete estadístico SPPS para windows versión 11.2.

Este análisis incluyó varios pasos fundamentales:

Paso 1: Las respuestas obtenidas fueron tabuladas en una base de datos de Excel y

procesadas en el programa SPSS para el análisis factorial.

Se incluyeron 330 mediciones, se eliminaron 5 por inconsistencias.

Paso2: Se Verificaron los supuestos para saber si el análisis factorial era procedente en esta

muestra. Los resultados obtenidos aparecen en la Tabla No. 11 e indican que se cumplieron

todos los supuestos y por lo tanto en este caso era factible realizar el análisis factorial para

la construcción del Instrumento final.

47

Page 48: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 11: Supuestos para el Análisis Factorial

SUPUESTO RESULTADO

Prueba de Kaiser Meyer Olkhin

(cercano a 1)

0.906

Prueba de esfericidad de Bartlet

P significativa

Chi cuadrado aproximado 12856,8

Global: 2211

Significancia: p = 0.000

Matriz de correlaciones: Las correlaciones

deben ser >0.2 y diferentes de 1.0

La matriz demostró correlaciones

adecuadas entre las variables. (Anexo 13)

Determinante (diferente de 0) 2.921E-20

Tamaño de muestra 330

Paso 3: Extracción de factores: Para la extracción de factores se realizó un análisis

exploratorio incluyendo tres métodos: Análisis de Componentes Principales, Factorización

del Eje Principal y Máxima Verosimilitud. Los tres métodos extraen inicialmente 15

factores y establecen los mismos items con peso >0.4. Entre los tres métodos se

encontraron diferencias en la carga factorial de los últimos 7 factores extraídos. (Anexo 14:

Tabla comparación métodos de extracción de factores).

De los tres métodos el que inicialmente se ajustó más al modelo fue el de Análisis de

Componentes Principales.

Paso 4: Rotación de Factores: La rotación de factores se realizó mediante el método

ortogonal de Varimax, asumiendo independencia entre los factores.

Se realizó la rotación a partir de los tres métodos de extracción de factores, combinadas

con Varimax y Kaiser, en forma exploratoria. Se encontró que los 15 factores extraídos por

cualquiera de los métodos explican el 68% de la varianza, y tenian eigen values mayores de

1.0. El análisis de la rotación de factores a juicio del investigador mostró, que el de mayor

ajuste para el modelo conceptual era el de Componentes principales y Varimax.

48

Page 49: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

De los 15 factores extraídos por el método Componentes principales y Varimax, se

conservaron los 8 primeros, teniendo en cuenta que estos explicaban el 55% de la varianza

y sus eigen values eran mayores a 1.6. Los 7 factores restantes tenían un porcentaje muy

pequeño menor a 2.5% sobre el total de la varianza, lo cual puede verse en la Tabla No.12.

Al examinar el scree plot o gráfico de sedimentación (Gráfico No.1) también se observó el

punto donde la curva cambia en forma significativa su pendiente, indicando que podían

conservarse entre 5 y 7 factores.

Gráfico No. 1: Scree Plot

Gráfico de sedimentación

Número de componente

6561

5753

4945

4137

3329

2521

1713

95

1

Aut

oval

or

30

20

10

0

49

Page 50: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 12: Factores Extraídos según porcentaje de Varianza explicada

Autovalores Iniciales Suma de las saturaciones al

cuadrado de la rotación

Factores Total % de la

Varianza %

Acumulado Total % de la

Varianza %

Acumulado 1 19.511 29.120 29.120 6.524 9.738 9.738

2 4.159 6.207 35.328 6.097 9.101 18.838

3 3.533 5.273 40.600 4.019 5.999 24.837

4 2.482 3.704 44.304 3.607 5.383 30.220

5 2.139 3.192 47.497 3.072 4.585 34.806

6 1.839 2.744 50.241 2.815 4.202 39.008

7 1.741 2.610 52.852 2.519 3.760 42.767

8 1.655 2.470 55.322 2.472 3.689 46.456

9 1.500 2.239 57.561 2.439 3.641 50.097

10 1.329 1.984 59.545 2.416 3.606 53.703

11 1.250 1.865 61.410 2.278 3.401 57.104

12 1.203 1.796 63.206 2.084 3.110 60.214

13 1.156 1.725 64.931 1.920 2.866 63.080

14 1.073 1.601 66.533 1.766 2.636 65.716

15 1.042 1.555 68.088 1.589 2.372 68.088

Ver la tabla completa en el Anexo No. 15.

Los items se ordenaron de acuerdo con su peso, conservando en cada factor aquellos items

con peso >0.4. Se eliminaron los items con peso <0.3 porque no aportaban en forma

significativa, en ningún factor del Instrumento. Se conservaron los que tenían pesos entre

0.3 y 0.4 pero que a juicio del investigador se consideraban importantes, tales como:

habilidad y destreza en el examen físico cuyo peso en el factor VII fue de 0.377.

Conocimientos sobre administración y gestión tuvo un peso de 0.341 en el factor V y

Conocimientos sobre Ley 100 y Sistema nacional de salud con un peso de 0.311 en el

50

Page 51: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

mismo factor. Los resultados para el Factor 1 pueden verse en la Tabla No. 13 y en el

Anexo No. 16 los resultados para el resto de los factores del Instrumento.

Tabla No. 13. FACTORES E ITMES RETENIDOS 8 FACTORES – 47 VARIABLES

FACTOR 1 (Porcentaje de Varianza: 29.12% Eigen value: 19.5)

No clave Variable Carga 54 Integr Son honestos e íntegros en el ejercicio de la

profesión 0.808

55 Dignid Respetan la vida, dignidad y decisiones de los pacientes

0.769

50 Compro Demuestran compromiso con su paciente 0.715 51 Secreto Realizan manejo adecuado de la información sobre

los pacientes ( secreto profesional 0.655

52 Veraz Hacen un registro veraz de la información médica 0.645 53 Infcom Proporcionan información completa y adecuada al

paciente o su familia 0.630

57 Derech Protegen los derechos del paciente por encima de sus intereses personales o económicos

0.621

56 Actitud Tienen una actitud correcta en situaciones de conflicto medico-legal

0.619

49 Reflex Tienen capacidad de reflexión y autocrítica 0.456 Ver Anexo No. 16 para el resto de los factores

Consistencia Interna – Confiabilidad de la Escala: Después de hacer la extracción de los

factores, inclusión y eliminación de items en los factores retenidos, se realizó un análisis

de confiabilidad mediante la prueba de Alpha de Cronbach. En la Tabla No.14 Parte A, se

observa que la confiabilidad para la escala completa (67 items) fue de 0.942 y para la

escala reducida (47 items) 0.9438, la cual se consideró excelente. Igualmente sucedió con

el análisis de confiabilidad de cada uno de los factores (Tabla 14 Parte B).

Tabla No. 14 CONFIABILIDAD DEL INSTRUMENTO Y SUS FACTORES

Parte A CONSISTENCIA INTERNA DEL INSTRUMENTO

ESCALA VARIABLE No CASOS Alpha Cronbach

COMPLETA 67 310 0.942 REDUCIDA 47 329 0.9438

51

Page 52: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 14: CONFIABILIDAD DEL INSTRUMENTO Y SUS FACTORES Parte B

CONSISTENCIA INTERNA DE LOS FACTORES FACTOR No VARIABLES No CASOS Alpha Cronbach

11 355 0.89 9 355 0.88

10 (-exmfis) 355 0.88

FACTOR 1

10 (-etica) 355 0.88 FACTOR 2 8 349 0.88

4 358 0.83 FACTOR 3 5 (+expres) 358 0.83

FACTOR 4 7 357 0.86 4 350 0.74 FACTOR 5

5 (+etica) 350 0.79 6 (+etica +adm) 348 0.80 7 (+etica +adm

+ley100) 347 0.82

FACTOR 6 4 359 0.82 4 359 0.71 FACTOR 7

5 (+exmfis) 359 0.77 FACTOR 8 2 357 0.77

Como muestra la tabla 14-B, el análisis de consistencia interna por factores, permitió ubicar

los items que estaban aportando a varios factores, en uno solo, sin afectar la consistencia

del factor.

Paso 5: Los factores se nominaron de acuerdo a su contenido, tomando los items que

tenían mayor peso en cada uno, de tal forma que la denominación asignada, sirviera para

identificar el contenido.

Para los items que quedaron agrupados de una forma similar a como se había propuesto

inicialmente en el “Instrumento Preliminar” antes del análisis factorial, se conservó la

nominación inicial del factor. No se consideró necesario dividir ningún dominio en sub-

categorías.

La nominación de los factores para el Instrumento final es la que aparece en la tabla 15.

52

Page 53: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 15: NOMINACIÓN DE LOS FACTORES

FACTOR No ITEMS NOMINACIÓN PROPUESTA

I 9 Aspectos Eticos

II 8 Valores Humanos

III 5 Informática

IV 7 Relación con el entorno

V 6 Humanística y sociales

VI 4 Comunicación

VII 5 Habilidades y destrezas clínicas

VIII 2 Juicio y Decisiones

Peso de los Factores: Es importante tener en cuenta que los pesos de los factores pueden ser

válidos solamente para la población en que se aplicó el instrumento para el factorial.

Se exploró el peso de los factores mediante un análisis de regresión logística, sin encontrar

diferencia significativas en las cargas. De acuerdo con los eigen values de cada factor, se

consideró que el primer factor podía tener un peso mayor que los restantes, los factores 2,

3, 4 que tendrían el mismo peso entre sí, seguidos del 5 y el 6 y los factores de menor

peso en el Instrumento serían el 7 y 8. Dada que las diferencias en el análisis no parecían

sustancialmente grandes y que se considera indicado no asignar pesos en estos

instrumentos, se decidió hacer una aplicación inicial del instrumento final, conservando el

mismo peso para todos los factores

Paso 6: Edición del Instrumento final.

Se editó el instrumento definitivo para la evaluación de los egresados de un programa de

Medicina. Este instrumento contenía 8 Factores y 47 items. Anexo No. 17: Instrumento

para medir el Desempeño Académico y Laboral de los Egresados de un Programa de

Medicina.

El puntaje máximo del instrumento es de 283, de acuerdo con la escala de respuestas

establecida.

Asumiendo el máximo puntaje en cada item, los puntos estaban distribuidos así:

53

Page 54: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Factor 1: Valores Éticos: 45 puntos

Factor 2: Valores Humanos: 44 puntos

Factor 3: Informática: 35 puntos

Factor 4: Relación con el entorno: 41 puntos

Factor 5: Humanística y sociales: 49 puntos

Factor 6: Comunicación: 24 puntos

Factor 7: Habilidades y destrezas clínicas: 35 puntos

Factor 8: Juicio y decisiones: 10 puntos

Para la aplicación en la II Etapa, se incluyó en la edición el nombre la Universidad cuyos

egresados querían evaluarse, en este caso La Universidad Javeriana.

Prueba Piloto para Calidad del Instrumento Final:

Antes su aplicación en la Etapa II, el Instrumento fue sometido a una prueba piloto para

evaluar comprensión, lenguaje, claridad y redacción del Instrumento, para establecer el

tiempo necesario para responderlo. Para esta prueba piloto se escogieron 21personas entre

profesores de medicina, directores de departamento, estudiantes de postgrado.

Durante esta prueba también se evaluó la calidad de la escala de respuestas, diseñada como

una escala de Likert con 5 o 7 distractores según la pregunta.

Los resultados obtenidos durante la prueba piloto, aparecen en el Anexo No. 18 y muestran

una buena calidad de todos los items y del instrumento completo.

Reproducibilidad del Instrumento Final:

Se realizó una prueba de reproducibilidad, aplicando el instrumento con dos semanas de

diferencia, al mismo grupo que participó en la prueba piloto para calidad. Se utilizó una

prueba de Wilcoxon, cuyos resultados para el Instrumento total y para el factor 1: Aspectos

Éticos, aparecen en la Tabla No. 16.

La reproducibilidad del resto de los factores se encuentra en el Anexo No.19:

Reproducibilidad del Instrumento Final.

Los resultados permitieron no rechazar la hipótesis nula de no diferencia entre los dos

momentos de la aplicación, lo cual indicaba que el instrumento era reproducible y

54

Page 55: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

confiable.

TABLA No.16. REPRODUCIBILIDAD INTRUMENTO FINAL Prueba: Wilcoxon signed-rank test (21 muestras)

FACTOR Ho: momento1 = momento 2

Wilconxon signed-rank test Z Prob > Z No rechazo

Ho ESCALA COMPLETA 0.688 0.4913 FACTOR 1 0.000 1.000 NO

Son Íntegros en el ejercicio de la profesión 1.000 0.3173 NO Respetan la vida, dignidad y decisiones de los pacientes

-1.000 0.3173 NO

Demuestran compromiso con su paciente -1.000 0.3173 NO Realizan manejo adecuado de la información sobre los pacientes (secreto profesional)

. . NO

Hacen un registro veraz de la información medica

. . NO

Proporcionan información completa y adecuada al paciente y su familia

. . NO

Protegen los derechos del paciente por encima de los intereses personales o económicos

. . NO

Tienen una actitud correcta en situaciones de conflicto médico-legal

. . NO

Tienen capacidad de Reflexión y autocrítica 1.000 0.3173 NO Ver anexo No. 19 para el resto del Instrumento

En este momento se consideró que el Instrumento desarrollado reunía las condiciones de un

instrumento válido, reproducible, confiable, fácil de aplicar y que estaba listo para ser

utilizado en la evaluación de los egresados de un programa de Medicina. (Anexo 17)

Se procedió a realizar la Etapa II: Aplicación del Instrumento para evaluar a los egresados

el programa de Medicina de la Universidad Javeriana (Anexo 20 parte A).

55

Page 56: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

5.2. RESULTADOS DEL INSTRUMENTO APLICADO A PACIENTES

Esta parte tuvo como objetivo contrastar las opiniones de los pacientes con respecto a los

factores más importantes como determinantes del impacto o desempeño del egresado, con

las opiniones del los líderes del sector salud.

El Instrumento preliminar resultado del análisis factorial, fue aplicado en forma piloto a 10

pacientes, encontrándose una gran dificultad en la comprensión de los items y en su

interpretación, lo cual hizo muy difícil que pudieran contestarlo. Se decidió hacer una

modificación del instrumento, tratando de conservar los dominios e items propuestos, se

redactándolos en un lenguaje más claro para los pacientes. Se hizo nuevamente una prueba

piloto para comprensión, la cual mostró que el instrumento podría ser aplicado fácilmente a

los pacientes. (Anexo No.21 Instrumento para los pacientes) El tiempo que gastaba un

paciente en responderlo fue aproximadamente 10 minutos. Aunque el Instrumento era

auto-administrado, se entrenó una persona que le explicó al paciente el objetivo del estudio,

lo estimuló a participar y estuvo presente mientras el paciente completaba sus respuestas

para recoger el instrumento diligenciado.

Se escogieron 500 pacientes obtenidos por conveniencia de la consulta institucional de 2

IPS y de la consulta privada de 3 médicos.

Los resultados de la opinión de los pacientes se encuentran en el Anexo No. 22. Es

importante recordar aquí, que la aplicación de este instrumento iba dirigida a obtener la

opinión de los pacientes sobre los aspectos que ellos consideraban eran determinantes del

impacto académico y laboral de un médico en general, pero no se les pidió evaluar a los

médicos javerianos.

En el anexo 22 podemos ver que los pacientes privilegiaron todos los items relacionados

con los valores humanos, personales, éticos, la relación médico paciente y los aspectos de

comunicación bien sea con el paciente o con su familia. Estos aspectos fueron más

importantes como determinantes de impacto, que la universidad de origen y los

conocimientos generales del médico. Aspectos como dominio de segunda lengua,

56

Page 57: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

universidad de procedencia, conocimiento del sistema de salud, vinculación académica o

institución en la que trabaja no fueron referidos como muy importantes por los pacientes.

En la tabla No.17A podemos ver que el 59% de los pacientes no sabe de que universidad es

el último médico que lo atendió y este aspecto tampoco es un factor determinante en la

selección. Los motivos para escoger el médico en gran parte están determinados por la EPS

(46.37%) y en segundo lugar por las referencias que tienen sobre el médico (38.11%).

Aspectos como la universidad de origen no son tenidos en cuenta en el momento de la

selección (8.64%). (Tabla No. 17B)

Estos resultados deben mirarse con cuidado, pues un alto porcentaje de la muestra de l

pacientes, correspondió a vinculados al plan obligatorio de salud, donde en la mayoría de

los casos no es posible para el paciente seleccionar su médico. Pero por otro lado es válido

pensar que lo que le da la calidad a un médico (médico reconocido en su área, médico del

cual tengo buenas referencias) es en gran parte el sello que le imprime la universidad de

origen, así de alguna manera la universidad de procedencia tendría un importancia tácita en

la selección del médico por el paciente.

Al contrastar la opinión de los pacientes con los resultados del análisis factorial, vemos

que en los dos casos los aspectos éticos y los valores humanos fueron los de mayor peso e

importancia como determinantes de impacto.

Tabla No. 17A : Identificación de la Universidad del médico

Usted sabe en que Universidad estudió el último médico que lo atendió?

Respuesta %

SI 36.7

NO 59.1

No responde 4.1

57

Page 58: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No.17B Motivos de los pacientes para escoger su médico

MOTIVO PARA ESCOGER SU MEDICO %

Porque es el medico del cual tengo buenas referencias 38,11

Porque estudio medicina en una universidad buena y de prestigio 8,64

Porque es un medico muy reconocido en su área 37,92

Porque es el medico que me asigna mi EPS 46,37 Es uno de los médicos que encuentra en la lista de mi medicina prepagada 10,41 Es el medico que tiene el consultorio mas cerca de mi sitio de trabajo o residencia 11,00

Es el médico que me dio la cita más rápido 8,06 Porque es el médico que trabaja en una institución (Clínica u Hospital) que tiene buena atención de los pacientes 34,97 No responde 0,79

58

Page 59: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

RESULTADOS

ETAPA II: EVALUACIÓN DEL EGRESADO JAVERIANO

5.3. APLICACIÓN DEL INSTRUMENTO FINAL.

El Instrumento Final fue enviado a todas las Instituciones de salud, IPS, EPS del registro

del Ministerio de Protección social, a las Facultades de Medicina y Programas de Posgrado

del país.

Se anexó al instrumento una hoja para los datos demográficos en la cual se pedía a los

encuestados que indicaran si tenían egresados javerianos de pregrado vinculados a su

Institución o programa, en que porcentaje sobre el total de médicos vinculados, que tipo de

cargos o labor desempeñaban. Luego se solicitó que contestarán el instrumento de

evaluación, con base en los javerianos vinculados a la Institución o programa.

Se enviaron 1067 instrumentos, se recibieron 255 respuestas, de las cuales 109 indicaron

que no tenían médicos javerianos vinculados, quedando para el análisis solamente 146

instrumentos.

La tabla No. 18 muestra el total de médicos evaluados de acuerdo al tipo de vinculación.

Este número correspondería al 30% del total de egresados del programa.

Tabla No. 18: MEDICOS JAVERIANOS EVALUADOS SEGÚN VINCULACION

Tipo de Respuesta No de Instituciones

TOTAL DE RESPUESTAS 255 CON MEDICOS JAVERIANOS VINCULADOS 146 SIN TIENEN MEDICOS JAVERIANOS VINCULADOS

109

SEGÚN VINCULACION Numero Docencia 979 Investigación 636 Cargos administrativos y/o directivos 196 Asistencia como médico general 1091 Asistencia como especialista 1197 Estudiantes de posgrado 440

59

Page 60: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Para el análisis de los resultados de la aplicación, fue necesarios tener en cuenta que cuando

los lideres en el sector salud, contestaban “no sabe”, esto no sumaba puntos para el puntaje

final, lo cual podía llevar a sub-estimar los resultados obtenidos. Es claro que quien

contestó “no sabe”, no estaba dando una calificación mala, ni buena en ese momento. Por

esta razón se hizo el análisis de cada una de las aplicaciones del instrumento, calculando

cual sería el puntaje máximo esperado en cada caso, sin considerar los “no sabe”.

Para el análisis final se estableció cual era el puntaje promedio esperado en la muestra y el

puntaje promedio obtenido para la escala y por factor, resultados que podemos apreciar en

la tabla No. 19.

Los resultados muestran que el puntaje promedio esperado fue de 266 y el promedio

obtenido fue de 209. Se encontró que el factor 3: Informática y el Factor 5. Humanística y

Sociales, fueron los factores con menor calificación con relación a la esperada. El Factor

1: Aspectos Éticos y el Factor 8: Juicio y Decisiones fueron los mejor evaluados en los

egresados Javerianos

Tabla No. 19: APLICACIÓN DEL INSTRUMENTO FINAL – EVALUACION DEL EGRESADO JAVERIANO

PUNTAJES ESPERADOS Y OBTENIDOS POR FACTOR

PUNTAJES EVALUACIÓN EGRESADO JAVERIANO Puntaje Total de la Escala 283

ESCALA Puntaje Esperado Promedio *

Puntaje Obtenido Promedio

Porcentaje sobre el valor máximo

Escala Total 266 + 34 209 + 37 79%

Factor I 42 37 88% Factor II 42 34 82% Factor III 31 23 73% Factor IV 39 30 78% Factor V 46 31 68% Factor VI 23 19 82% Factor VII 34 27 81% Factor VIII 9 8 84% *El puntaje esperado fue calculado para cada factor, eliminando las respuestas “no sabe” ya que estas no suman en el puntaje final.

60

Page 61: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Se hizo una clasificación de los puntajes obtenidos en la aplicación de los instrumentos,

asumiendo que si el puntaje máximo esperado era de 266, toda calificación inferior al 50%

de este valor (133) se consideraría como mala, por encima de ese valor se distribuirían en

regular (134-160), aceptable (161-186), buena (187-211) y excelente (>212).

Se encontró que el 80% de los evaluadores calificaron el Desempeño del Javeriano entre

bueno y excelente y solamente el 7.4% lo califica menos que regular, tabla No.20

Tabla No 20. RESULTADOS OBTENIDOS DE ACUERDO AL PUNTAJE Evaluación de desempeño del Egresado Javeriano

CALIFICACIÓN DEL EGRESADO JAVERIANO SEGÚN PUNTAJE OBTENIDO

PUNTAJE n %

< 80 (Pésimo) 2 1.3 81 – 133 (Malo) 4 2.7 134 – 160 (Regular) 5 3.4 161 – 186 (Aceptable) 18 12.5 187 – 211 (Bueno) 43 30 > 212 (Excelente) 72 50 Total 144 100

También es posible observar en la Tabla No.21 la calificación que los líderes del sector

salud (evaluadores) le dieron a los egresados en cada item de los factores. Esta tabla incluye

únicamente el Factor 2: Valores Humanos. En este factor el porcentaje de líderes que no

pudo evaluar a los egresados javerianos varió entre 3.5 y 7.6% según el item.

La evaluación para los demás factores se encuentra en el Anexo No.20.

61

Page 62: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 20. RESULTADOS EVALUACIÓN EGRESADO JAVERIANO Factor 2 : VALORES HUMANOS

Porcentaje según respuesta Factor 2: Valores Humanos

Muestra : 144 aplicaciones

USTED PODRIA DECIR QUE

LOS MEDICOS JAVERIANOS:

Completa- mente en

Desacuerdo %

Parcial-mente en

Desacuerdo %

Parcial-mente de Acuerdo

%

De

Acuerdo

%

Completa- mente de Acuerdo

%

No sabe %

Tiene una actitud positiva ante el trabajo

0.7 8.3 45.1 41 4.9

Son Responsables y cumplidores de su deber

6.9 38.9 50.7 3.5

Tienen Sensibilidad social 0.7 5.6 21.5 32.6 33.3 6.3 Son leales con sus colegas 2.1 16 36.1 38.2 7.6

Ejercen Liderazgo en los diferentes ámbitos del ejercicio profesional

1.4 20.8 38.2 34.0 5.6

Son honestos y honrados

5.6 36.1 52.8 5.6

USTED DIRIA QUE LOS

CONOCIMIENTOS DE LOS MEDICOS JAVERIANOS SON:

Pésimo

Deficien-tes

Regula-res

Acepta-bles

Bueno Muy Bueno

Excelentes No sabe

Sobre uso racional de medicamentos son

2.8 4.9 11.8 44.4 27.1 5.6 3.5

Sobre guías de práctica clínica y su aplicación, son

0.7 2.8 16.1 43.1 29.9 9 3.5

Ver anexo No. 20 para los demás factores

Si miramos adicionalmente la Tabla No.22 que registra la calificación que los lideres le

dieron a la Carrera de Medicina de la Javeriana en forma general, encontramos que el

94.5% le dio una calificación superior a buena y solamente el 4.9% dijo no saber cual era la

calidad del programa. Estos resultados son consistentes con lo observado en el puntaje

obtenido con la aplicación del Instrumento de evaluación, con los resultados obtenidos en

la auto evaluación, con el informe de pares para la re- acreditación y con los resultados de

las últimas versiones de los exámenes de estado, donde hemos estado en el grupo superior.

62

Page 63: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

Tabla No. 22. CONCEPTO GENERAL SOBRE LA CARRERA DE MEDICINA DE

LA UNIVERSIDAD JAVERIANA

Según su criterio, la Carrera de Medicina de la Universidad Javeriana es:

Calificación Porcentaje

Pésima

Deficiente

Regular

Aceptable 0.7

Buena 31.3

Muy Buena 41.7

Excelente 21.5

No sabe 4.9

Total 100%

Una de las limitaciones en la aplicación del Instrumento fue el porcentaje tan bajo de

respuesta, a pesar de las estrategias diseñadas para mejorar la captura de la mismas. Esto

pudo deberse a que quien recibió el instrumento no estaba interesado en participar, no

quiso comprometerse con la evaluación o bien no tenía egresados Javerianos vinculados y

decidió no registrarlo.

Por otro lado el envío de los instrumentos no se hizo dirigido a las Instituciones que

tuvieran médicos javerianos vinculados, el haberlo hecho hubiera podido mejorar el

porcentaje de respuesta

Otros aspectos que pudieron influir en el porcentaje bajo de respuestas en esta etapa fueron:

que en algunas instituciones las coordinaciones médicas o las sub-direcciones científicas

están a cargo de administradores en salud, que las instituciones no tienen canales adecuados

de comunicación, no hay planes de trabajo ni de evaluación que permitan tener un

conocimiento profundo de los médicos vinculados por parte de las directivas. Esto pudo

llevar a que con frecuencia, no se tuvieran todos los elementos para calificar a los egresados

63

Page 64: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

y contribuir con el alto porcentaje de no respondedores o de respuestas “no sabe”.

Otro aspecto es que no hay un registro claro, ni conocimiento al interior de las Instituciones

sobre la Universidad de origen de sus médicos, lo cual hace difícil evaluar a un grupo en

particular.

Sería interesante y relevante hacer una aplicación del Instrumento dirigida a Instituciones y

programas de posgrado con un alto porcentaje de Javerianos vinculados, para minimizar los

sesgos en las respuestas, bien sea porque se sobreestime o subestime la calificación,

basándose en un grupo muy pequeño de javerianos en una Institución o programa.

La aplicación del instrumento dirigido a pacientes de egresados Javerianos en diferentes

Instituciones y modalidades de atención, permitiría obtener una segunda visión del

desempeño vista desde la óptica de los usuarios y no solamente de los empleadores,

educadores o formadores.

64

Page 65: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CAPITULO 6.

ANÁLISIS Y CONCLUSIONES.

A partir de los resultados de este trabajo podemos señalar varios aspectos:

o El concepto de “impacto” es definido por los expertos para este instrumento, en

forma similar a como definen profesionalismo los autores de instrumentos

publicados previamente en la literatura. La búsqueda en la literatura y los

resultados obtenidos señalan que el “impacto” depende directamente del

“profesionalismo” y este a su vez es un determinante del impacto.

o El análisis exploratorio del significado de “impacto” en este trabajo y para el grupo

de expertos consultados, hace concluir que el término “desempeño profesional”

define y explica claramente lo que ellos entienden por “impacto del egresado”

o El concepto de desempeño aparece como un determinante muy importante del

impacto y a su vez como un equivalente a profesionalismo, de acuerdo con este

estudios y con las publicaciones de la literatura.

o Los aspectos (dominios o factores) señalados por los expertos como determinantes

de impacto y los items incluidos por factor en el instrumento diseñado y validado en

este trabajo, son muy similares a los incluidos en la evaluación de profesionalismo

en los instrumentos existentes.

o A partir de los resultados obtenidos, para el instrumento diseñado se definirá

impacto como la marca o la huella que deja el desempeño profesional de los

egresados de un programa y será equivalente al concepto de profesionalismo

definido para instrumentos previamente diseñados en otros países

o El análisis de los resultados permite establecer que el término “desempeño” se

ajusta más al alcance y dimensiones de este trabajo que el término “Impacto”.

o Los aspectos éticos y los valores humanos, constituyen los factores con mayor peso

en el instrumento diseñado y por lo tanto se constituyen en los mejores indicadores

de impacto ó profesionalismo de los egresados de un programa de medicina.

o Tanto los expertos como los pacientes coincide en señalar los aspectos éticos,

valores humanos y aspectos de comunicación como los mayores determinantes del

impacto y por lo tanto del buen desempeño

65

Page 66: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

o Llama la atención en los resultados obtenidos, que los conocimientos científicos en

las diferentes áreas, no son uno de los factores de mayor peso, como

tradicionalmente se ha considerado y se refleja en los diseños curriculares de los

programas de medicina en general. En este estudio los conocimientos en ciencias

básicas no tuvieron un peso significativo (>0.3) en ninguno de los factores.

o Aun cuando los conocimientos no hayan sido explícitamente un factor de gran peso,

consideramos que su importancia va implícitamente ligada a la calidad del ejercicio

profesional y por lo tanto a la posibilidad de tener un desempeño más ético y

humano. La ausencia de conocimientos pueden llevar a un deterioro en los valores

éticos, humanos y de comunicación.

o Otro hallazgo llamativo fue, que los aspectos relacionados con Investigación

tampoco fueron un marcador importante de impacto - desempeño. Dado que para el

análisis factorial se alcanzó el tamaño de muestra esperado, una explicación a este

hallazgo es que los respondedores hayan provenido en un alto porcentaje de

instituciones con pocos investigadores, con poca producción académica, ó de

instituciones que no privilegian la investigación. Dada la importancia conceptual de

este factor, consideramos que debería incluirse en el instrumento final, como un

ítem del factor III.

o Llama la atención que la Universidad de origen no aparece como un determinante

de impacto en el instrumento final, sin embargo aquí es válida la consideración que

el sello de calidad de la Universidad de origen, va implícito en los factores

incluidos.

o Aunque el porcentaje de respuestas fue muy bajo para el número de instrumentos

aplicados, se alcanzó el tamaño de muestra necesario para el análisis factorial. Los

resultados obtenidos de la aplicación para el análisis factorial, pudieron estar

sesgados en cuanto a la importancia que se le dio a cada ítem, dado que existe un

número muchísimo mayor de instituciones asistenciales EPS e IPS que de

instituciones académicas en el país y estas pueden tener percepciones o valores

diferentes.

66

Page 67: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

o El mayor número de instituciones asistenciales que académicas en el país,

determinó a su vez que fueran las primeras las que evaluaran un mayor número de

egresados del programa de medicina.

o Dado que el Instrumento diseñado es auto administrado, es difícil precisar en la

aplicación final para la evaluación, si quien contesta, al evaluar el impacto puede

distinguir entre egresados de pregrado y posgrado. Si la diferencia no es clara,

podría sesgar los resultados en forma positiva si el impacto de los estudiantes de

posgrado es mejor que la del pregrado y en forma negativa en el caso contrario.

o El instrumento construido es un instrumento válido, reproducible y confiable para

ser utilizado en la evaluación de los egresados de un programa de medicina.

o La similitud de nuestro instrumento con los desarrollados y descritos para medir

profesionalismo, podría ser una forma de validez de criterio para el nuevo

instrumento.

o El instrumento diseñado y validado es un instrumento evaluativo con 8 factores y 47

items, un puntaje máximo de 283, una escala de respuestas de Likert, con un tiempo

estimado para responderlo de 15 minutos en forma auto administrada.

o El presente estudio no permite establecer si el instrumento diseñado tiene

propiedades discriminativas o de sensibilidad al cambio.

o La aplicación del Instrumento en la evaluación del “Impacto” del egresado

Javeriano, lo califica como bueno y excelente en el 80% de los casos. Solamente el

7.4% de los evaluadores lo califican como menos que regular. El 94.4% califica el

programa de Medicina de la Universidad Javeriana como bueno, muy bueno o

excelente. Estos resultados coinciden con la calificación de los ECAES y los

resultados de la auto evaluación.

o Dentro de los factores evaluados en el impacto /desempeño del médico Javeriano a

partir del instrumento diseñado, los de mayor puntaje fueron en su orden: Valores

éticos, juicio clínico y decisiones y valores humanos. Los factores con puntaje más

bajo fueron: Humanística y sociales e Informática.

o Es importante señalar la fortaleza percibida por los evaluadores, en dos de los

factores con mayor peso como determinantes de buen impacto / desempeño en los

egresas javerianos: Los valores éticos y humanos.

67

Page 68: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

RECOMENDACIONES:

o Se cambiará en el nombre del Instrumento la palabra “Impacto” por “Desempeño”

ya que esta corresponde de una forma más clara al alcance de este trabajo y a los

resultados obtenidos. Puede ser más comprensible para los evaluadores y hacer más

útil y universal el uso del instrumento

o Sería importante hacer una segunda aplicación del instrumento ampliando la

muestra e identificando las instituciones en las cuales se encuentran vinculados un

mayor número de médicos Javerianos, de tal forma que la base poblacional

evaluada sea más representativa del total de egresados

o Se propone para como parte de esta línea de investigación, evaluar la sensibilidad

al cambio del instrumento, mediante su aplicación al menos cada 5 años para poder

hacer seguimiento adecuado y dinámico, evaluando si la mejoría o deterioro en la

calidad del programa detectados en los procesos de auto evaluación, son a su vez

detectados por el Instrumento. Esta medida sería un complemento para el proceso

de extensión de la acreditación y un elemento más que permita a las directivas del

programa hacer ajustes para mejorar o fortalecer la calidad y lograr mayor

competitividad.

o Como parte de esta línea también se propone determinar la capacidad discriminativa

del instrumento entre programas de mayor o menor impacto. Lo cual se haría

mediante la aplicación del instrumento a facultades ubicadas en rangos diferentes

de acuerdo a su acreditación y a su desempeño en el ECAES.

o Evaluar si los resultados obtenidos en esta aplicación del instrumento ameritan

ajustes curriculares, para mejorar las falencias y reforzar las fortalezas que fueron

percibidas por empleadores, pacientes, profesores de posgrado, permitiendo un

mayor impacto y una mejor imagen de un programa de medicina.

o Los resultados obtenidos de la encuesta a los pacientes, obliga a reflexionar sobre

la importancia que los aspectos éticos y humanos deben tener en el currículo, como

una estrategia más para mejorar la calidad y el desempeño.

68

Page 69: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

o El instrumento diseñado será enviado a todos los programas de Medicina del país

para que pueda ser utilizado por quienes lo consideran, como un instrumento de

medida que permita hacer seguimiento y evaluación de sus egresados.

69

Page 70: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

CAPITULO 7.

BIBLIOGRAFÍA

1. Lineamientos para la Acreditaci6n. Consejo Nacional de Acreditación Segunda

Edición. Aljure Nasser Emilio, Hakim Murad Ramses, Hernández Carlos y

colaboradores. Junio de 1996 ISSN 0122-7874

2. Evaluación y Acreditación en los programas de Medicina de Colombia. Avances y

Futuro desarrollo. Ascofame-Icfes. Coordinador y Compilador Diego Giraldo

Samper. Jefe División de Evaluación. Ascofame. Primera Edición, Ascofame

1997.

3. Fundamentos teóricos y practica de la auto evaluación de programas académicos de

educaci6n superior. Guillermo Cepeda, Ana Cristina Miranda, Maria Dolores Pérez,

Nelcy Rodríguez. Centro editorial Javeriano Ceja 1999

4. Informe Ejecutivo para la Acreditación del Programa de Medicina de la Universidad

Javeriana. 1998.

5. Investigación sobre el desempeño del egresado de la Facultad de Medicina de la

Universidad Javeriana. Departamento de Medicina Preventiva. Facultad de

Medicina Universidad Javeriana, 1987

6. Estudio de Imagen. Universidad Javeriana. 2001. Documento Vice-rectoría

Académica

7. Hojat M, Gonnlla J, Xu G. Gender comparisons of young Physicians’ perceptions

of their medical education program, professional life and practice. A follow up

study of Jefferson Medical College graduates. Acad Med 1995;70(4):305-312

70

Page 71: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

8. Veloski J, Fields S, Boex J, Blank L. Measuring Professionalism: A review of

studies with instruments reported in the literature between 1982 and 2002. Acad

Med 2005:80(4):366-370

9. Wilkinson T, Frampton C. Assessing performance in final year medical students.

Can a postgraduate measure be used in an undergraduate setting? Medical

Education 2003;37:233:240

10. Lynch D, Surdyk P, Eiser A. Assessing professionalism: a review of the literature.

Medical teacher 2004;26(4):366-373

11. Arnold E, Blank L, Roce K, Cipparrone N. Can Professionalism be measured? The

development of a scale for use in the Medical Environment. Acad Med

1998;73(10):1119-1121

12. Medical Professionalism Project. Medical Professionalism in the new millennium:

a physicians charter. Lancet 2002;359:520-22

13. Project of the ABIM Foundation, ACP-ASIM Foundation and European Federation

of Internal Medicine. Medical Professionalism in the New Millennium: A

physician Charter. Ann Intern Med 2002;136(3):243-246

14. Arnold L. Assessing Professional Behavior: Yesterday, Today and Tomorrow.

Acad Med 2002;77(6):502-515

15. Leach D. Competence is a habit. JAMA 2002;287(2):243-244

16. Christakis N. The similarity and frequency Proposals to reform US medical

education. Constant concerns. JAMA 1995;274(9):706-711

71

Page 72: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

17. The Medical School Objectives Writing Group. Learning Objectives for Medical

Student Education. Guidelines form Medical School: Report I of the Medical

School Objectives Project. Acad Med 1999;74(11)13-18

18. Qualitative Evaluation and Research Methods. Michael Quinn Pat ton. Second

Edition. SAGE publications 1990

19. Psychological Testing. Anne Anastasi, Third Edition The Mac Millan Company,

Collier-Macmillan Limited, London

20. Gomez C, Ospina MB en Investigación Clínica: Epidemiología Clínica Aplicada.

Álvaro Ruiz Morales, Carlos G6mez Restrepo, Darío Londoño. Centro Editorial

Javeriano, Ceja 2001. Capítulo 4: Medición, pag 55-62. Capítulo 5: Adaptación y

validación de escalas, pag 69-73.

21. Medición de Actitudes. Gene F. Summers. Biblioteca Técnica de Psicología.

Primera edición 1976 Editorial Trillas. Capitulo 6: Cualidades de los

Procedimientos de Medición. Pag 177-224

22. La Medicina Especializada en Colombia. Diego Roselli y Colaboradores. CEJA

23. Kitzinger J. Qualitative Research. Introducing focus groups. BMJ 1995;311:299-

302

24. Qualitative Research in Health Care. Catherine Pope and Nicholas Mays. British

Medical Journal. Second Edition 2000

25. Métodos de investigación y Estadística en Psicología. Hugh Coolican. Manual

Moderno, segunda edición. Capítulo 8: Planteamiento de preguntas. Pag 135-159.

72

Page 73: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

26. INRUD Social Scientist Working Group. Focus Group Discussion Method. In

Qualitative Methods for Investigating Drug Use Problems, Boston Management

Sciences for Health, 1994: 52-75

27. Teoria Psicométrica. Nunnally J, Bernstein I. Tercera Edición. Mc Graw Hill.

1995. Capítulo 3: Validez, pag 90-125

28. INRUD Social Scientist Working Group. In deep Interviewing. . In Qualitative

Methods for Investigating Drug Use Problems, Boston Management Sciences for

Health, 1994: 31-51

29. Técnicas cualitativas de investigaci6n social. Reflexión metodológica y práctica

profesional. Valles Miguel. Editorial Síntesis SA, 1999. Capítulo 6: La entrevista en

profundidad, pag 177-232

30. Health Measurement Scales. Second Edition. Streiner & Norman. Oxford

University Press. Second Edition 1995. Chapter 5: Selecting Items, pag 54-66.

Chapter 7: From Items to scale, pag 85-102. Chapter 8: Reliability, pag 104-126.

Chapter 10: Validity, pag 144-161.

31. Bohrnsted G. En Test y técnicas de Medición en Psicología y Educación. Robert L.

Thorndike, Elizabeth Hagen. Biblioteca técnica de Psicología. Editorial Trillas

1970. Capítulo 3: Evaluación de la confiabilidad y validez en la medición de

actitudes, pag 103-127

32. Campbell D, Fiske D. En Test y técnicas de Medición en Psicología y Educación.

Robert L. Thorndike, Elizabeth Hagen. Biblioteca técnica de Psicología. Editorial

Trillas 1970. Capítulo 4: Las validaciones convergentes –discriminante mediante la

matriz multirasgo- multimétodo. Pag 128-153.

73

Page 74: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

33. Teoria Psicométrica. Nunnally J, Bernstein I. Tercera Edición. Mc Graw Hill.

1995. Parte 4: Análisis Factorial, capítulos 11, 12, 13. Pag 501-666

34. Sanchez R, Gomez C. Conceptos Básicos sobre validación de escalas. Rev Col

Psiquiatria 1998;27:121-130

35. Bland JM, Altman G. A note on the use of intraclass correlation coefficient in the

evaluation of agreement between two methods of measurement. British J Med

1990;20(5):337-340.

36. Teoria de los tests. David Magnusson. Biblioteca Técnica de Psicología Editorial

Trillas 1969. Capítulo 9: Métodos prácticos para estimar la confiabilidad. Pag 133-

152.

37. I-Kuei Lin L. A concordance correlation coefficient to evaluate reproducibility.

Biometrics 1989;45:255-268

38. Bland JM, Altman G. Statistical Methods for assessing agreement between two

methods of clinical measurement. Lancet 1986;February 307-310.

39. Factor Analysis Statistical Methods and Practical Issue. Jae-On Kim Charles W

Muller. Sage University Paper 1978

40. Introduction to Factor Analysis. What it is and how to do it. Jae-On Kim, Charles W

Muller. Sage Publications, 1978 University paper.

41. Making Sense of Factor Analysis. Pett Marjorie, Lackey Nancy, Sullivan John.

Sage Publications. 2003. ISBN 0-7619-1949X (cloth), 0-7619-1950-3(pbk)

74

Page 75: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXOS

75

Page 76: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 1

Tabla resumen estudios publicados para evaluar

profesionalismo

76

Page 77: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No.2

GUIA DE TRABAJO PARA LOS GRUPOS FOCALES

77

Page 78: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 3

MATRIZ RESULTADOS DE LOS GRUPOS FOCALES

78

Page 79: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 4

FORMATO PARA ENTREVISTAS SEMIESTRUCTURADAS

79

Page 80: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 5

FORMATO PARA ENTREVISTAS EN PROFUNDIDAD

80

Page 81: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No.6

INFORME CONSOLIDADO RESULTADOS DE LAS

ENTREVISTAS

81

Page 82: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 7

INSTRUMENTO PRELIMINAR PARA VALIDACION

82

Page 83: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No.8

NIVEL DE IMPORTANCIA ESTABLECIDO POR LOS

JUECES PARA EL INSTRUMENTO PRELIMINAR

83

Page 84: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 9

EVALUACION DE LA CALIDAD DE LOS ITEMS EN EL

INSTRUMENTO PRELIMINAR

84

Page 85: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 10

REPRODUCIBILIDAD – INSTRUMENTO PRELIMINAR

85

Page 86: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 11

INSSTRUMENTO No.1 PRELIMINAR

86

Page 87: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 12

BASE DE DATOS MINISTERIO DE LA PROTECCION

SOCIAL PARA APLICACIÓN DEL INSTRUMENTO

87

Page 88: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 13

MATRIZ DE CORRELACIONES DE LOS ITEMS

DETERMINANTE

88

Page 89: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 14

COMPARACION DE LOS TRES METODOS DE

EXTRACCION DE FACTORES

Análisis de Componentes Principales

Máxima Verosimilitud

Factorización del eje principal

89

Page 90: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 15

VARIANZA TOTAL EXPLICADA: PORCENTAJE DE

VARIANZA ACUMULADA EIGEN VALUE

ANÁLISIS FACTORIAL

90

Page 91: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 16

TABLA DE FACTORES E ITEMS RETENIDOS

91

Page 92: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 17

INSTRUMENTO FINAL POR FACTORES E

INSTRUMENTO PARA APLICACIÓN

EVALUACIÓN DE LOS EGRESADOS

92

Page 93: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO NO. 18

EVALUACION DE LA CALIDAD DE LOS ITEMS

INSTRUMENTO FINAL

93

Page 94: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 19

REPRODUCIBILIDAD DEL INSTRUMENTO FINAL

94

Page 95: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 20

RESULTADOS EVALUACION EGRESADO JAVERIANO

POR FACTORES

95

Page 96: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 21

INSTRUMENTO PARA PACIENTES

96

Page 97: CONSTRUCCIÓN Y APLICACION DE UN … · Análisis de componentes principales y rotación Varimax ii. ... La idea de este proyecto surge a partir de la importancia que para la Educación

ANEXO No. 22

RESULTADO OPINION DE LOS PACIENTES

97