Indicadores Bibliométricos como Instrumentos de Política

Científica.

Los Retos de los Sistemas de Evaluación de la Calidad Científica en

los Países Emergentes

Monterrey 0ctubre 2013

EC3metrics – GRUPO EC3

Dr. Evaristo Jiménez-Contreras

Facultad de Comunicación y Documentación

Universidad de Granada

Contenidos

EC3metrics

Una reflexión inicial

La percepción sobre las evaluaciones

Es posible la evaluación?

Las herramientas

Aplicaciones:

Proyectos

Instituciones

Rankings

Los resultados

Los retos, reflexiones y valoración final

Una reflexión inicial

EC3metrics

La reflexión sobre los indicadores no es meramente técnica, tiene

unas evidentes implicaciones políticas.

Su uso deben ser decidido a la luz del modelo de universidad que

busquemos (y no hay un modelo único).

La no evaluación de las actividades científicas, o su disolución entre

un conjunto más o menos amplio de objetivos o indicadores. también

es una opción política,

La percepción de las evaluaciones

EC3metrics

Actitud de los investigadores franceses ante los procesos evaluativos:

Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS

y H), Desde luego no gustan en España (en Latinoamérica?)

Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones

En Alemania a día de hoy no hay un sistema constituido de evaluación institucional

Actitud Porcentaje

Totalmente en contra 15 Aceptan con reparos 85 Totalmente a favor 0

EC3metrics

Es posible la evaluación?

Evaluación en Ciencia

EC3metrics

• La evaluación es inherente a la actividad científica.– La revisión por expertos es uno de los signos distintivos del quehacer

científico, es lo que diferencia a las revistas científicas de las restantes (por ejemplo)

• Es cualitativa/cuantitativa

• Sin embargo, evaluar la Ciencia con la pretensión de orientar su avance, optimizar los recursos, controlar sus progresos, etc. es algo completamente diferente y en cierto modo ajeno a la tradición científica

Es posible la planificación y la evaluación en Ciencia?

EC3metrics

• El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muycomplejo que implica a numerosos agentes:– Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto

• Sus efectos y algunos de sus factores son en parte intangibles

• Es incierta y a veces impredecible

• Las herramientas analíticas están poco desarrolladas (aunque cada vez más)

• Con frecuencia genera polémicas y tiene efectos contraproducentes

A quien interesa? Y porque puede ser aconsejable

EC3metrics

• Economía : Aprovecha los resultados, optimización de recursos. Planificación de inversiones,

• Academia: Aporta fundamentos teóricos, herramientas, autoevalúación, priorización

• Sociedad: beneficio, prioridades, rendición de cuentas

• Política: Desde la política se crean la herramientas legales para su organización y se utilizan los resultados para financiar las actividades

El debate sobre la Política científica

EC3metrics

Entre la Ciencia responsable.

Bernal JD, (1931) La responsabilidad social del científico

Los poderes públicos pueden y deben controlar la orientación de la

Ciencia

Y la república de la Ciencia…La evaluación ex ante no es necesaria porque

“the results of any one particular investigation cannnot be predicted

with accuracy” (Bush, V. 1945)

Los científicos debían gozar de libertad total, nace la NSF

la práctica evaluadora se generaliza a partir de los 70-80 como

consecuencia de la crisis económica

EC3metrics

Fundamentos de la evaluación bibliométrica

Dimensiones de la actividad científica y sus productos

EC3metrics

Investigación

Formación/docencia

Nuevo conocimiento Innovación

Políticas públicasDivulgación y

peritaje

ArtículosArtículos

Libros,

MOOCS…Patentes, spin-off

Subvenciones y programas Comunicación, informes, asesorías..

Que es lo que producen/valoran los científicos?

EC3metrics

Qué leen/citan los investigadores?

EC3metrics

Donde prefieren publicar

EC3metricsResearch Information Network and JISC. 2009

Cómo prefieren los científicos ser evaluados

EC3metrics

EC3metrics

• La conclusión de que se puede obtener una imagen ajustada

de un investigador a partir de su obra, de las revistas en

las que publica o del impacto que alcanza, puede

considerarse hoy en día un razonamiento correcto y en

consecuencia un punto de partida para construir políticas

evaluativas

• Pero no es el único y debe ser complementario a otros

EC3metrics

Herramientas

Bases de datos; Preguntas

EC3metrics

• Que fuente elegir?– Thomson Sci.

– Scopus

– Google Scholar

– Otras: Redalyc, SciELO

– Exhaustividad vs. Selectividad

– Control en el ingreso de las fuentes frente a repositorios abiertos

– Indicadores clásicos o nuevos indicadores (almetrics)

– Adaptación a perfiles propios o a standards internacionales

– Indicadores simples vs. complejos

– Indicadores absolutos vs. relativos

Bibliometría Output científico

Selección vs exhaustividad

EC3metrics

Ejemplo Psicología

TS Scopus Diferencial

Revistas 555 890 circa 300 >50%

Citas Diferencial

14000 9%

Revistas Citas Artícuos

58 0

60entre 1 y 9 3700

La ganancia en cobertura, en contra de los que suele pensar no es necesariamente un beneficio.

Lo que nos falta desde hace años no es información sino tiempo para leerla..

Pautas de actuación

EC3metrics

• La elección de las fuentes determina el resultado

• La respuesta no es la misma según se trate se Ciencias Exactas y Experimentales o Ciencias Sociales y Humanidades.

• Aunque los criterios de fondo no deberían alterarse

• Calidad de la información– Científica

– Accuracy

• Complementariedad y ajuste al perfil institucional

EC3metrics

Aplicaciones

Ámbitos de actuación

EC3metrics

• Valoración de proyectos

• Aplicación a la evaluación de las carreras académicas

e institucionales

• Rankings

Valoración de proyectos

EC3metrics

• Desde los primeros ensayos en USA la valoración de

proyectos ha incluido sistemáticamente un apartado de

valoración de los CV de los solicitantes

• Gradualmente esta valoración ha incorporado elementos

bibliométricos

– Producción, impacto, citas como parte del proceso

Valoración de proyectos, Caso España, la ANEP

EC3metrics

Agencia Nacional de evaluación y Prospectiva (1989)

1, Méritos científicos del investigador principal y del resto del equipo de investigación.

1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo.1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos científicos de cada uno de los participantes, valorando positivamente la participación de investigadores en formación

2. Interés científico-técnico del proyecto.3. Viabilidad de la propuesta.

Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros.

Aplicación a la evaluación de las carreras académicas e institucionales

EC3metrics

• Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia…

han implementado alguna forma de premio por publicar fuera.

• Se vincula la carrera académica a la publicación en los “mainstream

journals”.

• En general promueven la autoselección por parte de los autores

• Consecuencias:

• La investigación ha pasado a ser el centro de la vida universitaria

• Incremento de las cifras de publicaciones internacional

• Reacción en contra de las áreas de CCSS y Hum.

Algunos ejemplos; Noruega

EC3metrics

• Tipos de publicaciones “A,B,C publications that could have achieved

greater significance by expending more effort and being compiled

into a smaller number of publications”

• Tipos de investigadores: local, nacional, Internacional

• “As a general rule, publications in publication channels with local

authorship are not to be included in the statistics on academic publishing

reported to the Database for Statistics on Higher Education (DBH), and

which would therefore be included in the Ministry’s basis for setting the

research component of the budgets.”

• Se diferencia entre Thomson Sci, Norart y BibSys

Algunos ejemplos; UK, del RAE al REF

EC3metrics

• Controvertido, calificado como muy negativo o muy positivo

• Mide la calidad de los resultados (publicaciones), entorno, reputación

• Flexible: cada panel establece sus reglas y umbrales.

• Se valoraban los 7 años anteriores del miembros permanentes pero

se consideró a los part-time más adelante.

• Selección de las mejores publicaciones

• 15 paneles y 67 subpaneles

• Muy costoso

• Incremento de la visibilidad pero no necesariamente de la calidad

(Moed 2008)

• Ha generado una adaptación de conductas

• Valoración en 5 niveles.

• Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente

15%

• 36 paneles

• Cada panel desarrolla sus propios criterios. A modo de ejemplo

en el de Medicina no se menciona el impacto científico clásico

medido en citas o similar.

• Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither

receive nor make use of citation data, or any other form of

bibliometric analysis including journal impact factors.

Algunos ejemplos; UK, del RAE al REF (2014)

España

EC3metrics

• CNEAI: objetivos

– Introducir un régimen retributivo para incentivar, mediante evaluaciones,

la actividad investigadora de calidad

– Fomentar que los investigadores orienten sus trabajos a lograr resultados

de amplia repercusión (internacional) científica y social

• Procedimiento:

– Evaluación sobre resultados de investigación: Las publicaciones

– Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de

objetivación forma

– Evaluación por pares: comisiones de expertos y selección de las mejores

publicaciones de cada candidato (5 en 6 años)

– Valoración bibliométrica sobre todo

ACTIVIDAD

INVESTIGADORA

• Artículos en revistas

• Libros y Capítulos

• Proyectos y contratos

• Transferencia

• Congresos

MÉRITOS

DOCENTES

• Docencia universitaria

• Dirección de tesis,

tesinas, trabajos grado…

• Cursos de formación

docente

FORMACIÓN

ACADÉMICA

• Títulos y premios

• Becas y ayudas

• Estancias de

investigación

GESTIÓN

• Cargos Académicos

• Puestos en la

administración

• Liderazgo de grupos de

investigación y docentes

OTROS MÉRITOS

ANECA, dimensiones de evaluación

CU

Investigación

Docencia

Formación

Gestión

TU

Investigación

Docencia

Formación

Gestión

Pesos y puntuaciones para acreditación

Revistas Indexadas o con

Índice de Calidad Relativo

JCR

Valoración de las revistas

Revistas no

Indexadas o sin

Índice de Calidad

Relativo

Rankings

EC3metrics

• Cual es la razón del éxito?– Percepciones, metodologías, información, expectación mediática

• Los rankings han venido para quedarse por tanto…

– hay que tener un programa de actuación y debemos ser pro-activos

– Conocer sus criterios internos y potenciarlos en nuestra política científica si son razonables y es factible hacerlo, por ejemplo;• Favorecer la publicación en revistas internacionales de alto impacto

• Contratar profesores de reconocido prestigio

• Atraen/ran visibilidad, estudiantes y recursos tanto humanos como económicos

• Los rankings son un arma arrojadiza

• Unidimensionales o lo que es peor multidimensionales

• Difieren en sus reglas por tanto son incomparables entre sí

• No descansan en supuestos teóricos claros en muchos de

sus apartados

Rankings

Desmontando los rankings

EC3metrics

• Elementos que componen la realidad de los rankings

• Elementos que componen la realidad universitaria:

Investigación Investigación

Docencia

Inserción laboral

Transferencia

Opinión de los expertos

Reconocimiento

Opiniones y éxito de los

egresados

Otras labores sociales

• No existe un patrón común: – Países con sistemas universitarios muy desarrollados: México, Chile,

Brasil y otros no tanto…

– Países con infraestructuras organizativas maduras y otros no tanto…

• También hay que considerar si nos dirigimos a:– Universidades enfocadas a investigación o a docencia

– Si tienen orientación internacional, nacional o local

– Si los destinatarios de los indicadores son usuarios, gestores, responsables políticos

– Públicas o privadas

• Por tanto los indicadores deben adaptarse a esos modelos y objetivos.

Antes de tomar medidas…

EC3metrics

Los retos… reflexiones y valoración final

Pros & Cons

EC3metrics

• Los indicadores bibliométricos miden outputs que en general son aceptados

como válidos por la comunidad científica (sobre todo en Ciencias)

• Utilizan una evaluación ex post que se basa en el principio de que los

resultados anteriores son un buen predictor del rendimiento futuro.

• Se centran principalmente (y en muchos casos únicamente) en el rendimiento

de la investigación, prestando poca atención a otros aspectos de la actividad

universitaria como la enseñanza o la innovación

• Uno de sus objetivos principales es la distribución eficiente de los fondos. Por

lo tanto el presupuesto final de las universidades (u otras instituciones de

investigación) dependerá en cierta medida, de los resultados de dicha

evaluación.

Pros & Cons

EC3metrics

• Se implementan sobre todo a nivel nacional. Altamente enfocados en los

detalles y las características de su sistema universitario nacional.

• A pesar de los anterior utilizan metodologías y enfoques bastante homogéneos

• Son sistemas dinámicos que se actualizan y rediseñan constantemente.

• Son económicos

• Son transparentes o deberían serlo

Pros & Cons

EC3metrics

• Dependen vitalmente de la calidad de las fuentes.

- (actualmente la disponibilidad de fuentes nacionales de calidad es limitado)

• Tienden a crear un escenario común con unas reglas únicas

• Favorecen la orientación hacia un modelo de universidad internacional, de

excelencia investigadora, especializada en áreas experimentales, tecnológicas

y salud

• Son parciales

Por tanto:

• Deben combinarse con otras fuentes que incorporen información sobre

recursos humanos y económicos

• Deben manejarlos expertos

Conclusiones

EC3metrics

• No hay una receta mágica. Todos las metodologías de evaluación tienen pros y

contras y hasta cierto punto pueden ser complementarias

• La bibliométrica es especialmente eficiente para los aspectos relacionados con

la investigación.

• Introducir la cultura de la evaluación no tanto como sistema de competencia

despiadada, sino como herramienta para optimizar los recursos y como forma

de rendición de cuentas.

• Debemos tener claro el modelo que queremos, tanto en la enseñanza

académica como en la investigación pero en ambos la necesidad de disponer de

recursos de información de calidad es imprescindible.

• Si se opta por la vía bibliométrica es necesario profesionalizar la gestión. Se

necesitan expertos que procesen, que adapten los indicadores y que generen

los informes liberando en lo posible a los investigadores y actúen cerca de los

centros de toma de decisiones, lo que en algunas universidades llamamos

unidades de bibliometría

• Al final seguramente habrá que elegir entre:

• Procedimientos bibliométricos:

“groseros”, sencillos y supuestamente “fáciles de engañar”

• Procedimientos basados en paneles: cualitativos, costosos,

sensibles y finalmente subjetivos y por tanto con poca

comparabilidad

Recuerden

Muchas Gracias!

evaristo@ugr.es