marzo '14: evaluación de la investigación. master en gestión de i+d (escuela nacional de...

Evaluación de la investigación

Dr. Antonio García Romero IE University

Master Internuversitario en Dirección y Gestión de la I+D+i en

Ciencias de la Salud

Escuela Nacional de Sanidad Universidad de Alcalá de Henares

UNED Madrid, 28 de marzo de 2014

Estructura de la presentación

1.  ¿Por qué es necesario evaluar la I+D? 2.  Algunos retos de las políticas de investigación

e implicaciones sobre su evaluación 3.  ¿Qué es la evaluación de la I+D? 4.  Métodos y herramientas para evaluar la I+D 5.  Epílogo

¿Por qué es necesario

evaluar la I+D?

Asia’s Ascent — Global Trends in Biomedical R&D Expenditures Justin Chakma, Gordon H. Sun, Jeffrey D. Steinberg, Stephen M. Sammut, and Reshma Jagsi. N Engl J Med 370;1 January 2, 2014

354.626 M€ 488.781 M$

Número de publicaciones en todas las áreas y tasa de variación Total mundial

73/hora

Número de publicaciones en Ciencias de la Salud y tasa de variación Total mundial

Algunos retos de las políticas de

investigación e implicaciones sobre su

evaluación

Una reciente serie de artículos en la revista The Lancet señaló que, en 2010, alrededor de 200.000 mill. $ (un sorprendente 85% del gasto mundial en investigación médica) se desperdiciaron en estudios que tuvieron fallos en su diseño, fueron redundantes, nunca fueron publicados o se publicaron con errores.

“Why most published research findings are false”

Mayor competencia por los (escasos) recursos

The Scientist ©

“Este es el mejor modo que conozco para decidir quien consigue la plaza de investigador”

Gallup, ORI 2008

Mala conducta científica

D. Parkins Nature ©

Mala conducta científica (cont.) Déjà Vu: a Database of Highly Similar Citations

Errami & Garner, Nature (2008)

Mayor grado de especialización

© The Economist 2010

Grupos más grandes, multidisciplinares y complejos Dificultad para evaluarlos mediante peer review

Richard Smith Editorial de BMJ (2001):323-528

Creciente interés en conocer los retornos socioeconómicos de la investigación biomédica

Creciente interés por conocer los retornos socioeconómicos de la investigación biomédica

Qué es la evaluación de la investigación

(Incluye una muy breve historia)

•  “La investigación es una actividad incierta dado que sobre un

espectro de posibles resultados se desconoce, a priori, la probabilidad que se tiene de alcanzar cualquiera de ellos”

(Nelson, 1959) •  El carácter incierto e impredecible de la investigación la

convierte en una actividad difícil de gestionar. En particular, es necesario disponer de la mayor información posible para tomar decisiones.

•  Se puede definir la evaluación de la investigación como el

conjunto de procedimientos que permiten obtener información útil para la toma de decisiones en Política de Investigación.

(García-Romero, 2003) •  La evaluación no es lo mismo que la monitorización. No basta con

describir lo que ha pasado sino responder cuestiones como por qué ha pasado? o ¿qué hubiera ocurrido si las condiciones hubieran sido otras?

Analogía con otras decisiones públicas o privadas

La evaluación de la investigación es crucial

para asignar los recursos (escasos) de

modo eficiente

1665: 1-2

Se establece el Peer Review para poder publicar en Philosophical Transactions Se generan incentivos a publicar al atribuir la propiedad de los descubrimientos Mejora sensiblemente la calidad de los avances científicos

Sir Isaac Newton

1958 Bibliometría, ISI (SCI, SSCI, A&HCI) Factor de Impacto

Eugene Garfield

El Efecto Mateo en la Ciencia “Porque a quien tiene se le dará y le sobrará; pero a quien no tiene, aún lo que tiene se le quitará” (Mateo 13:12)

Robert K. Merton

1968

Vannevar Bush

1945 Proyecto Manhattan National Science Foundation

Años 70 en adelante: tres hechos importantes

32ª Conferencia de la OPEC. 1973. Viena.

Derek de Solla Price. Ley de crecimiento exponencial de la Ciencia.

Coste de los equipos para investigación se dispara

Hoy … >1.750 … 10-15 …. 40%... 80%

Derek de Solla Price

9.740 revistas 1.593.000 artículos

23.406 artículos 1.350 $ / artículo 30 M$

Las políticas de I+D y evaluación deben evolucionar para

adaptarse a los cambios experimentados en la

Ciencia

Métodos y herramientas

para evaluar la Investigación

¿Cómo NO debemos evaluar? Paradoja de Procrusto

¿Cómo?

© The Scientist

INPUTS

Stock conocimiento Recursos humanos Recursos materiales e infraestructuras Recursos financieros Graduados “Problemas” Naturaleza

PROCESO

Trabajo investigadores (organización) Difusión investigación Apoyo técnico Apoyo administrativo y gestión Formación nuevos investigadores Interacción con la tarea asistencial y docente

OUPUTS Publicaciones Patentes Investigadores formados

IMPACTOS

Científico (FI, citas) Económico (empleo, innovación, LYL) Social (calidad de vida, calidad asistencial) Político (toma de decisiones)

Marco conceptual para la evaluación de la I+D

Indicadores y Métricas

•  Inputs: Recursos materiales, humanos, financieros (Manual de Frascati, Snowball metrics)

•  Proceso: sistemas de información, encuestas,

indicadores sobre la organización, interacciones, difusión de conocimiento.

•  Output: Publicaciones científicas, patentes. •  Impacto: Resultados en Salud, ahorro de costes,

mejora de la eficiencia, calidad.

•  Altmetrics

Herramientas •  Indicadores bibliométricos:

Los más extendidos son número de artículos, número de citas, factor de impacto, citas/documento e índice h.

Fuentes: Web of Knowledge / Thomson Reuters Scopus / Elsevier, Google Scholar Citatios / Google (usando por ejemplo Publish or Perish) •  Recomendaciones:

Usar indicadores apropiados para cada ítem: Por ejemplo, el FI es un indicador para revistas. No puede usarse para un hospital. Usar indicadores validados por especialistas (Scientometrics, ENID, Snowball metrics). Los indicadores de output tienen muchos sesgos y deben usarse teniendo en cuenta todas sus limitaciones.

Herramientas •  Indicadores bibliométricos: Sistemas de información de valor añadido SciVal (Scopus) o Incites (Web of Science) Scimago country, journal and instituton rankings.

Herramientas •  Indicadores de input:

Sistemas de información científica (comerciales) ICONO (Fecyt) datos agregados PAID: Acceso a través de Fecyt a datos desagregados

Altmetrics: •  Nueva corriente en materia de indicadores de I+D

Considera el impacto en un sentido amplio incluyendo referencias en redes sociales tanto científicas (Mendeley o Zotero) como generalistas (Twitter, Facebook, enlaces blog, etc.). También incluye indicadores de uso como descargas y de usuario (opiniones).

•  Tienen la ventaja de la inmediatez respecto de otros indicadores como las citas.

•  Article level metrics de PLOS One.

Métricas para cada artículo Uso del artículo Vistas HTML Descargas PDF Descargas XML Citas recibidas PubMed Crossref Scopus Otros indicadores de impacto Valoración de lectores Rankings Comentarios recibidos Cobertura en blogs

Muchas gracias por su atención

agr22@faculty.ie.edu @Agarciarome lnkd.in/SgKSD3

upib.blogspot.com