conócenos en profundidad -...
TRANSCRIPT
Indicadores de evaluación científica
publicar con medida
conócenos en profundidad
La biblioteca estrena
descubridor para sus recursos de información
un nuevo sistema de acceso a los recursos electrónicos y a la búsqueda de información mediante una reciente tecnología de recuperación de información que parte del modelo "Google" y que se conoce como descubridor. Un clic y todo en tu mano.
http://ujaen.summon.serialssolutions.com
Con múltiples funcionalidades: filtrar para “afinar” en tus búsquedas, guardar tus resultados, exportarlos directamente a tu gestor bibliográfico…
magia a golpe de clic
evolución de suscripciones a revistas y monografías electrónicas a texto completo en la BUJA
0
5.000
10.000
15.000
20.000
25.000
30.000
35.000
2006 2007 2008 2009 2010 2011 2012 2013
MONOGRAFÍAS ELECTRÓNICAS
375.750
0
5.000
10.000
15.000
20.000
25.000
30.000
35.000
2006 2007 2008 2009 2010 2011 2012 2013
REVISTAS ELECTRÓNICAS
29.968
0
100.000
200.000
300.000
400.000
500.000
600.000
2006 2007 2008 2009 2010 2011 2012 2013
CONSULTAS BASES DE DATOS
0
100.000
200.000
300.000
400.000
500.000
600.000
2006 2007 2008 2009 2010 2011 2012 2013
NÚMERO DE ARTÍCULOS DESCARGADOS (REVISTAS
ELECTRÓNICAS)
evolución del uso en la UJA
programa ALFIN: competencias informacionales Itinerarios 1 y 2 (grado y postgrado)
2El trabajo de investigación
Herramientas para la búsqueda y recuperación de la información (nivel avanzado)
Evaluación de la información y vigilancia tecnológica
ALFIN 08ALFIN 06 ALFIN 07 ALFIN 09 ALFIN 10
Repositorios institucionales de la UJA. Acceso abierto y derechos de autor
Gestores bibliográficos
ALFIN 01 ALFIN 02 ALFIN 03 ALFIN 04 ALFIN 051La Biblioteca de la Universidad de Jaén. Orientación general
Iniciación al trabajo académico. Ética de la información
Recursos informativos en las distintas Áreas
Herramientas para la búsqueda y recuperación de información en internet
La ciencia se mide. Gestión de la información
Guía de seguimiento
1ª experiencia online525 alumnos
redes sociales
canal de noticias
abiertoBuja recoge información sobre la publicación en abierto de la producción científica, sobre derechos de autor, sobre visibilidad y difusión de la ciencia.
Información sobre…
Derechos de autor
Licencias CC
Open accessRevistas OA
Repositorios
2 soportes documentales
cienciaBuja responde a las necesidades informacionales de nuestros docentes e investigadores en el área de la evaluación de sus publicaciones.Para ello, reúne una colección de instrumentos de análisis, así como una biblioteca básica de recursos.
Información sobre…
Índices de citas
Rankings
Normas y regulaciones de agencias
de evaluación
IndicadoresCalidad
científica
Evaluación
Impacto
Publicar con medida: conceptos que no pueden estar fuera del tracing de
investigación
SOBRE INDICADORES, IMPACTOS … Y SUS ENFERMEDADES DERIVADAS
Normalmente toda investigación se
convierte en una publicaciónLlamada de atención del profesor E. Delgado en su introducción al master “evaluación de la investigación…” de la ugr
Publicar no es investigar
Todo lo que se publica no es investigación
podríamos decir
pu
blic
ació
n Investigación orientada a resultados
comunicada
difundida
La publicación científica y la difusión de los resultados constituyen uno de los pilares fundamentales de la actividad científica
1
El carácter científico de una
disciplina va indisolublemente unido al ejercicio
de la investigación
2
La madurez de una disciplina se
mide por la actividad
investigadora que genera
3Para evaluar el
progreso de una disciplina nada
mejor que valorar la cantidad y
calidad de la investigación
producida
“producción científica”
y desembocamos en el concepto de
ambios en los procedimientos de
omunicar los resultados de la investigación
Y en paralelo, la edición de un número importante de nuevas revistas en cualquier rama del saber
La abundancia y nivel de las publicaciones se han convertido en un
parámetro de política científica
para medir la calidad
se han introducido ciertos factores matemáticos para
medir el rendimiento de los grupos, que atienden a
dos criterios esenciales: • el número de artículos publicados (cantidad) • el prestigio de la revista (citaciones y/o impacto).
y tomar decisiones de financiación, por ejemplo, de líneas, grupos y equipos de investigación
Cantidad + Calidad
publicaciones
rendimiento
parámetros
medida calidad financiación
esto lleva implícito una gran tiranía
por qué quién no se ha preguntado…¿?
Debe ser valorada en términos absolutos
La cantidad determina conclusiones brillantes
Es riguroso el sistema que elige los journals más influyentes
La revisión por pares es infalible
Espacios reservados en las revistas top
Conocer al investigador es oportunidad para publicar
El número de citas es la madre de todos lo parámetros
Cuentan lo mismo las citas negativas que las positivas
El fraude también existe en el parnaso
Sus organizacionesintentan maximizar su inversión en
recursos humanos y materiales buscando la eficiencia del sistema académico. A los investigadores se
les exige el, aumento de la producción científica.
La industria quiere rentabilizar sus productos
y aumentar beneficios
Los autores quieren ser evaluados positivamente
mediante los indicadores de visibilidad habituales : las citas de
sus trabajos y la publicación en revistas de impacto
podríamos introducirnos aquí en el interesante mundo de la edición científica
un mundo de intereses
Universiteiten zetten eerste stap boycotwetenschappelijk uitgever Elsevier
boicot a Elsevier…otra vez, ahora desde Holanda
5 de julio
por cotillear…
Publicar o PerecerUna broma: Publish or Perish es el soft de análisis métrico sobre Google Scholar y Microsoft Academic Search
http://blog.trabajando.pe/index.php?start=95el investigador siente la presión de publicar
Publica que algo queda
“En su concepción actual son más importantes los continentes que los contenidos, condicionando una investigación rutinaria mediante proyectos continuistas de objetivos previsibles, encaminados a obtener resultados rápidamente publicables a corto plazo”
¿Qué es la producción científica? | Edición impresa | EL PAÍS
En su concepción actual son más importantes los continentes que los contenidos, condicionando una investigación rutinaria mediante proyectos continuistas de objetivos previsibles, encaminados a obtener resultados rápidamente publicables a corto plazo.
La disyuntiva estriba en decidir si la investigación debe favorecer el conocimiento y progreso de la humanidad o el currículo de los grupos; si se investiga para descubrir o para publicar. Quizá en estos tiempos de pragmatismo rácano, se abuse con exceso del axioma "... publica, que algo queda"
¿la esencia de la ciencia es crear o producir?¿Q
ué
es la
pro
du
cció
n c
ien
tífi
ca?´
.JC
.Arg
üel
les.
El P
aís
, 6/0
2/2
00
8
– ¡Ya lo sé, ya! -exclamó el becario asintiendo con la
cabeza-. En el Departamento andáis todos locos
intentando publicar en ese tipo de revistas.
Yaiza sonrió brevemente -mirando de reojo a Roger- ante
el comentario, inocente o impertinente, de Pol.
– Tienes razón, Pol -asintió no obstante Roger-. Muchas
veces publicamos pequeñas cosas, de ámbito
estrictamente local en revistas japonesas, brasileñas o
australianas, por poner tres ejemplos geográficamente
distantes. Y lo hacemos únicamente porque son revistas
indexadas, con cierto valor de índice, cuando lo más lógico
hubiera sido publicarlos en una revista española, de mayor
difusión y repercusión práctica entre la gente
verdaderamente interesada en el tema. Pero el índice de
impacto manda, y un investigador siempre preferirá tener
un artículo SCI en su curriculum vitae que no tenerlo.
Además se quiera o no, el sistema está montado así. Y si
no te quieres extinguir, científica y promocionalmente
hablando, hay que adaptarse al sistema.
impactolatría
La Impactolatría en la Ciencia, NauKis. 21 08.2012
conlleva una práctica simplista en la que se presupone que el FI de la revista y su reputación son indicativos absolutos de la calidad o importancia de una investigación concreta y, por extensión, de los autores de ésta.
HIFSMás información en Carlton M. Caves, “High-impact-factor Syndrome,” APS News, Nov. 2011; Reinhard Werner, “Thefocus on bibliometrics makes papers less useful,” NatureNews, 13 Jan 2015; Mohamed L Elsaie, Jenna Kammer, “Impactitis: The impact factor myth syndrome,” Indian J. Dermatol. 54: 83-85, 2009; doi: 10.4103/0019-5154.48998.
Y su síndrome asociado….
DORA: Declaración de San Francisco sobre Evaluación de la Investigación
Declaración de San Francisco de la Investigación (DORA) traducida al español, (DORA, PDF, 441 KB).Pulsando aquí accede a DORA y apoya esta iniciativa.
y además no vale cualquier cosa…
la producción se mide en rendimiento y el rendimiento científico se articula en torno a bases de datos y productos de evaluación
basados en indicadores
recordemos la noción de
rentabilidad, que como concepto también nos abre un mundo de posibilidades que no remiten sólo a consideraciones económicas
el número de artículos
publicados (cantidad)
el prestigio de la revista (citaciones
y/o impacto)
Los factores matemáticos para medir atienden a dos criterios esenciales
lo que no se mide no se puede controlar, y lo que no se controla no se puede gestionar
pero esto no es “conceptual”…ni conceptualmente individual…
la medida de prestigiosse traduce en millones de euros
Las universidades han perdido un 28% de financiación pública durante los años de crisis desde 2010 hasta 2014, una bajada presupuestaria que ha afectado de forma especial a los proyectos de investigación, donde la disminución ha alcanzado un 38%.
Esta es una de las principales conclusiones del informe Encuesta de investigación y transferencia de conocimiento del bienio 2012-13, presentado este lunes por la Comisión sectorial de I+D+i de la Conferencia de Rectores de las Universidades Españolas (CRUE), que también ha destacado que las ayudas a la infraestructura se redujeron un 66%
Hasta ahora las Universidades eran responsables de cerca del 80% de la producción científica (SCImago InstitutionsRankings)
http://www.scimagoir.com
futuro inciertoEncuesta de investigación y transferencia de conocimiento del bienio 2012-13, presentado este mes por la Comisión sectorial de I+D+i de la Conferencia de Rectores de las Universidades Españolas (CRUE
New
! SI
R IB
ER 2
01
5
el rendimiento de los centros I+D se suele comparar a partir
de rankings basados en indicadores
El Shanghai Jiao Tong Academic Ranking of World Universities (ARWU) o Ranking de Shanghai, pese a la proliferación de otros rankings de universidades y a las duras críticas recibidas, se ha convertido en el referente básico para señalar las universidades de investigación a nivel global.
aunque no es el único
un tema que preocupa y mucho…
#rankings
se alerta del peligro del diseño de políticas de investigación a partir de los rankings: Los 'rankings' imponen
su ley a la Universidad
La Comisión Europea estrenó en el 2014 un
nuevo ranking de universidades: U-Multirank
clasifica los centros en función de una serie más amplia de factores de calidad
El "Ranking Mundial de Universidades en la Web" es una iniciativa del Laboratorio de Cibermetría, que pertenece al CSIC, el mayor centro nacional de investigación de España.
Robinson-García, N., Jimenez-Contreras, E. y Delgado López-Cózar, E. (2013). Las universidades espanolas en los principales rankings de universidades. 2013. EC3 Working papers, 14: 20 de noviembre de 2013.
¿cómo ordenan los rankings?... sencillamente miden con indicadores
NDOC Nº documentos citables publicados en revistas JCR
NCIT Nº de citas recibidas por los documentos citables
H-INDEX Índice H según la fórmula de Hirsch
PCIT Promedio de citas de los documentos citables
TOPCIT Porcentaje de documentos citables altamente citados (establece un límite de percentil)
1Q Porcentaje documentos citables publicados en revistas 1Q del JCR
y así las cosas…¿por qué y qué tengo
que saber de índices e indicadores?
Primero que existen y que son decisivos en tu carrera científica
y si algo es decisivo… debe entrar formar parte en tu proceso de investigación
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
5
Tienen factor de impacto, por lo que se conoce la posición en el ranking de su especialidad
Revistas indexadas
con índice de calidad relativo
No tienen factor de impacto.
Usamos criterios de solvencia editorial
Revistas no indexadas o sin índice de
calidad relativo
• Los indicadores bibliométricos sirven para evaluar la producción científica de los investigadores, medir el impacto de los autores, determinar la calidad de las revistas y de los artículos.
• Cada índice o combinación de ellos sirve para evaluar criterios diferentes. los expertos suelen recomendar el uso de varios indicadores, no el uso de un único valor. Una buena batería de indicadores permite medir y analizar la ciencia en muchos aspectos
una definición y una aclaración
FI
SJR
Índice h
Ai (article
influencescore)
SNIP (Source Normalized Impact per
Paper
ef (eigenfactor
score)
índice g
una nube que permite conocer de forma combinada el impacto y el estado de la producción científica, ya sea de una publicación, un trabajo, un campo de la ciencia , una institución, un país…
estudian la dispersión, la colaboración, la visibilidad, el envejecimiento…
dónde encuentro ….
factor de impacto ¿qué es exactamente?
se trata de una medida aplicada a la repercusión que tiene una publicación en la literatura científica a partir de las citas que ha recibido, es decir, el número de veces que se cita por término medio un artículo publicado en una revista determinada
La idea es que cuanto más se cita un artículo, más importante es y más
relevancia tiene dentro de su ámbito de trabajo
El monopolio durante décadas de las bases de datos del ISI (hoy Web of Science, de la empresa Thomson Reuters) cede terreno con la publicación de la base de datos Scopus de Elsevier.
Eugene Garfield (16 de septiembre de 1925), conocido como Gene Garfield, es un informatólogo. Es el creador del Instituto para la Información Científica(ISI) de Filadelfia. También es un investigador destacado en el campo de la Bibliometría, y creador de múltiples teorías y cocientes en Información y Documentación.
¿cómo se calcula el factor de impacto de ?
•Es decir, el FI es el número promedio de citas de los artículos obtenidas por los artículos publicados en esa revista.
El FI de una revista para un año concreto se calcula dividiendo el número de citas obtenidas en ese
año por los artículos publicados en dicha revista los dos años
anteriores entre el total de artículos que la revista publicó en esos dos años.
Institute for Scientific Information
El FI para el 2008 para una revista X
Anúmero de veces que los artículos publicados por la revista X en el periodo 2006-2007 han sido citados por las revistas fuente a lo largo del año 2008
Bnúmero de artículos
publicados en la revista X durante el período 2006-2007
C=A/BFI de la revista X en el año 2008
Y el factor de impacto de ?
parecido pero no igual
http://www.scimagojr.com
Una alternativa que basa su funcionamiento en el algoritmo PageRank. Es un portal que incluye las revistas científicas y los indicadores científicos por países que utiliza los datos de Scopus ® a partir de 1996. El acceso a este índice es gratuito y es una alternativa española desarrollada por el Grupo de Investigación Scimago. SJR es un índice más ponderado, ya que incluye cuatro factores respecto a los dos que incluye ISI
• El índice H
• Número total de citas por revista
• Número total de documentos revista
• Número de citas por documento
El indicador expresa el número de enlaces que recibe una
revista a través de la citación ponderada de sus
documentos en relación con el número de documentos
publicados durante el año por cada publicación.
factor de impacto normalizado NIF?
Revistas ordenadas por factor de impacto en la categoría
factor de impacto
1 a IF a
2 b IF b
3 c IF c
4 d IF d
5 e IF e
6 f IF f
valores impacto
NIF 0’100 muy bajo
0’100<NIF1,00 bajo
1’00<NIF<2,00 medio
2’00NIF3’00 alto
NIF>3,00 muy alto
se calcula dividiendo el factor de impacto de la revista entre el máximo factor
de impacto de su categoría y multiplicando por 10
Índice hpropuesto por Jorge Hirsch en el 2005
• Es uno de los indicadores más relevantes para evaluar la producción científica de un investigador.
• Mide a la vez la calidad (en función del número de citas
recibidas) y la cantidad de la producción científica.
Ordeno mis publicaciones por el número de citas recibidas en orden descendente, las numero e identificoel punto en el que el número de orden coincide con el número de citas recibidas por una publicación. Este número constituye el índice h.
¿Cómo calculo mi índice h?
Hay 6 artículos que han recibido al menos 6 citas cada uno
A partir de esta búsqueda obtenemos un listado de publicaciones de este autor. Pulsamos el enlace "Crear informe de citas" para ver el índice H.
En la siguiente pantalla volvemos a ver las publicaciones de este autor pero ordenadas por el número de citas recibidas en orden decreciente, y el indice H calculado de forma automática
también se puede calcular el índice h para una revista o para un grupo de revistas: Scimago
y …up!!!GSM Google Scholar Metrics elabora listados de revistas y su
índice H, haciendo varios rankings por idiomas y categorías y subcategorías con una selección de las 100 mejores revistas según este indicador.
¿cuartil?
Permite evaluar la importancia relativa de una revista en el total de las revistas de su área indexadas en una base de datos
¿dónde? A nivel internacional, por supuesto, en
JCR y en SJR.
Para publicaciones nacionales de ciencias sociales y humanidades, en los productos desarrollados por el grupo de investigación EC3 (In-RECH, In-RECJ, In-RECS)
En matemáticas: los cuartiles son los tres valores que dividen al conjunto de datos ordenados en cuatro partes porcentualmente iguales
Si un listado de revistas ordenadas de mayor a menor factor de impacto se dividiera en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el factor de impacto más alto están en el primer cuartil, los cuartiles medios serán el segundo y tercero, y el cuartil más bajo será el cuarto. Por ejemplo, en un listado de 100 títulos, el primer cuartil son los 25 primeros títulos y estos serán los más valorados por los investigadores.
hay áreas con dificultad para localizar estos indicadores de impacto
Los propios evaluadores permiten alternativas para localizar indicios de calidad
• ERIH
• DICE-CINDOC
• RESH
• In-RECS, In-RECJ, In-RECH• LATINDEX Catálogo
• Acreditación de la FECYT
otras bases que permiten valorar calidad de las
publicaciones científicas
• FRANCIS
• IBSS
• RLG
• …
inclusión de las revistas en bases de datos
internacionales de relevancia para el área
• SPI (Scholarly Publishers Indicators) : Indicador de Calidad de Editoriales segun los Expertos (ICEE) : Permite medir el prestigio editorial de los libros de ciencias sociales y humanidades
• Bibliometric Indicators for Publishers (BiPublishers)
Indicios de calidad en libros Consideraciones generales
• CARHUS Plus+• CIRC• MIAR• ….
Si la revista no tiene factor de impacto…otros indicios de calidad
• criterios de calidad editorial cumplidos
• si tiene revisión por pares
• en qué bases de datos se encuentra indexada •ULRICH'S
•RESH
•MIAR
fuente: Guías BUS
recomendable
aunque no sea palabra divina: conocer muy bien los criterios que fija la CNEAI para tu área de conocimiento
conocer todas las posibilidades para obtener indicios de calidad
por tanto y además….la investigación debe tener una estrategia de posicionamiento
tener claro las opciones de publicación
Francesc Esteve (Departamento de Pedagogía de la Universidad Rovira i Virgili)
recopilación clasificada en 4 niveles (oro, plata, bronce y otras) que puede servir de ayuda a la hora de elegir revista dónde publicar
chuleta personal
desconocer todo
esto es
información generalderechos de autor y acceso bierto
análisis y evaluación de la producción científica
desde la Buja, algunas direcciones para recordar
