La evaluación de revistas y los indicadores bibliométricos

La edición de publicaciones académicas

Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET)Facultad de Humanidades y Ciencias de la Educación, Universidad Nacional de la

Plata5 de diciembre de 2013

Zaida Chinchilla-Rodríguez SCImago Research Group – IPP - CSIC

Objetivos• Describir la presencia y visibilidad de la

investigación argentina en Scopus y sus características

• Estrategias para mejorar la visibilidad, difusión y los criterios para homologarse a estándares internacionales

• La función y utilidad de los indicadores en el diagnóstico y seguimiento del proceso de calidad editorial

hppt://www.scimagojr.com

Ciencias Sociales en Scopus

Incorporación de revistas iberoamericanas en Scopus

0

50

100

150

200

250

300

350

400

0

10

20

30

40

50

60

70

8019

96

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

Bras

il y

Espa

ña

Méx

ico, A

rgen

tina,

Chi

le, C

olom

bia,

Cub

a,

Vene

zuel

a y P

ortu

gal

MEX ARG CHL COL CUB VEN PRT BRA ESP

Efectos de la incorporación en bases de datos internacionales en la visibilidad

Evolución del SJR y la colaboración internacional

Revistas argentinas de Ciencias Sociales SCImago Journal & Country Rank (SJR)

Lengua de publicación y citas por documento

La investigación argentina en Scopus. Citas en revistas nacionales e internacionales

Estrategias para mejorar la visibilidad, difusión y los criterios para homologarse a estándares

internacionales

Artículos y revistas a nivel mundial

Situación de las revistas nacionalesDiagnóstico: Infra-representación de las revistas

nacionales• Predominan las publicaciones de carácter

institucional o generadas por un pequeño colectivo?• Gestión poco eficaz (prácticas endogámicas)?• Escaso impacto?• Calidad insuficiente?• Poca competencia en el mercado internacional?• Reticencias al uso del inglés?• Baja profesionalización de los equipos editoriales?• Falta de regularidad de la publicación?• Pobre distribución?• Escaso control científico de los contenidos?

Evaluación de revistas españolas. FECYT 2008

12.000 revistas invitadas

275 revistas inscritas

226 revistas Solicitantes de evaluación formal

186 revistas Devolvieron la documentación requerida

136 revistas Superación 1ª fase Criterios formales

87 revistas Superación 2ª fase arbitraje externo, originalidad

33 Superación 3ª fase Evaluación de Expertos

Criterios de evaluación de revistas por parte de las bases de datos internacionales (%)

• Procesos editoriales: evidencias sobre la forma en que se testan y mejoran la comunicación de sus contenidos

• Puntualidad y regularidad de publicación• Calidad de los títulos, resúmenes y palabras clave (español-inglés)• Instrucciones para los autores• Métodos de selección de artículos (% aceptación y rechazo)• Peer review (no endogámico)• Actualidad de las referencias bibliográficas y su procedencia (bases de

datos donde están indizadas)• Calidad de la producción gráfica• Utilización de un orden de prioridad de publicación: 1) Artículos de

investigación original 2) Revisiones críticas 3) Descripción de evaluaciones, métodos o procedimientos 5) Estudios de casos con discusión

• Contenidos de investigación: importancia, originalidad y contribución a la cobertura del campo

Indicadores formales• Cumplimiento de la periodicidad• ISSN• Sumarios• Resúmenes y palabras clave en dos idiomas• Fecha de recepción y aceptación de originales• Membrete bibliográfico• Referencia bibliográfica completa al principio del artículo (estándares

internacionales)• Alusión a los derechos de copia y reproducción• Afiliación institucional de los autores y de los miembros del consejo de

redacción y consejo asesor (estándares internacionales)• Instrucciones a los autores• Declaración de objetivos, tema y público

Cómo citar este artículo

Revistas CSIC - Guía de buenas prácticas1. Equipos editoriales de las revistas CSIC

1.1. Imparcialidad1.2. Objetividad1.3. revisión de los trabajos1.4. Aceptación o rechazo de manuscritos1.5. Desautorización y noticias de irregularidad1.6. Aplicación de las normas del Consejo de Redacción1.7. Normas de autoría1.8. Conflicto de intereses

2. Sobre la autoría de los artículos de revistas del CSIC2.1. Normas de publicación 2.2. Originalidad y plagio2.3. Autoría de los trabajos2.4. Fuentes de información2.5. Errores significativos en trabajos publicados 2.6. Conflicto de intereses3. La evaluación de trabajos de revistas científicas3.1. Confidencialidad3.2. Objetividad3.3. Prontitud de respuesta3.4. Reconocimiento de las fuentes de información3.5. Conflicto de intereses

How to… diseminate your work

Indicadores de gestión editorial

• Existencia de consejo de redacción y consejo asesor

• Revisión por expertos (no endogámico)• Agilidad en los procesos de evaluación y

publicación• Apertura editorial• Apertura de las contribuciones

Revistas argentinas de Ciencias Sociales en Scopus

Revista IndizaciónNacionales Extranjeros Nacionales Extranjeros Nacionales Extranjeros

Intersecciones en Antropologia 4 0 5 12 - - 7 Universidad Nacional del Centro de la Provincia de Buenos AiresSynthesis 2 0 0 0 - - 13 Universidad Nacional de La PlataArqueologia 8 0 2 8 10 9 3 Facultad de Filosofia y Letras, Universidad de Buenos AiresEstudios Migratorios Latinoamericanos - - - - - - 5 Centro de Estudios Migratorios LatinoamericanosMundo Agrario 3 3 - - 18 5 11 Universidad Nacional de La PlataAnclajes 18 1 3 4 10 9 17 Instituto de Analisis Semiotico del DiscursoInformacion, Cultura y Sociedad 4 0 5 9 - - 21 Instituto de Investigaciones BibliotecologicasQuinto Sol 18 0 10 7 - - 8 Universidad Nacional de La Pampa

Consejo de redacción Comité Asesor Científico Panel de revisores Publisher

Indicadores de difusión y visibilidad

• Presencia en bases de datos y directorios• Presencia en repositorios• Presencia en hemerotecas digitales• Posicionamiento en buscadores• Sindicación de contenidos• Oferta de alertas para nuevos sumarios u otros

servicios• Páginas web funcionales con servicios y conexiones

adicionales

Contactos post-publicación con el autor

How to… diseminate your work

Noticias

http://p5trr.emv2.com/LP/Uttl22w2Pfm?utm_campaign=3322053&utm_content=7389899729&utm_medium=BMCemail&utm_source=Emailvision

http://en.mincyt.gob.ar/news/the-law-on-open-access-to-scientific-information-was-approved-9320

La función y utilidad de los indicadores en el diagnóstico y seguimiento del proceso

de calidad editorial

Indicadores de impacto, uso y consumo

• Factor de impacto y prestigio– Journal Citation Reports – ISI - Thomson Reuters– SCImago Journal Rank – Scopus - Elsevier– Google Scholar Metrics

• Indicadores de uso– Journal Usage Factor – Counter

• Métricas alternativas– Altmetrics. com– Impact Story

Factor de impacto – JCR• Pros+:

– Tiene en cuenta las citas totales pero no toda la tipología documental en el cálculo

– Cálculo sencillo– Interpretación.– Popular.

• Contras-:– No está normalizado– Ignora la calidad de la citación:

• Prestigio de la revista.• Diferentes patrones de citación en los distintos campos temáticos.

– Ventana de citación corta– Desacuerdo con la percepción de los investigadores.

PageRank• Pros+:

– Tiene en cuenta la citación total.– Tiene en cuenta la calidad de la citación.

• La calidad de la revista citante por el PR.• El número de referencias de la revista.

– Buenos resultados en su uso por Google.– Rapidez en el cálculo.– Refleja la influencia y el prestigio de la revista.

• Con-:– No usa una ventana de citación.– Ignora el número de artículos publicados por una revista.

SCImago Journal Rank - Scopus

• Ventana de citación de 3 años.• Arti – Número de artículos publicados en la ventana de citación.• Emplea distintas ponderaciones según el tipo de citación (auto-citación, citación de

otros campos temáticos, etc).• Refleja el prestigio de la revista.• Acuerdo con la percepción de los especialistas en estudios recientes.

i

ii ArtPRSJR

Title SJR Rank SJR IF Rank IFJ APPL ECONOM 1,15 34 0,83 48J HUM RESOUR 1,00 35 1,07 35APPL ECON LETT 0,88 36 0,23 126J COMP ECON 0,83 37 1,09 34INT J FORECASTING 0,83 38 0,75 57J ECON GROWTH 0,81 39 2,58 6ECON EDUC REV 0,77 40 0,50 91REV INT POLIT ECON 0,72 41 0,78 52ECONOMET THEOR 0,71 42 0,76 56PUBLIC CHOICE 0,67 43 0,50 90WORLD ECON 0,65 44 0,75 58ECON INQ 0,64 45 0,72 61J IND ECON 0,63 46 0,55 79SCAND J ECON 0,61 47 0,62 69OXFORD B ECON STAT 0,60 48 0,65 65J ECON PSYCHOL 0,59 49 0,85 46CAMBRIDGE J ECON 0,56 50 0,77 55ENERG ECON 0,54 51 0,56 77J ECON HIST 0,54 52 0,53 81LABOUR ECON 0,54 53 0,53 83J MATH ECON 0,53 54 0,39 100J RISK UNCERTAINTY 0,52 55 2,10 10SOC CHOICE WELFARE 0,52 56 0,28 119MATH FINANC 0,52 57 1,35 24J REAL ESTATE FINANC 0,51 58 0,47 93SMALL BUS ECON 0,51 59 0,53 84NATL TAX J 0,50 60 0,84 47J REGUL ECON 0,48 61 0,40 98FUTURES 0,47 62 0,38 105J POPUL ECON 0,46 63 0,56 78REAL ESTATE ECON 0,45 64 0,45 95WORLD BANK ECON REV 0,45 65 1,27 27OXFORD REV ECON POL 0,44 66 0,72 62BROOKINGS PAP ECO AC 0,44 67 2,12 9

EconomicsTitle SJR Rank SJR IF Rank IF

AM ECON REV 8,47 1 1,81 13J FINANC ECON 6,22 2 2,39 7Q J ECON 5,66 3 4,78 1ECONOMETRICA 5,02 4 2,63 5J POLIT ECON 4,63 5 2,25 8J PUBLIC ECON 3,38 6 1,10 33J ECONOMETRICS 3,11 7 1,58 18REV ECON STAT 3,05 8 1,52 21REV ECON STUD 2,90 9 2,04 11J MONETARY ECON 2,90 10 1,66 16J ECON PERSPECT 2,69 11 2,63 4J ECON THEORY 2,64 12 0,91 43ECON J 2,53 13 1,44 23ECON LETT 2,29 14 0,38 103J INT ECON 2,20 15 1,67 15WORLD DEV 2,06 16 1,50 22GAME ECON BEHAV 1,87 17 0,77 54INT ECON REV 1,82 18 1,28 25J ECON LIT 1,82 19 4,05 2EUR ECON REV 1,64 20 0,96 41J HEALTH ECON 1,53 21 2,71 3J DEV ECON 1,51 22 0,87 44HEALTH ECON 1,43 23 1,92 12J FINANC QUANT ANAL 1,38 24 1,00 37J LABOR ECON 1,37 25 1,28 26ECOL ECON 1,33 26 1,18 30RAND J ECON 1,31 27 1,22 29J ENVIRON ECON MANAG 1,28 28 1,53 20J URBAN ECON 1,27 29 0,82 50APPL ECON 1,26 30 0,30 115ECON THEOR 1,23 31 0,40 99INT J IND ORGAN 1,18 32 0,62 70AM J AGR ECON 1,17 33 0,97 40J APPL ECONOM 1,15 34 0,83 48J HUM RESOUR 1,00 35 1,07 35APPL ECON LETT 0,88 36 0,23 126J COMP ECON 0,83 37 1,09 34INT J FORECASTING 0,83 38 0,75 57J ECON GROWTH 0,81 39 2,58 6

Google Scholar Metrics

Journal Usage Factor

Almetrics.org

altmetrics: a manifesto

• Bases de datos internacionales– Scopus y Web of Science

• Redes sociales– Facebook y Twitter

• Redes sociales académicas– Academia.edu– ResearchGate – Mendeley

• Perfiles bibliográficos– Google Citations– MS Academic Search

Nuevas plataformas y herramientas

Altmetrics.com

Almetrics – Métricas alternativas

• Medidas generadas a partir de las interacciones de los usuarios con materiales generados por los propios investigadores– Presencia en redes académicas– Número de veces que un trabajo se marca como favorito (bookmarking)– Número de veces que ha sido añadido a una colección bibliográfica– Menciones en blogs y medios de comunicación– Número de retwits…

• Fortalezas:– Aporta una dimensión distinta a la bibliometría convencional– Impacto social de la investigación científica– Proporcionan datos a nivel artículo (documento)– Proporcionan datos en tiempo real de la repercusión de la investigación– Especie de revisión por pares colectiva posterior a la publicación

• Debilidades:– Son muy recientes – Problemas de normalización para la recuperación de la información– Disponibilidad de datos

http://blogs.lse.ac.uk/impactofsocialsciences/2013/07/26/a-to-z-of-social-media-for-academia/

Fuente: Borrego, A. Altmetrics: altres mètriques per mesurar l'impacte de la informació científica. Jornada Tendències i models en l'edició de revistes científiques. Barcelona, 18 de abril de 2013

Altmetrics en el Repositorio Digital.CSIC

Decálogo de buenas prácticas1. Lo que no se cita no existe – publicaciones invisibles consumen

recursos sin cumplir una misión estratégica2. Hay que publicar menos y mejor – Fusión, co-edición y re-

estructuración de revistas3. Internacionalización en contenidos y panel de revisores 4. Buena dirección como elemento clave, marcar agenda de

contenido, relación con autores y revisores. 5. Proceso editorial de la revista como proyecto competitivo de

investigación internacional6. Profesionalizar la edición (estándares internacionales)7. Promoción y difusión de los contenidos desde la revista y por los

autores8. Páginas web funcionales con servicios y conexiones adicionales9. Seguimiento de contenidos y evaluación sistemática10. Promoción – Exposición en stand, etc…. Marketing para captar la

mayor audiencia posible

Conclusiones

• No se trata "sólo de estar" sino de "cómo se está"

• Los editores disponen hoy de una gran variedad de indicadores y herramientas para monitorizar la repercusión de las publicaciones, aumentar la visibilidad de sus revistas y por ende de los conocimientos producidos por los autores que publican en ellas.

“Tiene que preocupar que las universidades, el CSIC y las sociedades científicas sostengan tantas revistas que entierran trabajos, puesto que no son conocidos ni citados… Desafortunadamente, con ellos también se entierran los dineros públicos y el prestigio del investigador. Ni el idioma ni la especifidad del tema son excusa.”

Antonio Guillamón. Catedrático de Psicobiología. Miembro de la Comisión Nacional Evaluadora de la Actividad Investigadora

Gracias !!!

zaida.chinchilla@csic.es