comparación entre rankings de universidades e instituciones de investigación de iberoamérica
Post on 01-Jan-2016
32 Views
Preview:
DESCRIPTION
TRANSCRIPT
Comparación entre Rankings de universidades e instituciones de investigaciónde Iberoamérica
Mario Fernández, Isidro F. AguilloJosé Luís Ortega, Begoña Granadino
CINDOC-CSIC. Madrid. España
Agenda
1. Rankings: Una nueva herramienta
2. Propuesta bibliométrica del grupo SCImago
3. Propuesta cibermétrica del InternetLab
4. Resultados globales
5. Análisis comparativo
6. Discusión, conclusiones y recomendaciones
1. Rankings: Una nueva herramienta
Rankings: Necesidad
Indicadores bibliométricos son insuficientes para descripción de escenarios multidimensionales
Combinación de indicadores puede ser compleja por la heterogeneidad de los datos Ordenes de magnitud diferentes entre artículos,
citas, patentes, autores, instituciones Importantes sesgos y asunciones erróneas
en las escalas con unidades agregadas Factor de impacto esperado vs citas reales Autoría completa vs fraccionada
Rankings: Ventajas
Posiciones relativas frente a valores absolutos favorece la precisión frente a la exactitud
Combinación de datos de muy diferentes fuentes y naturaleza
Re-escalado de escenarios globales y locales Transformación de distribuciones potenciales en
lineales Modelos teóricos y empíricos para probar número
de variables y peso relativo de cada una de ellas Comparación inter- e intra-institucional y evolución “Facilidad” de interpretación
Rankings: Inconvenientes
Excesiva atención a las posiciones relativas Indicadores elegidos según su
disponibilidad Dificultad de asignar pesos a los distintos
indicadores Posiciones difícilmente discernibles en la
cola Otros artefactos estadísticos
2. Ranking bibliométricos
Antecedentes
Producción científica medida mediante indicadores bibliométricos son parte principal de muchos Rankings Datos extraídos de las bases de datos del ISI
Academic Ranking of World Universities (ARWU) Producido por la Shanghai Jiao Tong University
Times Higher Education Supplement World University Rankings (THES) Elaborado por QS
Ranking SCIMAGO
SCImago es un grupo de investigación inter-universitario Universidades de Granada, Extremadura, Carlos III
(Madrid) y Alcalá de Henares El Grupo de Investigación SCImago, junto a
Universia, publica dentro de su proyecto Atlas de la Ciencia el Ranking Iberoamericano de Instituciones Investigadoras RI3
El único criterio es el número de documentos recogidos en las revistas indexadas en las bases de datos Thomson-ISI (1990-2005)
Re-Ranking RI3
Diez países iberoamericanos Argentina, Brasil, Chile, Colombia, Cuba, España,
México, Perú, Portugal y Venezuela
Universidades, centros de investigación, hospitales, empresas Re-ranking con datos 2000-2005 Sólo entradas con producción total mínima de 100
artículos
3. Rankings cibermétricos
Antecedentes
Algoritmos de ordenación de resultados de búsquedas en motores PageRank de Google Clave del éxito de Google
Número de visitas a sedes Web Alexa TrafficRank Visitas interceptadas por el sistema. Sesgos de
cobertura
Web Impact Factor Resultados inconsistentes
Casos de éxito (I)
Casos de éxito (II)
Ranking Web El Laboratorio de Cibermetría (InternetLab) es un
grupo de investigación del CINDOC-CSIC El Laboratorio publica desde 2004 y con una
actualización semestral el Ranking Web de Universidades
El Ranking utiliza una combinación de indicadores cibermétricos obtenidos de los principales motores de búsqueda
Tamaño Web: Número de páginas en el dominioVisibilidad Web: Enlaces recibidos externosFicheros Ricos: Número de documentos en
formatos .pdf, .doc, .ps y .pptArtículos: Documentos recogidos por el Google
Scholar
Ranking Web (II)
Unas 11.000 universidades y más de 5.000 centros de investigación de todo el mundo son analizados
+10% son instituciones latinoamericanas
Top 200: Brecha digital académica México: UNAM (81ª del mundo) Brasil: Sao Paulo (97ª) y Campiñas (190ª) España: Universidad Complutense (162ª) Centros de investigación: CSIC (33ª)
4. Resultados globales
Resultados
Top 500 de cada uno de los rankings independientemente Re-ranking RI3 con datos 2000-2005 Re-ranking RW (Enero 2007) con 10 países
Solapamiento bajo 148 (29,6%) de Top RI3 no presentes en RW 217 (43,4%) de Top RW no presentes en RI3
Universidades 211 42% 344 69%Centros de investigación y otros 177 35% 153 31%Hospitales 104 21% 2 0%Empresas privadas 8 2% 1 0%
RI3 RW
Distribución Top 500
Perfil de los países
5. Análisis comparativo
Visión desde el ranking RI3Institución RI3 RWConsejo Superior de Investigaciones Científicas 1 7Universidade de Sao Paulo 2 1Universidad Nacional Autónoma de México 3 2Universidad de Barcelona 4 5Consejo Nacional de Investigaciones Científicas y Técnicas 5 221Universidad Complutense de Madrid 6 3Universidade Estadual de Campinas 7 4Universidad de Buenos Aires 8 20Universidade Federal do Rio de Janeiro 9 21Universidad Autónoma de Barcelona 10 9Universidad de Valencia 11 11Universidade Estadual Paulista Julio de Mesquita Filho 12 48Universidad Autónoma de Madrid 13 24Universidad de Santiago de Compostela 14 43Universidad de Chile 15 8Universidad de Granada 16 12Hospital Clínico y Provincial de Barcelona 17 1184Universidade do Porto 18 6Universidade Federal do Rio Grande do Sul 19 23Universidade Técnica de Lisboa 20 16
Visión desde el Ranking WebInstitución RW RI3Universidade de Sao Paulo 1 2Universidad Nacional Autónoma de México 2 3Universidad Complutense de Madrid 3 6Universidade Estadual de Campinas 4 7Universidad de Barcelona 5 4Universidade do Porto 6 18Consejo Superior de Investigaciones Científicas 7 1Universidad de Chile 8 15Universidad de Sevilla 9 23Universidad Autónoma de Barcelona 9 10Universidad de Valencia 11 11Universidad de Granada 12 16Universidade Federal de Santa Catarina 13 49Universidad Politécnica de Madrid 14 34Universidad Politécnica de Valencia 15 33Universidade Técnica de Lisboa 16 20Universidad Politécnica de Cataluña 17 24Tecnológico de Monterrey 18 191Universidad de Alicante 19 55Universidad de Buenos Aires 20 8
Comentarios
Existe una gran correspondencia entre las dos clasificaciones
Centros muy productivos en número de publicaciones tienen una baja presencia en la Web Especialmente los hospitales
El ranking Web favorece a las Universidades Técnicas y a las “Open Universities” (Tecnológico de Monterrey)
Cuestiones estructurales
Ley de los grandes números: Núcleo significativo más amplio en el ranking cibermétrico
Unidades dispares: No hay dominios o subdominios Web institucionales para ciertas organizaciones
Cobertura diacrónica (bibliométrica) vs sincrónica (cibermétrica)
Posibles sesgos: Biomedicina (ISI WoS) vs Tecnología (Web)
Cuestiones metodológicas
Sesgos de la bases WoK Cobertura de la región insuficiente Cobertura disciplinar (sociales, humanidades,
tecnologías) dispar Errores (>3%)
Problemas de estandarización: Entradas duplicadas Control de calidad en la colección de datos (semi-)
automática
Prácticas Web incorrectas Dobles (o triples) dominios Instituciones sin dominio propio Sesgos de los motores de búsqueda
6. Discusión y conclusiones
Conclusiones/recomendaciones Los Rankings ofrecen información valiosa para el seguimiento
del desempeño de las instituciones académicas y de investigación de la región No hay una alternativa viable hoy en día
Es necesaria una mayor calidad de los mismos, tanto técnica como científica, para evitar sesgos y resultados incorrectos Los rankings bibliométricos deben depurarse notablemente Más instituciones deben tener presencia Web independiente
Sin embargo, los resultados obtenidos son muy significativos y las dos propuestas pueden combinarse para obtener escenarios globales La producción científica debe incrementarse en otras áreas
diferentes a la biomedicina Existe una preocupante brecha digital académica no ligada
necesariamente a escasez de recursos económicos y/o tecnológicos
¡Gracias!: ¿Preguntas?
Ranking Web
http://www.webometrics.info
Ranking RI3
http://investigacion.universia.es/isi/isi.html
****
top related