les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et...
TRANSCRIPT
![Page 1: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/1.jpg)
Les nouvelles formes d’évaluation scientifique : quelles évolutions en sciences, technique et médecine ?
Validation et évaluation de l’information sur Internet
Journée d’étude du 31 janvier 2007 Ministère de la Recherche, Amphithéâtre Poincaré
Manuel Durand-Barthez, SCD Toulouse 3
![Page 2: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/2.jpg)
2 types d’évaluation:
A priori, qualitative, par les pairs (peer reviewing) A posteriori, quantitative,
par les citations (bibliométrique)
![Page 3: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/3.jpg)
Définition du problème
Nécessité de promouvoir des alternatives de type qualitatif par rapport au
modèle dominant quantitatif
![Page 4: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/4.jpg)
Méthode
Démonter le système quantitatif (bibliométrie) qui trop souvent régit en amont la soumission d’article
Réformer ce système de l’intérieur Introduire une évaluation
qualitative coopérative Y associer étroitement l’OAI
![Page 5: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/5.jpg)
L’EVALUATION DES PUBLICATIONS SCIENTIFIQUES
Depuis 1960, modèle quasi monopolistique:
ISI (Institute of scientific Information – Philadelphie)
[Groupe U.S. Thomson Inc.]
![Page 6: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/6.jpg)
EVALUATION DES AUTEURS
S.C.I. (Science Citation Index)
9300 titres revendiquéssur la Plate-Forme propriétaire de l’ISI
WEB OF SCIENCE (WoS)
![Page 7: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/7.jpg)
EVALUATION DES SOURCES(Titres des revues)
JOURNAL CITATION REPORT(J.C.R.)
Tableau statistique annuel
paraît au Printemps de l’année « n+1 »
2005: + de 6000 titres analysés
![Page 8: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/8.jpg)
Journal: EMBO JImpact Factor: 10. 053
Cites in 2005 to articles published in: 2004 = 43142003 = 6624
03+04 = 10938
Number of articles published in: 2004 = 4622003 = 626
03+04 = 1088Calculation:
Cites to recent articles 10938 ------------------------------ = ---------- = 10.053
Number of recent articles 1088
![Page 9: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/9.jpg)
Le calcul sur deux ans n'est pas forcément le plus adapté à toutes les spécialités :
Certaines peuvent mieux supporter
5 ans de délai
Notamment parce que la nature des articles publiés possède un caractère
plus pérenne et plus fondamental, appréciable (et donc "citable") sur une
plus longue durée
![Page 10: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/10.jpg)
Facteurs de pondération:
- Périodicité + ou – grande: 2 ou 52 num. par an ?
- Nombre d’articles par numéro
- Changement de titre en cours d’année
- « Jeune » périodique (libre, par ex.)
- Nombre de textes type « review »
- Langue, alphabet
- Autocitations
![Page 11: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/11.jpg)
Scholar Google
Une réplique « ouverte » du W.O.S.
Pas d’exploitation « sophistiquée » des données
Délimitation du corpus inconnue et mouvante
![Page 12: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/12.jpg)
10è référence
Citée 511 fois
Lien vers Nature
![Page 13: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/13.jpg)
![Page 14: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/14.jpg)
La « Fronde »
Publication d’articles polémiques, notamment
dans Nature
![Page 15: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/15.jpg)
![Page 16: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/16.jpg)
![Page 17: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/17.jpg)
Citebase et CiteseerUne autre conception du Une autre conception du
Facteur d’ImpactFacteur d’Impact Des expériences fondées sur l’OAI Comparaisons portant sur:
- Nb. de téléchargements
- Nb. de citations générées
- Temps écoulé entre ces deux actions
- Cycle de la publication (long terme)
![Page 18: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/18.jpg)
![Page 19: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/19.jpg)
![Page 20: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/20.jpg)
CiteSeer
![Page 21: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/21.jpg)
Facteur de HIRSCH
Calcul d’une moyenne faisant coïncider:
Nb de Publications et Nb de Citations
= indice h
![Page 22: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/22.jpg)
![Page 23: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/23.jpg)
Il y associe un indice m portant sur la durée n (nombre d’années)
résultant de la pente (slope) h versus n
![Page 24: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/24.jpg)
•m 1 (h = 20 après 20 ans d’activité) : chercheur de « bon niveau »•m 2 (h = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de haut niveau dans une université très cotée•m ≥ 3 (h = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…
![Page 25: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/25.jpg)
EVALUATION QUALITATIVE
(hors Citations)
![Page 26: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/26.jpg)
Le Peer Reviewing classique
2 referees en principe anonymes Arbitrage par l’Editor in Chief 1 (rarement 2) « navettes » Voir les Recommandations aux AuteursExemple de la Charte de l’American Chemical Society
![Page 27: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/27.jpg)
L’évaluation qualitative coopérative
arXiv
Citeseer
F1000
![Page 28: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/28.jpg)
![Page 29: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/29.jpg)
Communication / Evaluation intracommunautaire
≈ 1990: espaces de données GOPHER, interface VERONICA puis navigateur MOSAIC
Vérification mutuelle d’expériences Foisonnement des échanges
d’évaluation intracommunautaires Modèle actuel majoritaire préféré
à l’exposition publique…
![Page 30: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/30.jpg)
![Page 31: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/31.jpg)
Citeseer – Commentaire en ligne
![Page 32: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/32.jpg)
Addition du Commentaire
![Page 33: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/33.jpg)
Evaluation a priori partagée - Modèle de Rodriguez et al.
The convergence of digital libraries and the peer-review process [2006]
![Page 34: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/34.jpg)
Faculty of 1000 (1)
"Recommended" Recommended reading for a section (i.e. of specialist interest) (F1000 Biology rating of 3)
"Must read" Must read for more than one subject/section (i.e. of general interest) (F1000 Biology rating of 6),
"Exceptional" A landmark paper representing the top 1% of publications (F1000 Biology rating of 9).
Recommended
F1000 Factor 3.1
Must Read
F1000 Factor 6.2
Exceptional
F1000 Factor 10.7
![Page 35: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/35.jpg)
Fac of 1000 (2)
F1000 Factor = Moyenne des 2 scores les plus élevés + (Somme de tous les Scores/30)
Exemple: 3 examinateurs, 2 attribuent la
mention Must Read, le 3è décerne l’Exceptional => on a un F1000 Factor de (6+9)/2 + (6+6+9)/30 = 8,2
Ceci correspond à un "Exceptional" rating badge.
![Page 36: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/36.jpg)
F1000 – Les « perles cachées »
Signalement périodique d’articles issus de revues « prestigieuses » à faible impact : Hidden Jewels
Analogie avec le Journal Status de Bollen opposant revues « popular» vs. « prestigious »
![Page 37: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/37.jpg)
Citation et Accès libre
Les articles en accès libre sur le Web sont cités de 2,5 à 7 fois plus que les autres
La philosophie de l’accès libre n’a pas la citation pour objectif principal mais de fait, il la facilite
![Page 38: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/38.jpg)
Pour conclure
La citation: un problème déontologique ?
Son ampleur et ses dérapages n’impliquent-ils pas une action de la communauté scientifique ?
Importance d’un travail coopératif sur les alternatives
![Page 39: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/39.jpg)
Sources (1)
Lefèbvre, Muriel (Urfist Toulouse)
Vers une remise en question des modalités traditionnelles d'évaluation des savoirs scientifiques ? (13/04/2006)
http://archivesic.ccsd.cnrs.fr/sic_00112197
![Page 40: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/40.jpg)
Sources (2)
http://isiwebofknowledge.com/http://arxiv.org http://citebase.org http://citeseer.ist.psu.edu http://scholar.google.com http://www.f1000biology.com/home/
![Page 41: Les nouvelles formes dévaluation scientifique : quelles évolutions en sciences, technique et médecine ? Validation et évaluation de linformation sur Internet](https://reader036.vdocuments.pub/reader036/viewer/2022062417/551d9d94497959293b8ca76c/html5/thumbnails/41.jpg)
Sources (3)
Hirsch, Jorge E.: PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102
Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status. arXiv:cs.GL/060103 v1 9 Jan 2006 http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.pdf
Les mêmes: The convergence of digital libraries and the peer-review process 2006
http://arxiv.org/ftp/cs/papers/0504/0504084.pdf