刘则渊大连理工大学

科技伦理与科技管理研究中心辽宁 大连 116085

liuzy@vip.163.com2012.5.21·大连

The International Conference on Peer Review,

Research Integrity, and the Governance of

Science

May 21-23, 2012

Dalian University of Technology,

ChinaPreliminary

Program

LIU Ze-yuanResearch Center for Ethics and

Management of Science and Technology ，

Dalian University of Technology, Dalian 116024, PR China

liuzy@vip.163.com2012..21· Dalian

The International Conference on Peer Review,

Research Integrity, and the Governance of

Science

May 21-23, 2012

Dalian University of Technology,

ChinaPreliminary

Program

摘 要：同行评议在中国学术界几乎是无所不在。除了科学基金项目资助、期刊论文的评审与国际学术惯例一致外，学术机构的研究环节与重要事项都要外聘专家进行评审。本文以作者和同行专家参加浙江大学一位教授及其指导的博士生合作研究成果、该博士生的资格、学位论文三项评审的材料为案例，对该校的评审内容设置、聘请同行专家的选择，专家评审的结果一致性、意见差异和态度行为等进行了分析。进而由案例引出同行评议的伦理责任和辅助工具。义务、及时、公正、严格、保密和尊重知识产权，是同行评议中负责任的伦理行为 (responsible ethical conduct) 。有趣的是，案例中三项评审内容均涉及定量评价指标研究，却未采用定量方法对其评审，但研究表明基于科学计量学的评价指标与方法，可以作为同行评议的辅助手段。

关键词：同行评议；案例；科研成果评审；博士生资格评审；学位论文评审；伦理责任；定量评价指标

3

Abstract ： Peer review is almost omnipresent in Chinese academic community. The reviewing of scientific funding grants and journal article publishing is in accordance with international academic rules, in addition, the research process of the academic institution and some important issues also need external experts to review. In this research, with the case of the author and other peer reviewers participating a reviewing on the achievement ， qualifications, and dissertation of a doctoral student from Zhejiang University, the author analyzes the setting of reviewing contents, the selection of peer reviewers, the consensus and difference of reviewers’ opinions ， and reviwers’ attitude and behavior . And then the ethical responsibilities and assistant tools in the peer review process are introduced. Obligation, timeliness , impartiality, strictness, confidentiality and respecting intellectual property rights are responsible ethical conducts during peer reviewing. Interestingly, in this case, although the three review aspects all involve quantitative evaluation indicators , but lack of quantitative methods to review. Actually, research has shown that the evaluation indicators and methods based on scientometrics could be used as assistant tools for peer review.

4

1 引言：学术界无所不在的同行评议2 有关一个博士生三项评议的案例分析2.1 一年内三项同行评议的典型案例2.2 对三项评审同行专家遴选、内容设项的分析2.3 对同行专家的意见异同和态度行为的分析3 由案例引出的同行评议的伦理责任与辅助工具3.1 关于同行评议的伦理责任3.2 关于同行评议的辅助工具4 结论与展望 5

1 Introduction: omnipresent peer review in academic community2 Case Analysis of three pieces of reviewing of a PhD Candidate2.1 Exemplary case of three pieces of peer reviewing in one year2.2 The selection of peer reviewers and design of evaluation items of the three pieces of reviewing2.3 Analysis on opinion differences and attitude behaviors of peer reviewers3 Ethical responsibility and assistant tools of peer review educed from the cases3.1 Ethical responsibility about peer review3.2 Assistive tools for peer reviewing4 Conclusion and Prospects

6

同行评议在中国学术界几乎是无所不在： 科学基金项目资助评审 期刊论文的评审 (以上与国际学术惯例一致 ) 国家和地方政府科学技术奖评审 教育部和地方人文社会科学优秀成果奖评审 学术机构的研究环节与重要事项的外聘专家评审 教授、博士生指导教师的校外专家评审 博士生资格认定和博士学位论文的校外专家评审

校外专家评审议意见往往起关键性甚至决定性作用。 本文以作者和同行专家参加浙江大学一位教授及其指导的博士生合

作研究成果、该博士生的资格、学位论文三项评审的材料为案例，探讨有关同行评议的伦理责任等问题。

7

Peer review is almost omnipresent in Chinese academic community.

The reviewing of scientific funding grants and journal article publishing is in accordance with international academic rules,

The science and technology award, The humanities and social science award, The research process of the academic institution and some important

issues also need external experts to review. The evaluation and hiring of professors, the qualification of PhD advisor

and PhD candidate and doctoral thesis all need external referees to review.

In many cases, the opinions of external referees play the key role, sometimes even crucial role in the reviewing process.

In this paper, with the case of the author and other peer reviewers participating a reviewing on the achievement, qualifications, and dissertation of a doctoral student from Zhejiang University, the author perform an analysis of the ethical responsibilities in peer review.

8

这个案例中的 3 项评议均为浙江大学公共管理学陈劲教授及其指导的博士生胡小君，时间为 2011年 3 月至 2012年 3 月。

在我主持和参加的同行评议事项中，在一年内三项评审集中发生在两个学者身上还是头一遭。

陈劲作为知名的中青年创新管理学家而转向指导科学学及科学计量学博士生，胡小君作为图书情报领域的学者近两年与国际著名科学计量学家鲁索 (Ronald Rousseau) 开展了富有成效的合作而成为科学计量学的后起之秀，均出乎我的意料之外。

因此，这三项评审具有典范意义。 这个案例研究的设想，立即得到陈劲教授的响应，同意以他们的

评审事项作为同行评议案例，该校公管学院及 2 位当事人向我提供了三项评审的全部原始材料。

我本人虽然参加这三项评审，但直到获取这些原始材料才得到三项同行评议的完整信息。

9

All the 3 pieces of reviewing in this case refers to Prof. Jin Chen and his PhD candidate Xiaojun Hu, both of whom are from School of Public Administration, Zhejiang University. The reviewing time is from March 2011 to March 2012.

Therefore, these three pieces of reviewing can provide exemplary meaning to scientific reviewing.

I told my intention to Prof. Chen, and got his positive response immediately. Then, they provided all the original documents of the three pieces of reviewing to me.

Although as one of the reviewers, I hadn’t got the complete information of the reviewing until these original documents were received.

10

第一项是 2011年 3 月，对陈劲和胡小君合作研究项目“基于代结构算法的研究评价研究” (10篇国际国内顶级期刊论文 ) ，以软科学成果申请浙江省科技进步奖进行通信评审。由浙江省科技厅授权聘请 6 名专家组成专家委员会，一致“建议推荐浙江省科学进步奖二等奖”。经该省科学技术奖评定程序，最后获得二等奖。

第二项是 2011年 12 月初，对博士候选人资格认定材料的匿名评审。提供资格评审的材料是该生的文献综述《引文分析科技评价指标的理论、方法及其应用》和研究报告《 On the definition of forward and backward citation generations 》。聘请的 3 名同行评议专家的总体评价均为“优秀”，通过资格认定。

第三项是 2012年 1 月，对题为《基于引用网络结构算法的科学计量新方法研究》的博士学位论文匿名评审。聘请的校外 5 名专家对学位论文一致评为“优秀”，一致同意答辩。该生于 2月 21日通过论文答辩，于 3 月获得管理学博士学位。

11

第一项是 2011年 3 月，对陈劲和胡小君合作研究项目“基于代结构算法的研究评价研究” (10篇国际国内顶级期刊论文 ) ，以软科学成果申请浙江省科技进步奖进行通信评审。由浙江省科技厅授权聘请 6 名专家组成专家委员会，一致“建议推荐浙江省科学进步奖二等奖”。经该省科学技术奖评定程序，最后获得二等奖。

第二项是 2011年 12 月初，对博士候选人资格认定材料的匿名评审。提供资格评审的材料是该生的文献综述《引文分析科技评价指标的理论、方法及其应用》和研究报告《 On the definition of forward and backward citation generations 》。聘请的 3 名同行评议专家的总体评价均为“优秀”，通过资格认定。

第三项是 2012年 1 月，对题为《基于引用网络结构算法的科学计量新方法研究》的博士学位论文匿名评审。聘请的校外 5 名专家对学位论文一致评为“优秀”，一致同意答辩。该生于 2月 21日通过论文答辩，于 3 月获得管理学博士学位。

12

主持评审机构关于同行评议专家的遴选： 是从同类研究型大学中，还是学科同行中选聘评审专家？ 是从一级或二级学科大同行，还是从基于研究方向的知识领域

小同行选聘评审专家？ 是选聘知名权威专家，还是活跃在研究前沿的权威专家？ 三项评审案例材料表明： 参加评审 6 名专家作为均属于科学计量学及科学学与科技管理

学科小同行，有助于作出权威的中肯的评价意见。 特别是一项科学计量学成果获得省级科技进步二等奖，由权威

专家对成果加以确认和高度评价，作用不可小视。 在大同行内学科高度分化的条件下，可以避免小同行之外的少数大同行专家自以为是、妄加评判的弊端。

13

主持评审机构关于同行评议专家的遴选： 是从同类研究型大学中，还是学科同行中选聘评审专家？ 是从一级或二级学科大同行，还是从基于研究方向的知识领域

小同行选聘评审专家？ 是选聘知名权威专家，还是活跃在研究前沿的权威专家？ 三项评审案例材料表明： 参加评审 6 名专家作为均属于科学计量学及科学学与科技管理

学科小同行，有助于作出权威的中肯的评价意见。 特别是一项科学计量学成果获得省级科技进步二等奖，由权威

专家对成果加以确认和高度评价，作用不可小视。 在大同行内学科高度分化的条件下，可以避免小同行之外的少数大同行专家自以为是、妄加评判的弊端。

14

专家信息 三项评审机构 985 教授 博导 成果评奖 资格认定 学位论文大连理工 ○ ○ ○ ○ ○ ○

复旦 /中科院研院 ○ ○ ○ ○ ○

武汉大学 ○ ○ ○ ○ ○ ○

中国教科院 ○ ○ ○ ○

中信所 ○ ○ ○

中科院科技政策所 ○ ○

同行评议专家选择就涉及大同行、小同行问题。 6名专家的学科专业均属于科学计量学及科学学与科技管理学科小同行，因此才能作出权威的中肯的评价意见。这就避免了在大同行内学科高度分化的条件下，小同行之外的少数大同行专家自以为是、妄加评判的弊端。

15

Expert Information three pieces

institutions 985 Prof. PhD sup Achievements Qualification Dissertation

DUT ○ ○ ○ ○ ○ ○

Fudan U. ○ ○ ○ ○ ○

Wuhan U. ○ ○ ○ ○ ○ ○

CNIES ○ ○ ○ ○

ISTIC ○ ○ ○

IPMCAS ○ ○

6名专家的学科专业均属于科学计量学及科学学与科技管理学科小同行。

16

主持评审机构关于评审内容项目的设置： 成果评奖、资格认定和学位论文的评审内容，是设项繁多、复杂烦琐，还是简单方便、易于专家便于操作评判？

其中对软科学成果评奖的评价标准，是规定必须应用并有经济效益，还是看成果对科学领域的具体创新与科技进步实质贡献？

三项评审案例材料表明： 浙江省科学技术奖的评审对软科学成果并没有按以往评审内容必须有实际的经济效益要求，而是注重评价其成果的创新性、前沿性及其理论与实际意义对科学技术进步的促进作用。这就使评审专家得以依据研究成果所属学科本身的价值意义来分析评价。

浙大在博士生资格认定和学位论文评审均有规范性的实施细则，但设计的评审书中内容设项都简单明了，使同行专家较为容易进行评判，便于针对实质内容及其创新性提出评价意见。

这显示出浙大对博士生的严格要求，对培养质量的自信，也相信和方便专家严格把关、公正评价。

17

主持评审机构关于评审内容项目的设置： 成果评奖、资格认定和学位论文的评审内容，是设项繁多、复杂烦琐，还是简单方便、易于专家便于操作评判？

其中对软科学成果评奖的评价标准，是规定必须应用并有经济效益，还是看成果对科学领域的具体创新与科技进步实质贡献？

三项评审案例材料表明： 浙江省科学技术奖的评审对软科学成果并没有按以往评审内容必须有实际的经济效益要求，而是注重评价其成果的创新性、前沿性及其理论与实际意义对科学技术进步的促进作用。这就使评审专家得以依据研究成果所属学科本身的价值意义来分析评价。

浙大在博士生资格认定和学位论文评审均有规范性的实施细则，但设计的评审书中内容设项都简单明了，使同行专家较为容易进行评判，便于针对实质内容及其创新性提出评价意见。

这显示出浙大对博士生的严格要求，对培养质量的自信，也相信和方便专家严格把关、公正评价。

18

项目 A优秀 B良好 C合格 D不合格

对研究报告的评价

论文选题 3      

论文观点 3      

研究方法 3      

论文结构 3    

对文献综述的评价 1 2    

总体评价 3

19

项目 A优秀 B良好 C合格 D不合格

对研究报告的评价

论文选题 3      

论文观点 3      

研究方法 3      

论文结构 3    

对文献综述的评价 1 2    

总体评价 3

20

参考项目 A (优秀 ) B (良好 ) C (中等 ) D (及格 ) E (较差 )

文献综述 3 2      

论文选题 5        

研究成果 5        

论文写作 4 1      

学位论文总体等级

评价

A ( 优秀 ) B (良好 ) C( 中等 ) D ( 及格 ) E (较差 )

5

评阅人对博士学位论文是否同意答辩的意见同意答辩同意经过小的修改后答辩 ( 可不再送审 ).

需妥进行较大的修改后答辩 (答辩前重新送专家评阅通过 ).

未达到博士学位论文要求，不同意答辩 .

21

参考项目 A (优秀 ) B (良好 ) C (中等 ) D (及格 ) E (较差 )

文献综述 3 2      

论文选题 5        

研究成果 5        

论文写作 4 1      

学位论文总体等级

评价

A ( 优秀 ) B (良好 ) C( 中等 ) D ( 及格 ) E (较差 )

5

评阅人对博士学位论文是否同意答辩的意见同意答辩同意经过小的修改后答辩 ( 可不再送审 ).

需妥进行较大的修改后答辩 (答辩前重新送专家评阅通过 ).

未达到博士学位论文要求，不同意答辩 .

22

从同行评议专家方面看评审意见共识和差异： 评审材料表明，专家对三项评审在总体评价和结果上具有高度的

一致性，可谓同行所见略同。但对成果达到什么水平，意见却不相同。

现在看来，有关国内领先、国际先进或领先的评价，都属于没有公认评价标准的国内评价俗套和不实之辞，远不如对成果具体创新内容的实质评价。

案例材料显示，专家对资格认定和学位论文的内容评价意见存在某些差异。如对博士生的文献综述评议，一位的意见：近 10多年来社会网络分析在科学评价方面的应用、动态引文网络分析及其可视化成为引文分析新阶段。这方面文献没有包含在综述中。另一位专家的意见：“《科学计量学》杂志 10多年前就提出，自普赖斯之后，未见大的突破。”其原因与专家是否活跃在研究前沿与第一线息息相关。后者在上世纪 90年代非常活跃，写过综述，但近 10多年已经从政，只能以 10多年前的情况说事。

23

从同行评议专家方面看评审意见共识和差异： 评审材料表明，专家对三项评审在总体评价和结果上具有高度的

一致性，可谓同行所见略同。但对成果达到什么水平，意见却不相同。

现在看来，有关国内领先、国际先进或领先的评价，都属于没有公认评价标准的国内评价俗套和不实之辞，远不如对成果具体创新内容的实质评价。

案例材料显示，专家对资格认定和学位论文的内容评价意见存在某些差异。如对博士生的文献综述评议，一位的意见：近 10多年来社会网络分析在科学评价方面的应用、动态引文网络分析及其可视化成为引文分析新阶段。这方面文献没有包含在综述中。另一位专家的意见：“《科学计量学》杂志 10多年前就提出，自普赖斯之后，未见大的突破。”其原因与专家是否活跃在研究前沿与第一线息息相关。后者在上世纪 90年代非常活跃，写过综述，但近 10多年已经从政，只能以 10多年前的情况说事。

24

从同行评议专家方面看评审态度和行为： 博士生资格认定和学位论文是否匿名评审 (俗称盲审和明审 ) ，能否影响专家评审的公正性和客观性？

评审专家如何表达不同见解，能否隐含某种学术回报？ 非匿名评审情况下，评审专家对熟悉朋友，是否存在情感因素？ 三项评审案例材料表明： 专家评审的态度和行为总体上是可信的，能够做到公正、客观、

严格、不留情面。三项评审显得一次比一次细致、深入和严格。 专家表达与被评审者相左意见是正常的，但个别专家暗示被评审

者引用自己 “ ” 的 权威 著作，显然是不当的。 对于评审中的情感因素，心理行为研究认为，专家有时也会在理智和情感的矛盾中产生某种道德伦理困境 (D. Joshua， 2001)。我个人坦诚地表示，这在所难免。但必须把这种情感因素控制在理性维度内，坚持评议中负责任的伦理行为。

25

从同行评议专家方面看评审态度和行为： 博士生资格认定和学位论文是否匿名评审 (俗称盲审和明审 ) ，能否影响专家评审的公正性和客观性？

评审专家如何表达不同见解，能否隐含某种学术回报？ 非匿名评审情况下，评审专家对熟悉朋友，是否存在情感因素？ 三项评审案例材料表明： 专家评审的态度和行为总体上是可信的，能够做到公正、客观、

严格、不留情面。三项评审显得一次比一次细致、深入和严格。 专家表达与被评审者相左意见是正常的，但个别专家暗示被评审

者引用自己 “ ” 的 权威 著作，显然是不当的。 对于评审中的情感因素，心理行为研究认为，专家有时也会在理智和情感的矛盾中产生某种道德伦理困境 (D. Joshua， 2001)。我个人坦诚地表示，这在所难免。但必须把这种情感因素控制在理性维度内，坚持评议中负责任的伦理行为。

26

同行评议中负责任的伦理行为 , 是负责任研究行为的组成环节，也是负责任研究行为的必要保障。其主要内容：

义务。论文评审，义不容辞，责无旁贷，不谋求任何私利和回报。

及时。按时完成评审，尤其外校送审论文，优先评审，不影响他人工作进程。

公正。无论谁指导的博士论文均一视同仁，评价客观中肯，去除个人偏见。

严格。要严把质量关，严防不端行为；评审意见一针见血，但应更富建设性。

保密。对于匿名评审，特别是外校匿名送审的对象及隐私应当保密、不外传。

尊重。尊重评审对象，尊重学生晚辈及其创造，尊重学位论文的知识产权。

27

The responsible ethical behavior in peer review is the component and necessary security of the responsible research behavior.

Obligation. The paper reviewed work should be duty-bound and one does not seek any personal profit and reward.

Promptness. The reviewing work should be finished in time. Especially, the submitted paper outside the university should be reviewed prior so as to not affect the process of the work of others.

Impartiality. The review comments of all dissertations supervised by whomever should be objective and impartial without any personal bias.

Strictness. The review should be quality focus to prevent any academic misconduct; review comments should also be keen and more constructive.

Confidentiality. For the anonymous reviews, especially outside the university, the privacy of reviewed candidates should be kept confidential.

Respective. The reviewed candidates should be respected, especially for their academic creation and the intellectual property rights of the dissertation.

28

自科学引文索引 (SCI) 创建以来，人们就努力用科学家发表论文的多少和被引频次，表征论文的数量和质量二项指标来评价科学家的学术水平与创造能力。

2005 年，美国加州大学圣迭哥分校的物理学家赫希 (Hirsch J.E.) 发表了《一种量化个人科学研究产出的指数》一文，提出了高影响力论文数这一简单方便的 H 指数来评价科学家，在科学计量学界引发一场科研评价新指标研究热，并衍生出一系列改进型的类 H 指数。

胡小君和鲁索等提出的基于引文网络的代结构理论及其算法，基于贡献角色的 H 指数和主要贡献 H 指数及其算法，就是在前人有关 H 指数及类 H 指数研究成果的基础上，对科研评价理论与方法的创造性新发展。

然而科学家的创造性思维和论著的创造性内容，难以用定量指标来衡量，而这正是同行专家能够敏锐洞察其本质的。但是科研评价指标定量方法和多视角引文网络分析的可视化技术，可以成为同行评议的有效辅助工具。对此，我用一个实例来说明。

29

Since the introducing of Science Citation Index, the number of one’s publications and the cited times are used to measure the quantity and quality of a scientist’s achievement.

In 2005, Hirsch J.E., a physicist from the University of California – San Diego, proposed a method using the number of the high impact publications, or what’s he called H-Index (Hirsch, 2005), to evaluate scientists. It induced a boom on the development of scientific evaluation index. A lot of H-type Indices were proposed afterwards to overcome drawback of the H-Index.

The structural indicators in citation networks and the role-based h-indices proposed by Xiaojun Hu and Rousseau are ones of them. These works are the innovation of theory and method on scientific evaluation, which are based on preview research on H-Index and H-type Index.

Though sometime the creative thinking and creative works have to be judged by reviewers themselves, scientific evaluation indictors, visualization, and the other quantitative method, sometime can be served as an effective assistant tool for reviewing. I will give an example about this.

30

31

两幅知识图谱显示出令人惊叹的效果：一图展春秋 , 一览无余 ; 一图胜万言 , 一目了然。

说明：图谱上从冷( 蓝 ) 到暖 ( 红 ) 的色调 变 化 反 映 1966-2007 年的时间序列，展示出各个聚类构成的研究前沿知识群的演进，表明丁肇中 (左图 ) 及其追随者 ( 右图 )从粒子物理学一个领域向另一个领域转移与开拓的历史进程。

32

C-Electron-positron annihilation

B- Weak unified theory

E-Particle physics methods

G-Quantum chromodynamics

A-J Particles

H-AMS Antimatter

D-L3 Experiment

F-Parton

(王贤文、尹丽春制作)

2008年 4 月，我收到北京大学哲学系寄来的科学哲学专业匿名博士学位论文《丁肇中 SCI 论文的科学计量学分析》，请我评审。一位科学哲学博士生用科学计量学方法来研究一位华裔美国科学家、诺奖获得者丁肇中 (Samuel Ting ) ，很不容易。

这篇论文手工统计归类是否准确，丁肇中科研领域是怎样变化的，要进行检验和评价难度甚大。

用多元、动态、复杂网络分析 CiteSpace 新一代可视化技术，绘制丁肇中科学活动的知识图谱：

一是对 WoS数据库中 1966-2007 年间丁肇中发表的 358篇 SCI论文，绘制文献共被引网络知识图谱，展示出丁肇中以前人他人的研究文献为知识基础，不断转移和开拓新的研究前沿领域。

二是以引用丁肇中论文的 5480篇文献数据，绘制引用丁肇中论文的文献共被引网络知识图谱，呈现出在丁肇中影响下，物理学界追踪丁肇中科学活动轨迹，不断探索物理研究前沿领域及其演变的历程。

通过对图谱的分析和解读，部分验证了博士论文的统计分类，也展现了该博士论文中没有的景象，起到了评审的辅助作用。

33

三项评审的案例研究表明，以研究方向为知识领域的小同行范围遴选评审专家，有助于提高同行评议的有效性，可以避免大同行不称职的专家成为小同行的外行妄加评判的弊端。按简便、明了、可操作性原则设置评审内容项目和标准，有利于同行专家较为方便容易地进行评判，针对实质内容及其创新性提出评价意见。在中国尚不成熟的学位制度状况下，坚持博士生资格认定和学位论文的外校同行专家评审，是提高博士培养质量的重要途径。

聘请权威的同行专家能够在总体评价、实质内容和评审结果上取得共识和高度一致性，在非实质性内容评价出现不同的意见是正常的。案例材料表明，无论是匿名还是非匿名评审，同行专家的评审态度和行为是可信的，能够做到公正、客观、严格、不留情面。

34

同行评议的目的，是为了科学共同体的利益，使从事科学活动的学者和团队形成负责任的研究行为，以促进科学活动合乎规律地正常运行。同行评议中负责任的伦理行为，是负责任研究行为的组成环节，也是负责任研究行为的必要保障。其主要内容包括：义务、及时、公正、严格、保密、尊重评审对象及其知识产权，鉴别和防止学术不端行为，不谋求任何私利和回报。

同行评议在中国学术界几乎是无所不在。处在科研前沿的同行专家能够面对于复杂的评审对象而洞察其本质并做出客观中肯、富有建设性的评审意见。在当代科学技术迅速增长、交叉融合、形成庞大复杂知识体系的状况下，同行专家也难免不陷入不识庐山真面目的盲区。基于科学计量学的科研评价理论和方法，以及知识可视化技术日臻完善，可以成为同行评议的辅助工具。

非常有趣的是，在这次同行评议案例研究中意外地得到一个关于大科学家成长的新假说，即由牛顿名言和奥尔特加假说重组的“ N-O模型”，并由关于丁肇中的知识图谱加以检验。这可谓本文的一个副产品，也是颇值得科学哲学、科学学和科学计量学深入探讨的一个课题。

35

The three case studies indicate that selecting peer reviewers in a small research field limited to research interests is helpful for improving the effectiveness of peer review, which can prevent the drawback of broad reviewers who are unfamiliar with the research and make wrong judgment. Setting the review contents and standards based on principals of simple, clear and operable, is good for peer reviewers to make decisions more easily, and put forward opinions aim at the substance and innovations. Under the circumstance of immature academic degree system in China, keeping the external peer reviewing of qualification of PhD candidates and doctoral thesis is an important way to improve the training quality of PhD students.

36

Authoritative peer reviewers can achieve consensus and High consistency for the general evaluation, substance and reviewing results. It’s normal that reviewers may have different opinions about some secondary contents. The documents of cases indicate that no matter anonymous review or real-name review, the reviewing attitude and behavior of peer reviewers are credible, impartial, and strict.

The aim of peer review is for the benefit of scientific community, to make scholars and teams engaged in scientific activities form responsible research behavior, and make scientific activities run normally along with the rule of science. The responsible ethical behavior in peer reviewing is the constituent and essential guarantee of responsible research behavior. Its main contents include obligation, timeliness, impartiality, strictness, confidentiality and respecting intellectual property rights, identifying and preventing research misconducts, not seeking any private interests.

37

Peer review is almost omnipresent in Chinese academic community. Peer reviewers at the research fronts of scientific fields are able to look through the essences and put forward objective, constructive opinions when dealing with complicated review objects. Under the circumstance of huge and complicated knowledge system with science and technology growth rapidly and multi disciplines interacting and merging with each other, sometimes peer reviewers are also hard to avoid in the blind zone of “can’t see the forest for the trees”. Evaluation indicators and methods based on scientometrics, along with the improving knowledge domain visualization techniques, could be used as assistant tools for peer review.

An unexpected by-product of this paper is that I proposed a new hypothesis on the growth of great scientists, or the “N-O Mode” as I called, which is proved sense-making by the knowledge mapping of Samuel Ting. Though it’s not related to main point of this paper, I’d like to highlight it here because it is interesting and deserve to be further discussed in the future with the knowledge of scientometrics, Philosophy of Science and the Science of Science.

38

Chen, C. M. (2006). CiteSpace II—Detecting and visualizing emerging trends and transient patterns in scientific literature[J].Journal of the American Society for Information Science and Technology 57(3): 359–377.

Committee on Science, Engineering, and Public Policy (COSEPUP).On Being a Scientist: Responsible Conduct in Research, Second Edition (1995)[M]. http://www.nap.edu/readingroom/books/obas/preface.html

Hirsch J E. An index to quantify an individual’s scientific research output[J]. Proceedings of the National Academy of Sciences,2005, 102(46):16569-16572.

Joshua D.Greene,et al.An fMRI Investigation of Emotional Engagement in Moral Judgment[J].Science,2001, 293, 2105-2108.

Nicholas H.Steneck.ORI Introduction to the Responsible Conduct of Research[J]. rev. Ed.2007.

Price DJD. Networks of Scientific Papers[J].Science, 1965,149(3683):510-515. Rousseau, R. & Hu, XJ. An outgrow index. Annals of Library and Information Studies, 2010， 57(3) ： 287-290.

Song, L. P., Wang J. F. (2011). The Correlation between Peer Review and Bibliometric Analysis in Evaluating Scientific Publication Outputs: A Case Study of F1000 and WoS[J]. Journal of Library Science In China. publish ahead of print, 2011-12-19 17:22.

39

40