顶级期刊的论文可靠性有多高

吴仲义

2018年03月23日09:09  来源:科技日报
 
原标题:顶级期刊的论文可靠性有多高

  知识分子

  六年前,《自然》杂志发表一篇报道《Begley and Ellis 2012》(以下简称BE文),宣称89%的肿瘤生物学研究不可重复,53篇中只有6篇可重复。BE文强调,这是制药工业界普遍的经验。

  这个问题的严重性不言而喻。一来在学术上,“CNS”类(Cell, Nature和Science,统称CNS)的明星期刊几乎掌控了全球的科学评估。公认的顶级论文难道真的只有11%的重复率?二来在临床上,如果肿瘤研究的数据不可重复,治疗方案如靶向治疗恐怕需要彻底重新评估了。

  基于这个问题的严重性,后起之秀的eLife期刊用了很大篇幅发表“肿瘤生物学重复性研究”(RP:CB)的结果。RP:CB严格地重复了30项研究,首批结果在2017年发表。中国科学院出版的《国家科学评论》最新一期也发表了4位进化生物学家对eLife结果的重新分析(以下简称WWHW文)。他们如此总结:5个被重复的研究中有4个未能再现其主要结论,剩余一个则难以判读。WWHW文由此确认了重复性“不足两成”的看法。WWHW文也对eLife有所批判。譬如eLife把两篇对照组不能重复的论文归纳为“无法判断”。一般而言,对照组与实验组不能重复的严重性是对等的。也因此eLife的结论看起来似乎比BE文稍稍好一些。

  BE文与eLife的核心结论是:“CNS级别期刊的肿瘤生物学论文”可重复性低于20%。本文只谈CNS级别期刊与“学术学会期刊”论文可靠性的比较。后者以Genetics为例;Genetics为1916年出刊的美国遗传学会刊,到20世纪末仍是遗传学的核心期刊。肿瘤生物学研究暂不谈。

  一般人可能认为如果CNS论文重复性如此低,那引用率不及CNS级别的期刊论文是否更难信服人?关于这一点BE文提到了一个有趣的现象——不可重复性高的结果其引用率比可重复的研究论文高很多。我们也因此推测学会期刊的论文重复率应该会比CNS级别论文提高不少。这倒也不难理解。CNS之类的期刊要的论文是“新奇”的发现,“新奇”的东西又往往有“巧遇”的因素。不能重复也就不那么奇怪了。

  我们学术界对于CNS论文的重视已经到不可思议的地步。CNS论文带来的特殊优惠,包括奖金、升等、项目支持,几乎是“检验科学的唯一标准”了。西方对CNS的依赖过去没中国严重,但最近也有点“见贤思齐”了。我们不该再执迷于“出刊两年内引用率”的所谓影响因子(Impact Factor)。11%的重复率实在不高明。要想对世界科研有所贡献的话,现在是中国提出一套新的“科研贡献因子”的时候了。

  最后笔者得强调,虽然eLife的RP:CB结果有一定的普遍性,但小于20%的重复率是肿瘤生物学特有的现象。问题不在于肿瘤科研工作不严谨,这点大家不用特别担心。更重要的是肿瘤发生与一般医学现象在本质上有很大的不同。进化过程的生命现象本身就没多大的重复性,但偏偏与癌症的治疗策略息息相关。

  (作者为中山大学长江讲座教授)

(责编:谷妍、邓楠)