获更多媒体报道的论文“不太可能被复制”

机器学习研究发现大学声望和引用与可复制性无关,但作者的经验是关键

一月 30, 2023
Source: iStock

点击阅读英文原文


根据一项专注于心理学领域的研究,一篇学术论文获得的媒体报道越多,其发现被成功复制的可能性就越小。

该研究于1月30日发表于美国国家科学院院刊(Proceedings of the National Academy of Sciences)上,称理想情况下,“媒体应该报道可信和严谨的研究;然而在现实中,主流媒体倾向于强调发现令人惊讶的、违反直觉的结果的研究”。

研究总结称:“媒体关注和研究复制成功呈负相关。”

此前一些规模较小的研究发现,那些更令人惊讶的研究发现不太可能被复制。这项最新研究检查了14000多篇心理学论文,几乎涵盖了过去20年在6份顶级期刊6个子领域发表的每一篇论文。

来自西北大学、圣母大学和伦敦大学学院的研究者们开发了一个机器学习模型,该模型可以根据论文的文本预测其被复制的可能性,其准确性被发现与学者估计论文的可复制性的“预测市场”不相上下——一种被证明为非常适合手动复制测试的方法。

研究作者们写道:“媒体在塑造公众的科学形象和知识民主化方面发挥着重要作用,但它常常被鼓励去报道那些违反直觉和引人注目的结果。”

“根据媒体报道来决定一篇论文的价值是不明智的。媒体如果能提醒受众,在未来的复制测试证实研究结果的稳健性前,前沿和新颖的科学结果只能作为参考,这将是有价值的。”

研究结果还表明,论文作者所在大学的声望和论文的引用率与可复制性并无相关。

然而,它确实发现,根据研究人员的发表和引用记录,可复制性与研究人员的学术经验和能力呈正相关。

该研究还发现,实验工作的复制率明显低于非实验方法,鉴于心理学的科学声誉“部分建立在其对实验的熟练程度”,研究称这一现象“令人担忧”。

该研究的合著者之一、西北大学的领导力教授布莱恩·优之(Brian Uzzi)说,人工复制至关重要,但成本太高,无法大规模进行。

他说:“我们的研究首次提供跨心理学子领域、研究方法、期刊和作者特征的大规模复制研究,促进更好的人工复制和科学政策策略。”

去年的一项研究发现,当原始研究团队的一名成员参与其中时,人工复制心理学研究更有可能成功,这引发了人们对可能产生的扭曲效应的担忧。

patrick.jack@timeshighereducation.com

请先注册再继续

为何要注册?

  • 注册是免费的,而且十分便捷
  • 注册成功后,您每月可免费阅读3篇文章
  • 订阅我们的邮件
注册
Please 登录 or 注册 to read this article.

相关文章

Reader's comments (1)

Thanks. Too bad that this does not get broader distribution. I keep telling my friends not to believe at face value the scientific reports they hear on TV or the radio, even NPR.