需要对研究的可复制性进行标记吗?

安妮-洛雷·赛利耶(Anne-Laure Sellier)表示,当面对新的发现时,研究人员和记者都应该保持更怀疑的心态

十一月 29, 2021
A stamp of approval
Source: iStock

点击阅读英文原文


近年来,研究丑闻层出不穷,从p值操控到所谓的数据造假等经常登上各大报纸头条。这些事件对科研的伤害可想而知——作为一名商学院的社会心理学研究员,那些每天与我打交道的工业界人士越来越多地询问研究能对管理做出什么有意义的贡献。

在最好的时期,很难解释研究人员做了什么,如何做的,以及哪些结果在何种情况下足以可信值得分享。这些都是涉及研究员如何标记重大发现或如何在研究领域进行沟通的重要问题。在认识上迈出的一小步往往被媒体描绘成人类迈出的一大步,而不是有望在未来提供一些洞见的微小进步。

来看一个例子。2013年,心理学家安德鲁·普兹比尔斯基(Andrew Przybylski)和内塔·温斯坦(Netta Weinstein)发表了两项研究,认为仅仅是手机的存在就会抑制两个人之间良好关系的形成。想象一下这一发现的后果:开会时只需把手机放在桌子上,你就可能降低进行中的社交互动的质量。

不出所料,这些发现像野火一样蔓延开来,在接下来的几年里,主流媒体的“专家们”抓住这些发现来支持有关手机有害副作用的论点。

2018年,我们试图复制这些发现,即使只是为了了解其中的发生原理。复制是研究的一个重要部分——只有能证明一种现象可以复现时,研究人员才开始相信它。在356名参与者的两个实验中,我们复现了普兹比尔斯基和温斯坦的研究。我们还追踪了刚见面的创意小组,不管有没有手机在场,他们在随后的创意任务中表现如何。

我们的研究结果表明,事实上,智能手机的存在可能对人际关系的质量或团队创造力完全没有影响。至少,即使有影响,也不会像迄今所认为的那样夸张。

问题是我们的研究将会改变多少人的思想。我们的发现不仅与普兹比尔斯基和温斯坦的研究结果不一致,还与当时媒体中根深蒂固的观点相冲突。正如心理学家丹·吉尔伯特(Dan Gilbert)所观察到的,不相信比相信更难。研究表明,复制结果失败的研究比复制结果成功的研究被引频次更高,而重复性研究在引用不可复制的发现中,只有12%承认无法再现研究结果。其结果是,从自然科学到经济学和心理学等研究领域,最终都沉迷于谈论一场场耸人听闻但无法复制的发现,而不是推动可能相对边缘但更可靠的发现。

当媒体确实报道研究已经无效的事实时,也会产生问题,因为这样的潜台词往往是原始研究因此没有价值。然而,这一结论过于草率。一项发现没能复制成功可能表明要么最初研究形式不可靠,要么是受到文化的影响。当普兹比尔斯基和温斯坦在8年前收集他们的数据时,那是一个与我们不同的世界,当时移动设备的存在可能比2018年我们进行调查时产生了更深刻的心理影响。

早期的研究也值得赞扬,因为它引发了围绕一个重要问题的科学辩论,即使最初的研究经不起复制。我们也应该赞扬那些敢于冒险研究新问题的人员。

要解决重要的问题需要大量的研究人员。现在,越来越多的研究对智能手机对我们行为的影响都是负面的这一观点提出了质疑,包括普兹比尔斯基和温斯坦自己最近的研究,这些研究表明,早期研究可能高估了数字技术对青少年健康的负面影响。今天,我们很容易宣称,我们一直都知道手机在场效应是不真实的,但是这表现了一种经过充分研究(并被复制)的后见之明的倾向。

要做什么呢?当面对新的发现时,保持一种更怀疑的心态当然很重要。一种可能让研究团体和媒体都受益的做法是:使用某种标记来表明他们提到的一项研究发现是否被独立复制了——如果是的话,被独立复制了多少次。事实上,媒体应该反思的是,是否应该至少等研究人员独立地将其重复了一定的次数后,再讨论研究结果。

随着技术的发展,公众对清晰、简单、耸人听闻的答案的需求也在加快。人们普遍认为新知识的诞生快速而完美,这是一个具有潜在危险的认知之谜。如果我们真的希望实践是基于证据的,我们需要让人们理解,关于复杂的社会和商业世界的真正改变游戏规则的见解是在长期中产生的——而且很少以单一线性的模式出现。

安妮-洛雷·赛利耶(Anne-Laure Sellier)是欧洲领先的商学院之一巴黎高等商学院(HEC Paris)的营销学教授。

本文由陈露为泰晤士高等教育翻译。

请先注册再继续

为何要注册?

  • 注册是免费的,而且十分便捷
  • 注册成功后,您每月可免费阅读3篇文章
  • 订阅我们的邮件
注册
Please 登录 or 注册 to read this article.

相关文章