点击阅读英文原文
一项新研究发现，即使基于相同的问题和数据集，学者们也可能得出截然不同的研究结论，这要求学者们仔细记录下他们在工作中做出的决定和判断。
在这项研究中，29个分析团队基于有关在线学术讨论的相同数据集验证了两个假设。
第一个假设是“女性积极参与对话的倾向与参加讨论的女性人数呈正相关”。
第二个假设是“地位较高的参与者比地位较低参与者的对话信息更冗长”。
通过使用一种名为顿补迟补贰虫辫濒补颈苍别诲的新工具来跟踪研究人员所做出的决定，该研究发现了这些问题对不同解释的开放程度。
例如，一些分析师将“高地位”定义为学者的职位等级，而其他分析师则使用诸如引文等方式来定义。至于“冗长”，这可能是指学者的评论字数或他们在一年内发表的评论数。不同团队还使用了不同的统计技术和样本量。
这项研究的共同作者、柏林ESMT商学院的组织行为学助理教授马丁·施魏因斯伯格（Martin Schweinsberg）说：“在你做出判断的地方就会有噪音，而且比我们想象的要更多。”
根据发表在《组织行为和人类决策过程》（Organizational Behavior and Human Decision Processes）杂志上的这篇，结果是“研究人员报告了完全不同的分析和分散的实证结果”。
对于第二个测试学者地位和信息冗长程度之间联系的假设，29%的分析人员找到了支持的证据，但21%的结论恰恰相反。
至于“当其他女性在场时女性发言更多”的观点，研究者们有了更多共识，近2/3的人认为这一假设得到了支持。尽管如此，超过1/5的人发现了相反的效果。
施魏因斯伯格教授称，这些发现“非常生动地揭示了”有多少种方式来解决一个看似简单的问题。
这项工作是一系列众包实验中的最新一项，在其中多个研究团队使用相同数据独立解决相同问题。于2018年进行的一项实验探讨了种族偏见，研究足球裁判是否给了深色皮肤球员更多红牌。
大多数人发现了种族偏见的证据，但这些发现的范围很大。根据施魏因斯伯格教授的这篇论文，“令人不安的暗示是，如果只有一个团队获得了数据集并提出了他们倾向的分析，那么研究得出的科学结论可能是红牌数量的重要种族差异，或者平等的结果”。
这个最新实验的不同之处在于它通过DataExplained密切跟踪了参与者的决策过程。 “我们提供了一个步步相扣的链条来了解这是如何发生的。”施魏因斯伯格教授说：“每隔几行代码，我们就会问他们一组对于所采用路径的标准问题。”
该研究解释说，该平台于今年早些时候公开，“记录了所有执行的源代码，并提示分析师评论他们的代码和分析思维步骤”。
施魏因斯伯格教授说，这种系统监测是否有意义取决于提出的问题。他说：“如果有人是死是活，就没有太大的歧义。”尽管他的论文指出即使在医学领域也存在矛盾的发现。
他建议道：“如果问题足够大并且具有足够重要的影响，那么（做）这样的事情可能是明智的。”
david.matthews@timeshighereducation.com
本文由Liu Jing为泰晤士高等教育翻译。
