本文目录 · 约4分钟阅读

科学 · 1964年已有记载 · 2026-10-21

好测试要能区分解释,而不只是制造更多数据

两种解释都能说明已有现象时,再收集十个相同现象,未必能帮助你决定该相信哪一种。

谁在何时、何处提出

约翰·R.普拉特在1964年已有明确记载的〈强推断〉(Strong Inference)中讨论了这一思想。定位:〈强推断〉开篇的方法步骤与实验设计讨论。

原文发表于1964年10月16日《Science》146卷,347—353页。本次核对原论文副本,日常练习是后文另行设计的。

查阅英文原作或原作副本 ↗

核心意思与容易误读之处

下文为中文意思转述;现代例子与练习由本文据此设计,不冒充作者原话。

普拉特主张系统列出替代假说,设计能够排除其中一些的关键实验,执行后再循环。他强调的是让实验结果改变候选解释,而不是把科学工作等同于不断测量。

本文把核心转述为一个日常问题:如果这个测试得到结果甲或乙,我的下一步是否真的会不同?若无论发生什么,你都保留同一句解释,测试可能没有被设计成有效区分。

例如网页慢的问题若同时更换网络、压缩图片和删除脚本,即使变快,也很难知道哪项起作用。有效区分往往需要一次只改变相关条件,并预先记录不同解释会怎样预测。测试设计得更清楚,不一定意味着需要更多数据;有时只是让一次观察与一个真实选择相连,减少以后继续争论同样问题的机会。

为什么落实起来仍有阻力

本篇归入B类:观点已有传播,但把它落实成日常做法仍需要条件。没有找到可靠的总体采用率数据;以下是对执行阻力的分析,不是“大多数人没做到”的统计结论。

数据容易展示,选择会被哪种结果推翻的解释却更冒险。研究者和工作者都可能偏爱不会挑战既有方向的测量,让活动显得充实,却很少缩小不确定性。

真实系统也常有多个因素同时起作用,不能轻易做出干净对照。为了追求明确结论,人们又可能把复杂问题过分简化,忽略测试条件与实际环境的差距。

今天做一个小实验

这是据上述思想设计的个人练习,用来发现线索,不是原作者的标准实验,也不预先保证一定有效。

用45分钟诊断一个低风险技术问题,例如网页本地加载慢。先用10分钟列出两种可区分的解释,如资源体积过大与某段脚本耗时。

用10分钟写出各自预期看到的现象,再用15分钟做一个可撤回的小测试,例如只停用非必要脚本并记录变化。最后10分钟说明结果排除了什么、没有排除什么。交付假说、预期和结果表,不把一次测量直接写成最终原因。

什么时候不宜照搬

强推断不是所有学科的唯一方法,探索、描述和长期观察也有重要价值。个人测试通常缺少严格控制,结论应保持有限。它与此前达尔文记录反证的习惯不同:这里关注的是事先怎样设计能区分解释的观察。

本次去重条目:约翰·R.普拉特|好测试要能区分解释,而不只是制造更多数据|1964年