分析方法不能只在数学上漂亮,还要在真实数据上经受试验
数据分析是一门通过实际数据学习的方法科学;形式证明重要,但方法是否有用还要靠反复应用、比较与修正。
谁在何时、何处提出
约翰·图基在1962年发表的〈数据分析的未来〉(The Future of Data Analysis)中明确讨论了这一思想。定位:《Annals of Mathematical Statistics》33卷1期,第1—67页;开篇定义与“经验科学”讨论见第1—4页。
论文发表于1962年3月;链接为Project Euclid的期刊书目与原文PDF入口。本次核对公开PDF转录及期刊信息,页码沿用原刊。
原文、核心意思与误读
“Data analysis … must take upon itself the characteristics of science rather than those of mathematics.”自然译为:数据分析必须更多具有科学的特征,而不只是数学的特征。
图基把数据分析定义得比数学统计更宽:它包括分析程序、结果解释、为便于分析而规划数据收集,以及适用的统计机器。他强调新方法往往由实际问题、计算尝试和图形发现推动,再回到理论澄清。证明一个程序具有某种性质,并不自动说明它在脏数据、异常值或错误模型下有用。
误读之一是“理论不重要,只要画图”。图基本人是数学统计学家,他要求的是理论与经验循环,而非抛弃严谨。另一个误读是看过数据后不断试方法,直到得到喜欢的结论。探索可以产生假说,但确认性结论仍需新数据、预先规则或明确的不确定性说明。
例如平均值显示两组相近,画出分布却发现一组由两个子群组成。图形没有自动证明原因,但揭示了原摘要遗漏的结构,并指导下一次收集分组变量。可观察结果是分析问题是否因此改变。
为什么落实起来仍有阻力
本篇归入A类:观点少为普通读者系统了解。没有找到可靠的总体采用率数据,以下是对执行阻力的分析。
第一,公式与单一检验便于审查,迭代探索的路径却难完整记录。第二,真实数据会暴露缺失、异常与测量问题,处理它们比运行标准模型耗时。第三,组织可能奖励确定答案,使分析者不愿报告“图形改变了原问题”。这些是现代实施推断,不能当作图基对今日机构的调查。
今天做一个小实验
这是据上述思想设计的个人练习,不是原作者的标准实验,也不预先保证一定有效。
用45分钟重看一份你熟悉的小数据。前10分钟先写下原本准备回答的问题和一个摘要指标;用15分钟画至少两种不同视图,如时间序列与分布图;用10分钟标出一个异常、分组或缺失模式,并查回原记录;最后10分钟写下视图是否改变了问题、需要补收什么数据,以及哪些观察只是探索性线索。练习据论文思想设计,不以图形代替正式推断。
什么时候不宜照搬
小样本图形也会制造偶然图案,探索发现必须避免包装成预先假设。高风险医学、工程或政策结论需要合适设计、统计推断与领域专家。经验表现好的方法也可能在数据分布改变后失效,因此需要持续验证,而不是一次试用后永久信任。