被实干者拯救的贝叶斯主义
贝叶斯主义统计学家没有感受到理论家的那种不安,照样推动了众多领域的变革,在这些领域中,频率主义的方法似乎不敷应用。特别是罗伯特·施莱弗和霍华德·赖法以冯·诺伊曼和莫根施特恩的博弈论为基础,结合了效用理论和主观概率,发展出包含不确定性的决策理论。由此,施莱弗和赖法将哈佛商学院转变成贝叶斯主义的温床。在他们的专著出版后不久,各商学院就以学习和教授贝叶斯统计而自豪,诺贝尔经济学奖也多次颁发给贝叶斯主义研究者,如约翰·豪尔绍尼和罗杰·迈尔森,我们会在之后的章节中再谈到。
贝叶斯统计的神奇之处在于可以处理数据稀少的情况。1950 年,某位经济学家询问统计学家戴维·布莱克韦尔应该如何推算五年内发生另一场世界大战的概率。作为一位频率主义的好学生,布莱克韦尔这样回答:“啊,这个问题毫无意义。概率只对由可重复事件组成的长序列有效。但这显然是独一无二的情况。概率要么是 0,要么是 1,但五年之内我们不会知道这个概率。”经济学家这样回答:“我就怕你这样说。我跟另外几位统计学家谈过,他们都这样说。”后来,在理解了频率主义统计在预测能力上的缺陷之后,布莱克韦尔归顺了贝叶斯主义。
贝叶斯统计的另一个重要应用,就是研究烟草在导致肺癌方面的危害。开展这一流行病学研究的英雄是杰尔姆·科恩菲尔德。科恩菲尔德首先遇到的就是来自反贝叶斯主义者内曼和费希尔的猛烈批评。特别是费希尔,他指责科恩菲尔德的研究中缺少频率主义方法要求的对照组和重复实验。众所周知,费希尔接受了烟草行业的资助,试图否定烟草的危害。他甚至提出了这样的假设:肺癌会使人倾向于吸烟!正如林德利那样,随着时间流逝,科恩菲尔德最后还是获胜了。科学共同体得到了统一的结论:吸烟是导致肺癌的重要危险因素。
约翰·图基则将贝叶斯统计应用到总统选举结果的预测中。1960 年,尼克松与肯尼迪的选举得票不相上下,胜负难分,没有一家电视台敢宣布最终的结果。在凌晨两点,图基最终给美国全国广播公司(NBC)电视台开了绿灯,让他们宣布肯尼迪的胜利。但直到早上 8 点,电视台才鼓起勇气正式宣布这一结果。图基利用的方法长期以来都是秘密,尤其是作为统计学教授,他不肯承认方法中有着贝叶斯的成分。
近十几年来,贝叶斯方法可谓一帆风顺,特别是在 2008 年,内特·西尔弗成为历史上第一个正确预测美国 50 个州的选举结果的人。西尔弗在 2016 年的预测就没有那么亮眼了,我们之后会再谈到这一点。
同样,很多人在遇到稀有事件这种不确定性时,为了寻找问题的实用解决方案,都不可避免地转向了贝叶斯公式。诺曼·拉斯穆森正是如此,他以贝叶斯置信度为工具,估计了核电站发生重大事故的概率;而美国国家航空航天局则聘用了一个机构,该机构利用贝叶斯主义的工具,预测火箭发射出现重大事故的概率是三十五分之一。这远远大于美国国家航空航天局自己预测的十万分之一的概率,也更贴近现实。
然而,直到 20 世纪 90 年代,贝叶斯主义的这些成功仍然罕见且不一致,但这是有理由的。贝叶斯式的计算既冗长又困难,很快就超出了数学公式的实用范畴,其中经常需要计算没有闭式的积分。贝叶斯主义似乎前途大好,但并不一定实用。使相关计算更广泛、更容易应用的理论的出现,很快就改变了整体情况。最终还是贝叶斯主义胜利了!