1.1 对奇怪经历的推理
一天晚上,你突然被窗外的一道亮光惊醒。你从床上跳起来,向外望去,发现天空中有一个碟形的庞然大物。你从来都不相信会遇见外星人,但现在你完全被外面的景象迷惑了。你发现自己在想:这难道是不明飞行物(unidentified flying object,UFO)吗?!
贝叶斯推理就是这样一种思维过程:在遇到一种情况时,你会做出概率假设,然后根据这些假设更新你对这个世界的信念。在UFO这个情景中,你已经经历了一个完整的贝叶斯分析过程,因为你:
(1) 观察到了数据;
(2) 做出了一个假设;
(3) 根据观察到的数据更新了自己的信念。
这种推理往往发生得太快,以至于你没有时间分析自己的思维过程。你在没有任何质疑的情况下建立了一个新的信念:之前你不相信UFO的存在,在事件发生之后你更新了自己的信念,你认为自己看到了UFO。
本章主要关注信念的产生及其构建过程,这样你就可以更规范地研究它。此外,后面的章节还将研究如何量化这个过程。
让我们从观察数据开始,依次分析这个推理过程的每一个步骤。
1.1.1 观察数据
将信念建立在数据上,是贝叶斯推理的一个关键组成部分。在对场景得出任何结论之前(比如说你声称自己看到了UFO),你需要理解所观察到的数据。在这个例子中,数据是:
·窗外的一道亮光;
·一个碟形物体在空中盘旋。
根据经验,你会把窗外的景象描述为“令人惊讶的场景”,用概率的术语表示,可以将它写为:
(窗外出现亮光, 天空中有碟形物体)很小
其中表示概率,括号内列出的是两条数据。你可以将这个等式理解为“窗外出现亮光且天空中有碟形物体的概率很小”。在概率论中,当要表示多个事件的联合概率(combined probability)时,用逗号分隔事件。请注意,这两条数据并不包含任何关于UFO的具体内容,它只由你的观察结果组成——这一点在后面会很重要。
也可以考查单个事件的概率,并将其写为:
(下雨)很可能
这个等式的意思是,“下雨的概率比较大”。
对刚才提到的UFO场景,我们要确定的是两个事件一起发生的概率。这与两个事件单独发生的概率完全不同。例如,单独出现亮光很容易,一辆路过的汽车就会发出亮光,所以就出现亮光这个事件而言,它发生的概率要远远大于它和碟形物体同时出现的概率(不过碟形物体单独出现也同样让人惊讶)。
如何确定这个概率呢?现在,我们使用的是直觉,也就是自我感觉到的这件事发生的可能性。第2章将介绍如何得出概率的精确数值。
1.1.2 先验信念和条件概率
早晨醒来,煮杯咖啡喝,然后开车去上班。在这个过程中,你不需要做很多分析,这是因为你对这个世界如何运转有着先验信念(prior belief)。先验信念是我们根据一生的经验(也就是观察到的数据)建立起来的信念集合。你相信太阳会升起,因为自你出生以来太阳每天都会升起(当然,在阴雨天,你看不见太阳升起)。如果没有先验信念,我们每天晚上睡觉时都会害怕明天的太阳可能不会升起。
先验信念表示,在看到窗外有明亮灯光的同时看到一个碟形物体,这在地球上很少见。但如果你生活在一个遥远的星球上,那里有大量的飞碟且经常有星际访客,那么在天空中同时看到亮光和碟形物体的概率就会大很多。
在公式中,先验信念写在数据后面并用“|”与数据隔开,就像下面这样:
(窗外出现亮光,天空中有碟形物体 | 地球上的经验)很小
这个等式可以理解为:“根据我们在地球上的经验,在天空中同时看到亮光和碟形物体的概率很小。”
这个概率结果被称为条件概率(conditional probability),因为计算某一个事件发生的概率时,以另一个事件的存在为条件。在这种情况下,我们会根据经验来调整观察到的事件的概率。
正如用表示概率一样,我们通常用另外的变量来表示事件和条件,这样更简洁。如果你不太熟悉等式,一开始可能觉得它们显得过于简洁。但过一段时间你就会发现,简洁的变量名既有助于提高可读性,也有助于你了解等式如何推广到更大的问题类别上。我们将把所有的数据赋给一个变量:
窗外出现亮光,天空中有碟形物体
所以从现在开始,当提到这组数据集的概率时,我们会直接用来表示。
同样,我们会用变量来表示先验信念,像下面这样:
地球上的经验
现在可以将上文中等式的左边写为。这样写更为简单且意思保持不变。
01.以多重信念为条件
如果有一个以上的变量会显著影响概率,那么我们可以添加一个以上的先验信念。假设今天是特定节日,根据经验,你知道在这天放烟花很常见。根据你在地球上的经验和今天是特殊的日子,在天空中看到亮光的概率不是完全没有,甚至那个碟形物体也可能与某个烟花表演有关。因此,你可以将这个等式改写为:
(窗外出现亮光, 天空中有碟形物体 | 特定节日, 地球上的经验)小
对比这两种情况可以发现,条件概率从“很小”变成了“小”。
02.在实践中假设存在先验信念
在统计学中,通常不会明确地为所有的现有经验附加条件,因为它是可以假设的。出于这个原因,在本书中,我们不会在这种情况下单独增加变量。然而在贝叶斯分析中,我们必须记住,我们对这个世界的理解总是以自己在这个世界上的经验为条件的。本章的其余部分会保留“地球上的经验”这个变量以提醒这一点。
1.1.3 形成假设
到目前为止,我们已经有了数据(看到了一道亮光和一个碟形物体)和先验信念。为了解释所看到的情况,我们需要形成某种假设(hypothesis),即形成一个关于世界如何运作的模型,从而做出预测。假设可以有多种形式,我们对这个世界的所有基本信念都可以是假设。
·如果相信地球自转,那么你就可以预测太阳会在某个时间升起和落下。
·如果认为你最喜欢的棒球队是最好的,那么你就可以预测他们会比其他球队赢得更多。
假设也可以更正式、更复杂。
·科学家可能会假设某种治疗方法能减缓癌症恶化。
·金融领域的定量分析师会构建市场行为模型。
·深度神经网络可以预测哪些图像展示的是动物,哪些图像展示的是植物。
所有这些例子都是假设,因为它们都包含对这个世界的某种理解,并利用这种理解来预测世界将如何运作。当提到贝叶斯统计中的假设时,通常关注的是它对我们观察到的数据的预测能力。
当看到数据并认为自己看到了UFO时,你就在形成一个假设。UFO的假设很可能是基于你以前看过的电影和电视节目。将第一个假设定义为:
在我家的后院里有一个UFO!
但这个假设预测的又是什么呢?如果将问题倒过来想,我们可能会问:“如果在你家的后院里有一个UFO,那么你预期会看到什么呢?”你可能会回答:“亮光和碟形物体。”因为预测了数据,所以当我们在给定的假设下观察到数据时,数据的概率就会增加。这样的结果可以规范地表示为:
这个式子的意思是:“如果相信这是UFO并根据经验,在天空中看到亮光和碟形物体的概率要远远大于只看到亮光和碟形物体而无法解释的概率(这里用两个大于号表示远远大于)。”这里用概率的语言证明了我们的假设可以解释数据。
1.1.4 在日常语言中发现假设
很容易看出,日常语言和概率之间有着某种关系。例如,说某事“令人惊讶”,其实就等于说,根据我们的经验,它发生的概率比较小;而说某件事“很合理”,其实是说,基于经验,它发生的概率比较大。一旦指出,这种关系似乎就变得很明显了,但概率推理的关键在于仔细思考如何解释数据、形成假设并改变你自己的信念,即使面对的是一个普通的日常场景。如果没有假设,那么你就会感到疑惑,因为你无法解释所观察到的数据。