贝叶斯定理 Bayes' theorem，马尔科夫网络 Markov

IC发IDO

贝叶斯定理是关于随机事件A和B的条件概率（或边缘概率）的一则定理。其中P（A|B）是在B发生的情况下A发生的可能性。

贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯（1702～1761）曾提出计算条件概率的公式用来解决如下一类问题：假设H[1],H[2]…,H[n]互斥且构成一个完全事件，已知它们的概率P(H),i=1,2,…,n,现观察到某事件A与H[1],H[2]…,H[n]相伴随机出现，且已知条件概率P(A|H)，求P(H|A)。

IC发IDO

IC发IDO

人们根据不确定性信息作出推理和决策需要对各种结论的概率作出估计，这类推理称为概率推理。

概率推理既是 概率学 和 逻辑学 的研究对象，也是 心理学 的研究对象，但研究的角度是不同的。概率学和逻辑学研究的是客观概率推算的公式或规则；而心理学研究人们主观概率估计的认知加工过程规律。

贝叶斯推理的问题是  条件概率  推理  问题，这一领域的探讨对揭示人们对概率信息的认知加工过程与规律、指导人们进行有效的学习和判断决策都具有十分重要的理论意义和实践意义。

IC发IDO

吸毒者检测



贝叶斯定理在检测吸毒者时很有用。假设一个常规的检测结果的敏感度与可靠度均为99%，也就是说，当被检者吸毒时，每次检测呈阳性（+）的概率为99%。而被检者不吸毒时，每次检测呈阴性（-）的概率为99%。从检测结果的概率来看，检测结果是比较准确的，但是贝叶斯定理却可以揭示一个潜在的问题。假设某公司将对其全体雇员进行一次鸦片吸食情况的检测，已知0.5%的雇员吸毒。我们想知道，每位医学检测呈阳性的雇员吸毒的概率有多高。令“D”为该公司雇员吸毒事件，“N”为该公司雇员不吸毒事件，“+”为该公司雇员检测呈阳性事件。可得


P(D)代表雇员吸毒的概率，不考虑其他情况，该值为0.005。因为公司的预先统计表明该公司的雇员中有0.5%的人吸食毒品，所以这个值就是D的先验概率。

P(N)代表雇员不吸毒的概率，显然，该值为0.995，也就是1-P(D)。

P(+|D)代表吸毒者阳性检出率，这是一个条件概率同时也是先验概率，由于阳性检测准确性是99%，因此该值为0.99。

P(+|N)代表不吸毒者阳性检出率，也就是出错检测的概率，该值为0.01，因为对于不吸毒者，其检测为阴性的概率为99%，因此，其被误检测成阳性的概率为1-99%。

P(+)代表不考虑其他因素的影响的阳性检出率。该值为0.0149或者1.49%。我们可以通过全概率公式计算得到：此概率 = 吸毒者阳性检出率(0.5% × 99% = 0.00495)+ 不吸毒者阳性检出率(99.5% × 1% = 0.00995)。P(+)=0.0149是检测呈阳性的先验概率。用数学公式描述为：
   

根据上述描述，我们可以计算某人检测呈阳性时确实吸毒的条件概率P(D|+)：
P(D|+) = P(+|D)P(D)/(P(+|D)P(D)+P(+|N)P(N))=0.99 *0.005/0.0149=0.332215

尽管我们的检测结果可靠性很高，但是只能得出如下结论：如果某人检测呈阳性，那么此人是吸毒的概率只有大约33%，也就是说此人不吸毒的可能性比较大。我们测试的条件（本例中指D，雇员吸毒）越难发生，发生误判的可能性越大。

但如果让此人再次复检（相当于P(D)=33.2215%，为吸毒者概率，替换了原先的0.5%），再使用贝叶斯定理计算，将会得到此人吸毒的概率为98.01%。但这还不是贝叶斯定理最强的地方，如果让此人再次复检，再重复使用贝叶斯定理计算，会得到此人吸毒的概率为99.98%（99.9794951%）已经超过了检测的可靠度。

IC发IDO

贝叶斯（1701年—1761年，Thomas Bayes），英国数学家。1701年出生于伦敦，做过神父。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。1763年由Richard Price整理发表了贝叶斯的成果《An Essay towards solving a Problem in the Doctrine of Chances》  ，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。贝叶斯所采用的许多术语被沿用至今。

IC发IDO

贝叶斯定理有什么用？

在有限的信息下，能够帮助我们预测出概率。

IC发IDO

叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论。以下摘一段 wikipedia 上的简介：

所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑球，你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题，就是所谓的逆向概率问题。

贝叶斯定理的思想出现在18世纪，但真正大规模派上用途还得等到计算机的出现。因为这个定理需要大规模的数据计算推理才能凸显效果，它在很多计算机应用领域中都大有作为，如自然语言处理，机器学习，推荐系统，图像识别，博弈论等等。

IC发IDO

定义


贝叶斯定理是关于随机事件 A 和 B 的条件概率：





其中P(A|B)是在 B 发生的情况下 A 发生的可能性。

在贝叶斯定理中，每个名词都有约定俗成的名称：


1，P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。

2，P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。

3，P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。

4，P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。


按这些术语，贝叶斯定理可表述为：


后验概率 = (相似度 * 先验概率)/标淮化常量

也就是说，后验概率与先验概率和相似度的乘积成正比。

另外，比例P(B|A)/P(B)也有时被称作标淮相似度（standardised likelihood），Bayes定理可表述为：


后验概率 = 标淮相似度 * 先验概率

条件概率就是事件 A 在另外一个事件 B 已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。

联合概率表示两个事件共同发生（数学概念上的交集）的概率。A 与 B 的联合概率表示为 联合概率  。

IC发IDO

贝叶斯公式的用途在于通过己知三个概率来推测第四个概率。它的内容是：在 B 出现的前提下，A 出现的概率等于 A 出现的前提下 B 出现的概率乘以 A 出现的概率再除以 B 出现的概率。通过联系 A 与 B，计算从一个事件发生的情况下另一事件发生的概率，即从结果上溯到源头（也即逆向概率）。

通俗地讲就是当你不能确定某一个事件发生的概率时，你可以依靠与该事件本质属性相关的事件发生的概率去推测该事件发生的概率。用数学语言表达就是：支持某项属性的事件发生得愈多，则该事件发生的的可能性就愈大。这个推理过程有时候也叫贝叶斯推理。

IC发IDO

人们都有保守主义情结，即使出现了新信息，也不愿意根据新信息来更新先验概率。用前面解释里面的话说就是：新信息是 B 事件不断发生，人们本应该根据这个信息去更新 A 事件发生的概率，但人们却更愿意固守之前估计的 A 事件发生的概率。

IC发IDO

频率更适合用来解答概率问题




《进化心理学》第十三章(428页)讲到人类的心理从进化角度来看，更 偏好   使用频率（我最近十次打猎八次有收获）而不是  概率（我最近打猎有80%的成功率）。


书中举了同一个问题用不同方式表述使得问题的难易程度迥然不同：

表述一：有一种疾病的发病率是千分之一，医院有一种化验技术可以对这种疾病进行诊断，但是却又百分之五的误诊率（也即是说尽管有百分之五的人没有病，但是化验结果却显示为阳性(即假阳性)）。现在假设一个人的化验结果显示为有病，仅根据这一化验结果推测，那么这个人确实患病的概率有多大？


这个问题也可以用贝叶斯定理来解决，不过在看分析之前，你可以先估算下你自己的答案，然后再和正确答案比较。

这个问题的分析过程如下：

已知先验概率：P(患病) = 0.001，P(正常) = 0.999；
该化验技术的准确率（即患病化验结果显示为阳性的概率）为：P(准确率) = 1.00；
该化验技术的误诊率（即正常化验结果显示为阳性的概率）为：P(误诊率) = 0.05。

根据上面的数据，我们就能够推测出一个人化验为阳性的情况下，这个人确实患病的概率有多大：

P(患病|阳性) = P(患病) × P(准确率) / (P(患病) × P(准确率) + P(正常) × P(误诊率))
= 0.001 × 1.00 / (0.001 × 1.00 + 0.999 × 0.05)
= 0.0198
= 2%

结果让你大吃一惊吧，在没有其他症状增加患病概率的情况下，单凭化验结果显示为阳性来推测的话，其真实患病的概率还不到百分之二。

用频率  作为  信息   来记忆或回忆更生动也更容易被提取，想想第一次打猎什么情形，第二次打猎什么情形，历历在目。正因为频率作为  信息存储  载体  保留了事件的形象性，提高了记忆的可得性，因此在进化过程中人类的心理机制优先选择了频率而不是抽象的概率。而且在人类十多万年的进化过程中，出现  概率概念  的文明进程不过几千年，大脑  还没有 对 进化到 更适应   抽象的概率   的地步。

IC发IDO

所以这个问题如果换成用频率来表述的话，相信你的答案会大大接近于正确答案。

表述二：在一千个人中，就有一个人患有X疾病（即发病率为千分之一），有一种化验技术，可以检验是否患有该疾病。如果一个人确实患有该病，化验结果可定显示为阳性。但有时候也会出现误诊，即在一千个完全健康的人中，有五十个人的化验结果显示为阳性（也即是说误诊率为百分之五）。

换成以频率方式来表述这个问题，答案就显然易见了：

P(患病|阳性) = 1/(1 + 50) = 1/51 = 0.0196 = 2%

通过这个例子，我们可以懂得，若能把概率问题转换成频率来表述，即便是需要使用贝叶斯这样复杂定理来计算的问题，也能轻而易举地解答。这就是《你的灯亮着么？》里面提到的“重述问题”的技巧。

IC发IDO

在博弈论里面的应用





挑战者 B 不知道原垄断者 A 是属于高阻挠成本（为阻止 B 进入而花费的成本）类型还是低阻挠成本类型，但B知道，如果 A 属于高阻挠成本类型，B 进入市场时A进行阻挠的概率是20%（阻扰成本高，因此阻挠概率低）；如果 A 属于低阻挠成本类型，B 进入市场时 A 进行阻挠的概率是100%。

博弈开始时，B 认为 A 属于高阻挠成本企业的概率为70%，因此，B 估计自己在进入市场时，受到 A 阻挠的概率为：

P(阻挠) = 0.7 × 0.2 + 0.3 × 1.0 = 0.44

0.44 是在 B 给定 A 所属类型的先验概率下，A 可能采取阻挠行为的概率。

当 B 进入市场时，若 A 确实进行阻挠。根据贝叶斯定理，从 A 进行阻挠这一行为，B 可修正 A 属于高阻挠成本企业的概率为：：

P(高成本阻扰企业) = 0.7 × 0.2 ÷ 0.44 × 1.0 = 0.32

根据这一新的先验概率，B 估计自己在进入市场时，受到 A 阻挠的概率为：

P(阻挠) = 0.32 × 0.2 + 0.68 × 1 = 0.744

若 B 再一次进入市场时，A 又进行了阻挠。根据贝叶斯定理，从 A 再次进行阻挠这一行为，B 可修正 A 属于高阻挠成本企业的概率为

P(高成本阻扰企业) = 0.32 × 0.2 ÷ 0.744 × 1.0 = 0.086

这样，根据 A 一次又一次的阻挠行为，B 不断修正判断 A 为高阻挠成本的概率（越来越低了），从而越来越倾向于将 A 判断为低阻挠成本企业。

IC发IDO

参考

jiangjiane 贝叶斯通俗易懂推导
WikiPedia 贝叶斯定理
Mbalib 贝叶斯法则
《决策与判断》
《进化心理学》
刘未鹏数学之美番外篇：平凡而又神奇的贝叶斯方法
Peter Norvig，徐宥译怎样写一个拼写检查器

IC发IDO

概率，概率这件事大家都觉得自己很熟悉，中学课本里说概率这个东西表述是  一件事发生  的频率， 或者说这叫做  客观概率。

而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案， 他说概率是我们个人的一个主观概念， 表明我们对某个事物发生的相信程度。 如同Pierre Lapalace说的: Probability theory is nothing but common sense reduced to calculation.  这正是贝叶斯流派的核心，换句话说，它解决的是来自外部的信息与我们大脑内信念的交互关系。

两种对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想。

IC发IDO

假如你是一个女生， 你在你的  老公书包里  发现了一个别的女人的内裤那么他出轨的概率是多少。

稍微熟悉这个问题的人对会知道做这个题目你要先考察基率，你要把这个问题分解为几步考虑：


1，你老公在没有任何概率情况下出轨的概率是多少？ 如果他是个天生老实巴交的程序员或者风流倜傥的CEO， 那么显然不该一视同仁

2，如果你老公出轨了， 那么他有一条内裤的概率是多少， 如果他没出轨， 出现这个情况概率有多少？  想想一般人即使出轨也不会犯那么傻的错误， 会不会有没出轨而出现内裤的状况？ 有没有可能是某个暗恋你老公的人的陷害？


3， 根据1 和2求解最终问题，这才是拥有大学数学能力的你该做的分析。


在这里1其实就是先验概率P（A），而2是条件概率P（B|A）， 最终得到3后验概率P（A|B）。这三种即是贝叶斯 统计 的三要素。

基于条件概率的贝叶斯定律数学方程极为简单：

A即出轨， B是内裤出现， 你得到1，2，就可以根据公式算出根据根据内裤出现判断出轨的概率。


先验概率在贝叶斯统计中具有重要意义，首先先验概率即我们在取得证据之前所指定的概率P（A）， 这个值通常是根据我们之前的常识，带有一定的主观色彩。 就像刚刚说的出轨的问题， 你的 先验概率  代表了  你对你男人的  信心。

有一个非常有趣的现象是如果我们的先验概率审定为1或0（即肯定或否定某件事发生），那么无论我们如何增加证据你也依然得到同样的条件概率（此时P（A）=0 或 1 ，P（A|B）= 0或1） 这告诉我们的第一个经验就是不要过早的下论断，下了论断你的预测也就无法进化了， 或者可以称之为信仰。 你如果想让你的认知进步，就要给各种假设留一点空间。

IC发IDO

IC发IDO

机器人，或者阿尔法狗下棋能胜过人类，原理也是这样，它们下的每一步棋，就是在当下棋局中走赢率最大 的那一着。

IC发IDO

贝叶斯分析可以瞬间理解一些常用的理论， 如  幸存者偏差： 你发现一些没读过书的人很有钱，事实上是你发现就已经是幸存者了， 而死了的没读过书很有钱的人，你没见到啊。

还有阴谋论， 阴谋论的特点是条件很多很复杂， 但是条件一旦成立，结论几乎成立，你一旦考虑了先验，这些条件成立本身即很困难， 阴谋论不攻自克。




贝叶斯分析的框架  也在教我们  如何处理  特例  与  一般常识  的规律。
  
如果你太注重特例（即完全不看先验概率） 很有可能会误把  噪声  看做  信号， 而奋不顾身的跳下去。

如果恪守先验概率， 就成为无视变化而墨守成规的人。其实只有贝叶斯流的人生存率会更高， 因为他们会重视特例， 但也不忘记书本的经验，根据贝叶斯公式小心调整信心，甚至会主动设计实验根据信号判断假设。

IC发IDO

投掷硬币的概率并不是50%





事实上，贝叶斯决策很少只涉及A和B， 而是内部包含非常关键的隐变量（参数），涉及我们对所研究事物的一些基本预设。比如下面这个特别简单的例子：

抛掷硬币，一个硬币被投掷10次9次朝上，那么根据频率学派的观点， 得到第11次投掷的概率不变为0.5 ，如果你回答了0.9， 你经常会被看成一个傻X。 其实不然，天底下哪有一样的硬币呢？

那么问题来了，我设一个赌局， 一次正面向上你可以受益100， 反面惩罚150， 基于刚才的事实你要不要做这个局？

我们完全可以套用贝叶斯决策的理论来。 这里的一个重要的隐变量是每一次投掷硬币的概率，这个数字按照经典频率学派认定一定是0.5， 而按照贝叶斯学派的观点， 需要把这个变量看成是未知的，具有一定先验概率，之后严格按照贝叶斯公式计算新加入证据对先验概率的影响。

此处的先验概率即你对硬币向上0.5这件事的信念， 你越相信这个事实， 这个分布越尖，反之越宽广。 我们用希腊字母theta来表征这个概率。整个决策表述如下：


公式的含义是你要用求解已知9次朝上1次朝下的时候求解你下一次投掷硬币的期望收益， 并因此决策要不要赌。

中间要验证的假设空间即每一次投掷为正的概率，我们依然以每次事件独立和该概率不随时间变化为基准（如果不是问题将无限复杂），那么证据将根据上述公式改变假设空间的概率分布， 而最终的期望可以根据这个分布求出。决策即使得这个期望最大的解。

注意此处先验十分重要，因为它影响决策的结果， 而这又是一个很主观的东西，如果你对0.5有绝对的信心， 那么你的就会非常尖，这个时候你需要得到大量偏离0.5的证据才能逐步纠偏。

对于书呆子样的人，估计会倾向给出一个比较尖锐的先验分布，相信书里说的0.5而不赌， 而一些更加倾向于相信特例的人则会给出很平坦的先验而更大的概率去赌。最终后者发财和倾家荡产的几率都比较高，而前者比较容易旱涝保收。

当然， 在数据量超大，比如说1000次有900次为正的情况下，我们几乎不需要考虑先验（自己去看公式），此时几乎可以认定投掷的概率就是0.9.