当前位置： 首页 > news >正文

最新域名查询网,泉州seo关键词排名,公司网站建设及维护,wordpress导入文章04 概率论基础 概率论公理联合概率条件概率贝叶斯定理边际化独立性期望和方差模拟投掷骰子的概率随投掷次数增加的变化 概率论公理 概率#xff08;probability#xff09;可以被认为是将集合映射到真实值的函数。 在给定的样本空间 S \mathcal{S} S中#xff0c;事件 A \m… 04 概率论基础 概率论公理联合概率条件概率贝叶斯定理边际化独立性期望和方差模拟投掷骰子的概率随投掷次数增加的变化 概率论公理 概率probability可以被认为是将集合映射到真实值的函数。 在给定的样本空间 S \mathcal{S} S中事件 A \mathcal{A} A的概率 表示为 P ( A ) P(\mathcal{A}) P(A)满足以下属性 对于任意事件 A \mathcal{A} A其概率从不会是负数即 P ( A ) ≥ 0 P(\mathcal{A}) \geq 0 P(A)≥0整个样本空间的概率为 1 1 1即 P ( S ) 1 P(\mathcal{S}) 1 P(S)1对于互斥mutually exclusive事件对于所有 i ≠ j i \neq j ij都有 A i ∩ A j ∅ \mathcal{A}_i \cap \mathcal{A}_j \emptyset Ai​∩Aj​∅的任意一个可数序列 A 1 , A 2 , … \mathcal{A}_1, \mathcal{A}2, \ldots A1​,A2​,…序列中任意一个事件发生的概率等于它们各自发生的概率之和即 P ( ⋃ i 1 ∞ A i ) ∑ i 1 ∞ P ( A i ) P(\bigcup{i1}^{\infty} \mathcal{A}i) \sum{i1}^{\infty} P(\mathcal{A}i) P(⋃i1∞​Ai​)∑i1∞​P(Ai​)。 联合概率 P ( A a , B b ) P(Aa,Bb) P(Aa,Bb) 给定任意值 a a a和 b b b联合概率可以回答 A a Aa Aa和 B b Bb Bb同时满足的概率是多少 对于任何 a a a和 b b b的取值 P ( A a , B b ) ≤ P ( A a ) P(A a, Bb) \leq P(Aa) P(Aa,Bb)≤P(Aa)。 条件概率 0 ≤ P ( A a , B b ) P ( A a ) ≤ 1 0 \leq \frac{P(Aa, Bb)}{P(Aa)} \leq 1 0≤P(Aa)P(Aa,Bb)​≤1。 我们称这个比率为条件概率conditional probability 并用 P ( B b ∣ A a ) P(Bb \mid Aa) P(Bb∣Aa)表示它它是 B b Bb Bb的概率前提是 A a Aa Aa已发生。 贝叶斯定理 根据乘法法则multiplication rule 可得到 P ( A , B ) P ( B ∣ A ) P ( A ) P(A, B) P(B \mid A) P(A) P(A,B)P(B∣A)P(A)。 根据对称性可得到 P ( A , B ) P ( A ∣ B ) P ( B ) P(A, B) P(A \mid B) P(B) P(A,B)P(A∣B)P(B)。 假设 P ( B ) 0 P(B)0 P(B)0求解其中一个条件变量我们得到 P ( A ∣ B ) P ( B ∣ A ) P ( A ) P ( B ) . P(A \mid B) \frac{P(B \mid A) P(A)}{P(B)}. P(A∣B)P(B)P(B∣A)P(A)​. 其中 P ( A , B ) P(A, B) P(A,B)是一个联合分布joint distribution P ( A ∣ B ) P(A \mid B) P(A∣B)是一个条件分布conditional distribution。 这种分布可以在给定值 A a , B b A a, Bb Aa,Bb上进行求值。 边际化 为了能进行事件概率求和需要求和法则sum rule 即 B B B的概率相当于计算 A A A的所有可能选择并将所有选择的联合概率聚合在一起 P ( B ) ∑ A P ( A , B ) , P(B) \sum{A} P(A, B), P(B)A∑​P(A,B), 这也称为边际化marginalization。 边际化结果的概率或分布称为边际概率marginal probability 或边际分布marginal distribution。 独立性 如果两个随机变量 A A A和 B B B是独立的意味着事件 A A A的发生跟 B B B事件的发生无关。 在这种情况下通常将这一点表述为 A ⊥ B A \perp B A⊥B。 根据贝叶斯定理马上就能同样得到 P ( A ∣ B ) P ( A ) P(A \mid B) P(A) P(A∣B)P(A)。 在所有其他情况下我们称 A A A和 B B B依赖。 由于 P ( A ∣ B ) P ( A , B ) P ( B ) P ( A ) P(A \mid B) \frac{P(A, B)}{P(B)} P(A) P(A∣B)P(B)P(A,B)​P(A)等价于 P ( A , B ) P ( A ) P ( B ) P(A, B) P(A)P(B) P(A,B)P(A)P(B) 因此两个随机变量是独立的当且仅当两个随机变量的联合分布是其各自分布的乘积。 同样地给定另一个随机变量 C C C时两个随机变量 A A A和 B B B是条件独立的conditionally independent 当且仅当 P ( A , B ∣ C ) P ( A ∣ C ) P ( B ∣ C ) P(A, B \mid C) P(A \mid C)P(B \mid C) P(A,B∣C)P(A∣C)P(B∣C)。 这个情况表示为 A ⊥ B ∣ C A \perp B \mid C A⊥B∣C。 期望和方差 一个随机变量 X X X的期望expectation或平均值average表示为 E [ X ] ∑ x x P ( X x ) . E[X] \sum{x} x P(X x). E[X]x∑​xP(Xx). 当函数 f ( x ) f(x) f(x)的输入是从分布 P P P中抽取的随机变量时 f ( x ) f(x) f(x)的期望值为 E x ∼ P [ f ( x ) ] ∑ x f ( x ) P ( x ) . E{x \sim P}[f(x)] \sum_x f(x) P(x). Ex∼P​[f(x)]x∑​f(x)P(x). 在许多情况下我们希望衡量随机变量 X X X与其期望值的偏置。这可以通过方差来量化 V a r [ X ] E [ ( X − E [ X ] ) 2 ] E [ X 2 ] − E [ X ] 2 . \mathrm{Var}[X] E\left[(X - E[X])^2\right] E[X^2] - E[X]^2. Var[X]E[(X−E[X])2]E[X2]−E[X]2. 方差的平方根被称为标准差standard deviation。 随机变量函数的方差衡量的是当从该随机变量分布中采样不同值 x x x时 函数值偏离该函数的期望的程度 V a r [ f ( x ) ] E [ ( f ( x ) − E [ f ( x ) ] ) 2 ] . \mathrm{Var}[f(x)] E\left[\left(f(x) - E[f(x)]\right)^2\right]. Var[f(x)]E[(f(x)−E[f(x)])2]. 模拟投掷骰子的概率随投掷次数增加的变化 %matplotlib inline import torch from torch.distributions import multinomial from d2l import torch as d2l为了抽取像本即掷骰子我们只需为了抽取一个样本 输出是另一个相同长度的向量它在索引 i i i处的值是采样结果中 i i i出现的次数。 fair_probs torch.ones([6]) / 6 multinomial.Multinomial(1, fair_probs).sample()tensor([0., 1., 0., 0., 0., 0.])使用PyTorch框架的函数同时抽取多个样本得到我们想要的任意形状的独立样本数组 multinomial.Multinomial(10, fair_probs).sample()tensor([3., 2., 0., 3., 1., 1.])模拟1000次投掷 然后统计1000次投掷后每个数字被投中了多少次。

将结果存储为32位浮点数以进行除法

counts multinomial.Multinomial(1000, fair_probs).sample() counts / 1000 # 相对频率作为估计值tensor([0.1650, 0.1650, 0.1720, 0.1750, 0.1610, 0.1620])进行500组实验每组抽取10个样本。 counts multinomial.Multinomial(10, fair_probs).sample((500,)) cum_counts counts.cumsum(dim0) estimates cum_counts / cum_counts.sum(dim1, keepdimsTrue)d2l.set_figsize((6, 4.5)) for i in range(6):d2l.plt.plot(estimates[:, i].numpy(),label(P(die str(i 1) ))) d2l.plt.axhline(y0.167, colorblack, linestyledashed) d2l.plt.gca().set_xlabel(Groups of experiments) d2l.plt.gca().set_ylabel(Estimated probability) d2l.plt.legend();​ 每条实线对应于骰子的6个值中的一个并给出骰子在每组实验后出现值的估计概率。 当我们通过更多的实验获得更多的数据时这 6 6 6条实体曲线向真实概率收敛。