枣庄定制网站建设制作,做网站优化的弊端,企业邮箱域名怎么设置,网站cms下载在阅读本文前#xff0c;建议先食用以下几篇文章以能更好地理解狄利克雷分布#xff1a;
二项分布
Beta分布
多项分布
共轭分布
狄利克雷分布
狄利克雷分布(Dirichlet distribution)是Beta分布的扩展#xff0c;把Beta分布从二元扩展到多元形式就是狄利克雷分布#…在阅读本文前建议先食用以下几篇文章以能更好地理解狄利克雷分布
二项分布
Beta分布
多项分布
共轭分布
狄利克雷分布
狄利克雷分布(Dirichlet distribution)是Beta分布的扩展把Beta分布从二元扩展到多元形式就是狄利克雷分布Beta分布是狄利克雷分布的二元特例。
在共轭方面可以类比Beta分布与二项分布的关系狄利克雷分布是多项分布的共轭分布因此狄利克雷分布常作为多项分布的先验分布使用它是多项分布似然的共轭先验。
狄利克雷分布本质上是多元连续型随机变量的概率密度分布假设多元随机变量 θ ( θ 1 , θ 2 , . . . , θ k ) θ(θ_1,θ_2,...,θ_k) θ(θ1,θ2,...,θk) 服从参数 α ( α 1 , α 2 , . . . , α k ) \alpha(\alpha _1,\alpha _2,...,\alpha _k) α(α1,α2,...,αk) 的狄利克雷分布记作 θ ∽ D i r ( α ) θ \backsim Dir(\alpha) θ∽Dir(α) 则概率密度函数可表示为 p ( θ ∣ α ) Γ ( ∑ i 1 k α i ) ∏ i 1 k Γ ( α i ) ∏ i 1 k θ i α i − 1 1 B ( α ) ∏ i 1 k θ i α i − 1 ( 1 ) p(θ|\alpha){\Gamma(\sum_{i1}^k{\alpha _i})\over{\prod_{i_1}^k\Gamma(\alpha _i)}}\prod_{i1}^k θ_i^{\alpha_{i-1}}{1\over{B(\alpha)}}\prod_{i1}^k θ_i^{\alpha_{i-1}} \ \ \ \ \ (1) p(θ∣α)∏i1kΓ(αi)Γ(∑i1kαi)∏i1kθiαi−1B(α)1∏i1kθiαi−1 (1)
其中 ∑ i 1 k θ i 1 \sum_{i1}^kθ_i1 ∑i1kθi1 θ i ≥ 0 θ_i \geq 0 θi≥0 α i 0 \alpha_i 0 αi0
初识者对式 ( 1 ) (1) (1) 可能不明就里我们来对它做个通俗的解释。
在二项分布和Beta分布中我们曾以抛硬币举例因为他们只涉及到二元变量硬币的正反面就可以表示。
在多项分布里面用的是骰子举例狄利克雷分布也同样可以效仿之。
假设有个生产骰子的工厂这个工厂技术精湛且先进不仅能造出一般的质地均匀的六面骰子甚至可以造出任意质地任意多个面的骰子这里质地均匀指的是骰子掷出每个面的概率相同任意质地指掷出每个面的概率不同(但和为1)。在此背景下狄利克雷分布中的 k k k 元随机变量 θ ( θ 1 , θ 2 , . . . , θ k ) θ(θ_1,θ_2,...,θ_k) θ(θ1,θ2,...,θk) 可以看作掷一枚这个工厂生产的具有 k k k 个面的骰子时 每个面出现的概率参数 α ( α 1 , α 2 , . . . , α k ) \alpha(\alpha _1,\alpha _2,...,\alpha _k) α(α1,α2,...,αk) 可以看作掷 n n n 次骰子中 k k k 个面中每个面出现的次数并且满足 ∑ i 1 k θ i 1 \sum_{i1}^kθ_i1 ∑i1kθi1 ∑ i 1 k α i n \sum_{i1}^k\alpha_in ∑i1kαin 。
因为 θ θ θ 满足 ∑ i 1 k θ i 1 \sum_{i1}^kθ_i1 ∑i1kθi1 θ i ≥ 0 θ_i \geq 0 θi≥0 可以说狄利克雷分布的 k k k 元随机变量 θ ( θ 1 , θ 2 , . . . , θ k ) θ(θ_1,θ_2,...,θ_k) θ(θ1,θ2,...,θk) 是定义在 k − 1 k-1 k−1 维概率单纯形K-dimentional probability simplex上的 。 k k k 维单纯形就是具有 k 1 k1 k1 个顶点的凸多面体比如二维单纯形是个三角形、有三个顶点三维单纯形是四面体、有四个顶点。 k k k 表示类别的数量概率单纯形上的一个点可以用 k k k 个和为1的非负数表示。比如当 k 3 k3 k3 时 θ 1 、 θ 2 、 θ 3 θ_1、θ_2、θ_3 θ1、θ2、θ3 分布在三维空间 z 1 − x − y z1-x-y z1−x−y 的平面三角形上是个二维单纯形。
