详述网站建设的过程简答题,建设网站建设网页制作0402高设计词,宣传广告,银川市建设局网站内容来源
贝叶斯统计#xff08;第二版#xff09;中国统计出版社 前两篇笔记简述经典统计中的充分统计量和判断充分统计量的 N e y m a n Neyman Neyman 因子分解定理
而在贝叶斯统计中#xff0c;充分统计量也有一个充要条件
定理兼定义
设 x ( x 1 , x 2 , ⋯ , x …内容来源
贝叶斯统计第二版中国统计出版社 前两篇笔记简述经典统计中的充分统计量和判断充分统计量的 N e y m a n Neyman Neyman 因子分解定理
而在贝叶斯统计中充分统计量也有一个充要条件
定理兼定义
设 x ( x 1 , x 2 , ⋯ , x n ) x(x_1,x_2,\cdots,x_n) x(x1,x2,⋯,xn) 是来自密度函数 p ( x ∣ θ ) p(x|\theta) p(x∣θ) 的一个样本 T T ( x ) TT(x) TT(x) 是统计量它的密度函数为 p ( t ∣ θ ) p(t|\theta) p(t∣θ) H π ( θ ) \mathscr{H}\pi(\theta) Hπ(θ) 是 θ \theta θ 的某个先验分布族
则 T ( x ) T(x) T(x) 为 θ \theta θ 的充分统计量的充要条件为 对任一先验分布 π ( θ ) ∈ H \pi(\theta)\in\mathscr{H} π(θ)∈H π ( θ ∣ T ( x ) ) π ( θ ∣ x ) \pi(\theta|T(x))\pi(\theta|x) π(θ∣T(x))π(θ∣x) 即用样本分布 p ( x ∣ θ ) p(x|\theta) p(x∣θ) 算得的后验分布与统计量 T ( x ) T(x) T(x) 算得的后验分布是相同的 例
设 x ( x 1 , ⋯ , x n ) x(x_1,\cdots,x_n) x(x1,⋯,xn) 是来自正态总体 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2) 的一个样本则有 p ( x ∣ μ , σ 2 ) ( 2 π σ ) − n exp [ − 1 2 σ 2 ∑ ( x i − μ ) 2 ] ( 2 π σ ) − n exp [ − 1 2 σ 2 ∑ ( x i − x ‾ x ‾ − μ ) 2 ] ( 2 π σ ) − n exp { − 1 2 σ 2 [ ∑ ( x i − x ‾ ) 2 0 n ( x ‾ − μ ) 2 ] } ( 2 π σ ) − n exp { − 1 2 σ 2 [ Q n ( x ‾ − μ ) 2 ] } \begin{align*} p(x|\mu,\sigma^2)(\sqrt{2\pi}\sigma)^{-n}\exp\left[ -\frac{1}{2\sigma^2}\sum(x_i-\mu)^2\right]\\ (\sqrt{2\pi}\sigma)^{-n}\exp\left[ -\frac{1}{2\sigma^2}\sum(x_i-\overline{x}\overline{x}-\mu)^2\right]\\ (\sqrt{2\pi}\sigma)^{-n}\exp\left\{ -\frac{1}{2\sigma^2}\left[\sum(x_i-\overline{x})^20n(\overline{x}-\mu)^2 \right]\right\}\\ (\sqrt{2\pi}\sigma)^{-n}\exp\left\{ -\frac{1}{2\sigma^2}\left[Qn(\overline{x}-\mu)^2 \right]\right\} \end{align*} p(x∣μ,σ2)(2π σ)−nexp[−2σ21∑(xi−μ)2](2π σ)−nexp[−2σ21∑(xi−xx−μ)2](2π σ)−nexp{−2σ21[∑(xi−x)20n(x−μ)2]}(2π σ)−nexp{−2σ21[Qn(x−μ)2]}
其中 x ‾ 1 n ∑ x i , Q ∑ ( x i − x ‾ ) 2 \overline{x}\frac{1}{n}\sum x_i,Q\sum(x_i-\overline{x})^2 xn1∑xi,Q∑(xi−x)2
设 π ( μ , σ 2 ) \pi(\mu,\sigma^2) π(μ,σ2) 是任意一个先验分布则 μ , σ 2 \mu,\sigma^2 μ,σ2 的后验密度为 π ( μ , σ 2 ∣ x ) σ − n π ( μ , σ 2 ) exp { − 1 2 σ 2 [ Q n ( x ‾ − μ ) 2 ] } ∫ − ∞ ∞ ∫ 0 ∞ σ − n exp { − 1 2 σ 2 [ Q n ( x ‾ − μ ) 2 ] } d σ 2 d μ \pi(\mu,\sigma^2|x)\frac {\sigma^{-n}\pi(\mu,\sigma^2) \exp\left\{-\frac{1}{2\sigma^2}\left[Qn(\overline{x}-\mu)^2 \right]\right\}} { \int^{\infty}_{-\infty}\int^{\infty}_{0}\sigma^{-n} \exp\left\{-\frac{1}{2\sigma^2}\left[Qn(\overline{x}-\mu)^2 \right]\right\}\mathrm{d}\sigma^2\mathrm{d}\mu } π(μ,σ2∣x)∫−∞∞∫0∞σ−nexp{−2σ21[Qn(x−μ)2]}dσ2dμσ−nπ(μ,σ2)exp{−2σ21[Qn(x−μ)2]}
书上这里提了 ( x ‾ , Q ) (\overline{x},Q) (x,Q) 是 ( μ , σ 2 ) (\mu,\sigma^2) (μ,σ2) 的充分统计量但接下来的过程并没有使用这个条件
由*学生定理 t t t 分布的推论*得 x ‾ ∼ N ( μ , σ 2 / n ) , Q / σ 2 ∼ χ 2 ( n − 1 ) \overline{x}\sim N(\mu,\sigma^2/n),Q/\sigma^2\sim\chi^2(n-1) x∼N(μ,σ2/n),Q/σ2∼χ2(n−1)
由此可以写出 x ‾ \overline{x} x 与 Q Q Q 的分布 p ( x ‾ ∣ μ , σ 2 ) n 2 π σ exp { − n 2 σ 2 ( x ‾ − μ ) 2 } p ( Q ∣ μ , σ 2 ) 1 Γ ( n − 1 2 ) ( 2 σ 2 ) n − 1 2 Q n − 3 2 exp { − Q / 2 σ 2 } \begin{align*} p(\overline{x}|\mu,\sigma^2)\frac{\sqrt{n}}{\sqrt{2\pi}\sigma} \exp\left\{-\frac{n}{2\sigma^2}(\overline{x}-\mu)^2\right\}\\ p(Q|\mu,\sigma^2)\frac{1}{\Gamma(\frac{n-1}{2})(2\sigma^2)^{\frac{n-1}{2}}} Q^{\frac{n-3}{2}}\exp\{-Q/2\sigma^2\} \end{align*} p(x∣μ,σ2)2π σn exp{−2σ2n(x−μ)2}p(Q∣μ,σ2)Γ(2n−1)(2σ2)2n−11Q2n−3exp{−Q/2σ2}
写 Q Q Q 的条件分布时不要用卡方 p d f pdf pdf 再作变量变换。卡方分布是特殊的伽马分布而且伽马分布有个特殊的性质——伸缩。所以有 Q ∼ Γ ( n − 1 2 , 2 σ 2 ) Q\sim \Gamma(\frac{n-1}{2},2\sigma^2) Q∼Γ(2n−1,2σ2)
然后由于 x ‾ \overline{x} x 与 Q Q Q 独立所以 x ‾ \overline{x} x 与 Q Q Q 的联合密度函数为
这个独立也是学生定理的结论 π ( x ‾ , Q ∣ μ , σ 2 ) n / 2 π σ Γ ( n − 1 2 ) ( 2 σ 2 ) n − 1 2 Q n − 3 2 exp { − 1 2 σ 2 [ Q n ( x ‾ − μ ) 2 ] } \pi(\overline{x},Q|\mu,\sigma^2)\frac {\sqrt{n}/\sqrt{2\pi}\sigma} {\Gamma(\frac{n-1}{2})(2\sigma^2)^{\frac{n-1}{2}}} Q^{\frac{n-3}{2}} \exp\left\{-\frac{1}{2\sigma^2}\left[Qn(\overline{x}-\mu)^2 \right]\right\} π(x,Q∣μ,σ2)Γ(2n−1)(2σ2)2n−1n /2π σQ2n−3exp{−2σ21[Qn(x−μ)2]}
由贝叶斯公式得在给定 x ‾ \overline{x} x 和 Q Q Q 下的后验密度 π ( μ , σ 2 ∣ x ‾ , Q ) π ( x ‾ , Q ∣ μ , σ 2 ) π ( μ , σ 2 ) ∫ − ∞ ∞ ∫ 0 ∞ π ( x ‾ , Q ∣ μ , σ 2 ) d σ 2 d μ σ − n π ( μ , σ 2 ) exp { − 1 2 σ 2 [ Q n ( x ‾ − μ ) 2 ] } ∫ − ∞ ∞ ∫ 0 ∞ σ − n exp { − 1 2 σ 2 [ Q n ( x ‾ − μ ) 2 ] } d σ 2 d μ \begin{align*} \pi(\mu,\sigma^2|\overline{x},Q) \frac{\pi(\overline{x},Q|\mu,\sigma^2)\pi(\mu,\sigma^2)} {\int^{\infty}_{-\infty}\int^{\infty}_{0} \pi(\overline{x},Q|\mu,\sigma^2) \mathrm{d}\sigma^2\mathrm{d}\mu}\\ \frac {\sigma^{-n}\pi(\mu,\sigma^2) \exp\left\{-\frac{1}{2\sigma^2}\left[Qn(\overline{x}-\mu)^2 \right]\right\}} { \int^{\infty}_{-\infty}\int^{\infty}_{0}\sigma^{-n} \exp\left\{-\frac{1}{2\sigma^2}\left[Qn(\overline{x}-\mu)^2 \right]\right\}\mathrm{d}\sigma^2\mathrm{d}\mu } \end{align*} π(μ,σ2∣x,Q)∫−∞∞∫0∞π(x,Q∣μ,σ2)dσ2dμπ(x,Q∣μ,σ2)π(μ,σ2)∫−∞∞∫0∞σ−nexp{−2σ21[Qn(x−μ)2]}dσ2dμσ−nπ(μ,σ2)exp{−2σ21[Qn(x−μ)2]}
对比两个后验密度可得 π ( μ , σ 2 ∣ x ‾ , Q ) π ( μ , σ 2 ∣ x ) \pi(\mu,\sigma^2|\overline{x},Q)\pi(\mu,\sigma^2|x) π(μ,σ2∣x,Q)π(μ,σ2∣x)
