指数族分布


概述

标准形式

$P(x|\eta)=h(x)·exp(\eta^T \phi(x))·exp(-A(\eta))$

$A(\eta)$ 是 log partition function ,通常是把函数表达式映射到概率[0,1]之间

$\phi(x)$ 是 充分统计量

$\eta$ 是参数向量

共轭

后验概率与先验概率有相同的分布形式 主要是为了计算上的方便(解决积分难的问题)

广义线性模型

  1. 线性组合 $w ^T x$
  2. link function(激活函数的反函数)
  3. 指数族分布:y | x ~指数族分布

高斯分布的指数族分布

如何把$p(x|\theta)=\frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(x-\mu)^2}{2\sigma ^2})$改写成标准形式?

显然

image-1

对照一下,有

image-2

对数配分函数与充分统计量

$A^`(\eta)=E_{p(x|\eta)[\phi(x)]} $

$A^`(\eta)=Var[\phi(x)]$

极大似然估计与充分统计量

假设有数据$D={x_1…x_N}$

$\eta_{MLE}=argmax log P(D|\eta)$

$=argmax \sum ^N _{i=1}log()$


评论
  TOC