当Y的条件分布属于exponential family时,我们就可以使用广义线性模型(GLM)。GLM的估计方法是MLE,推断基础是大样本理论。一个GLM包括3个部分:

1) Random component:$y_i$服从指数族分布

$$ p(y_i|\mathbf{x}_i) = f(y_i; \theta_i,\phi) = \exp\bigg\{\frac{y_i\theta_i-b(\theta_i)}{a(\phi)} + h(y_i,\phi)\bigg\} $$

记:$E(y_i|\mathbf{x}_i) = \mu_i$

2) Systematic component:线性组合 ****

$$ \eta_i = \beta^T\mathbf{x}_i $$

3) Linkage:g函数必须是单调且可微的

$$ g(\mu_i) = \eta_i $$

一个给定的x,决定了一个y的分布:x → linear combination → g function → distribution。

常见的GLM:

Untitled