当Y的条件分布属于exponential family时,我们就可以使用广义线性模型(GLM)。GLM的估计方法是MLE,推断基础是大样本理论。一个GLM包括3个部分:
1) Random component:$y_i$服从指数族分布
$$ p(y_i|\mathbf{x}_i) = f(y_i; \theta_i,\phi) = \exp\bigg\{\frac{y_i\theta_i-b(\theta_i)}{a(\phi)} + h(y_i,\phi)\bigg\} $$
记:$E(y_i|\mathbf{x}_i) = \mu_i$
2) Systematic component:线性组合 ****
$$ \eta_i = \beta^T\mathbf{x}_i $$
3) Linkage:g函数必须是单调且可微的
$$ g(\mu_i) = \eta_i $$
一个给定的x,决定了一个y的分布:x → linear combination → g function → distribution。
常见的GLM: