Fit完一个multiple regression model，我们可以进行三种类型的test：

  1. Overall test: 全部所有covariates的贡献。
  2. Test for addition of a single variable: given已有一些covariates，加入or不加入另一个covariate。
  3. Test for addition of a group of variables: given已有一些covariates，加入or不加入另一批covariates。

可以参考Heart attacks in Rabbits的例子理解上述三种检验。

1. ANOVA table in MLR

Untitled

显然，若covariates越多，那么模型对于数据的拟合度只可能更好，因此R方会越大。所以若单纯以R方的大小来选择model的话，就一定会选到covariates最多的模型——会导致过拟合。所以我们需要对R方进行修正，故产生了Adjuested R方：

$$ \text{Adj R-square} = 1-\frac{\text{SSE}/(n-K-1)}{\text{SSY}/(n-1)} $$

也就是用自由度来修正SSE：当covariates越多时，SSE会变小，但同时n-K-1也会变小，所以Adj R方的数值不一定变大。

2. Overall test

$$ H_0:\beta_1 = \beta_2 = \cdots = \beta_K = 0 \\ H_1: \text{not } H_0 $$

使用F-test for full significance:

$$ F_0 = \frac{\text{MSR}}{\text{MSE}} = \frac{\text{SSR}/K}{\text{SSE}/(n-K-1)} $$

If H0 is true, then F0~F(K, n-K-1)。

3. Test for a single variable

$$ H_0: \beta_k = 0 \\ H_1: \beta_k \ne 0 $$

使用t-test for single variable:

$$ t_0 = \frac{\hat{\beta_k}}{se(\hat{\beta_k})} = \frac{\hat{\beta_k}}{s·\sqrt{A_{kk}}} $$