1. Residual

1.1 residual

$$ e_i = y_i-\hat{y_i} $$

易知：

$$ E(e_i) = E(y_i-\hat{y_i}) = 0\\ Var(e_i) = \sigma^2(1-h_{ii}) $$

其中$h_{ii}$为hat matrix的第i个对角线的值。注意：

1. $e_1$~$e_n$并不相互独立。
2. $e_i$可以视为$\epsilon_i$的一个「替身」，因此任何关于$\epsilon$的假设不成立，都会在一定程度上反映在$e$上。

1.2 standardized residual

$$ z_i = \frac{e_i}{\hat{\sigma}} $$

• 注意到$\hat{\sigma}$并不是$e_i$的standard error。
• 当其绝对值大于3时，说明该observation是一个outlier。

1.3 studentized residual

$$ r_i = \frac{e_i}{\hat{\sigma}\sqrt{1-h_{ii}}} $$

• 注意到$\hat{\sigma}\sqrt{1-h_{ii}}$才是$e_i$的standard error。
• 当其绝对值大于3时，说明该observation是一个outlier。
• $h_{ii}$又被称为第i个observation的leverage value：该值大于$\frac{2(K+1)}{n}$，该observation异常。

1.4 PRESS residual

$$ e_{(i)} = y_i - \hat{y_{(i)}} $$