1. Polytomous data

之前的LR是对因变量为二元变量做的。本节里因变量为polytomous data，即类别不只有两个。在此情形中，又分为：①因变量为定类变量(nominal)；②因变量为定序变量(ordinal)。

2. LR for nominals

2.1 Model specification

假设因变量有C类：

$$ y_i \in \{1,2,\cdots,C\} $$

LR的流程为：①选定一个类作为reference cate；②拟合C-1个LR模型：

$$ \ln\frac{p_c(\mathbf{x})}{p_1(\mathbf{x})}=\beta_c^T \mathbf{x}, \quad c=2,3,\cdots,C $$

换种写法：

$$ p_1(\mathbf{x}) = \frac{1}{1+\sum_{j}\exp(\beta_j^T \mathbf{x})}\\

p_c(\mathbf{x}) = \frac{\exp(\beta_c^T \mathbf{x})}{1+\sum_{j}\exp(\beta_j^T \mathbf{x})} $$

2.2 Coefficient interpretation

如果有K个covariates，因变量有C类，那么就会有(C-1)(K+1)个参数。

• $\beta_{0c}$：It is the log odds in favor of category c over category 1 when all x’s = 0.
• $\beta_{kc}$：It is the log odds ratio in favor of category c over category 1 for every 1 unit increase in $x_{k}$ when holding all other x’s fixed.

2.3 Estimation

$y_i$原来是服从伯努利分布，现在则用multinomial分布建模：

$$ \begin{align*} l(\beta_2,\cdots,\beta_C;\textbf{y},\textbf{X})&=\log \prod_{i=1}^{n} \prod_{c=1}^C p_{c}^{I(y_{c}=1)}(\mathbf{x}_i) \end{align*} $$

还是用MLE进行估计。

3. LR for ordinals