8.3 多元线性回归¶

作为一元线性回归的扩展形式，多元线性回归用于建立一个因变量与多个自变量之间的线性关系。

多元回归模型是：

其中：

• $Y_i$ 是被解释变量的第 $i$ 个观测值；$X_{1i},X_{2i},...,X_{ki}$ 是 $k$ 个解释变量的第 $i$ 个观测值； $\mu_i$ 是误差项。

• 总体回归线表示的是 $Y$ 和 $X$ 之间的总体平均关系。

• $\beta_1$ 是 $X_1$ 的斜率系数；$\beta2$ 是 $X_2$的斜率系数，等等。

• 截距 $\beta_0$ 是当所有解释变量 $X$ 取值为零时 $Y$ 期望值。

估计量 $\hat{\beta_0},\hat{\beta_1},...,\hat{\beta_k}$ 为使得预测误差平方和 $\sum^n_{i=1}(Y_i-\beta_0-\beta_1X_{1i}-...-\beta_kX_{ki})^2$ 达到最小的 $\beta_0,\beta_1,...,\beta_k$ 取值。

预测值 $\hat{Y_i}$ 和残差 $\hat{u_i}$ 分别为：

其中估计量 $\hat{\beta_0},\hat{\beta_1},...,\hat{\beta_k}$ 和残差 $\hat{u_i}$ 都是利用 $n$ 组样本观测数据 $(X_{1i}, ..., X_{ki},Y_i), i=1,...n$ 计算得到的。它们分别是未知真实总体系数 $\beta_0,\beta_1,...,\beta_k$ 和误差项 $\mu_i$ 的估计量。

我们使用OLS方法求的 $\hat{\beta_0},\hat{\beta_1},...,\hat{\beta_k}$，为普通最小二乘(OLS)估计量。