第3章　多元回归分析：估计

3.1　复习笔记

一、使用多元回归的动因

1．含有两个自变量的模型

（1）多元回归分析

除主要的变量外，把其他可观测因素也包括在回归模型中。可以把含有两个自变量的模型写成：

y＝β₀＋β₁x₁＋β₂x₂＋u

其中，β₀是截距，β₁度量了在其他条件不变情况下Y相对x₁的变化，而β₂则度量了在其他条件不变情况下Y相对x₂的变化。

多元回归分析对推广变量之间的函数关系也有帮助。一个重要的差别是如何对参数进行解释。

（2）多元回归分析的假定

在含有两个自变量的模型中，u与x₁和x₂如何相关的关键假定是：

E（u｜x₁，x₂）＝0

对上式的解释与对简单回归分析的假定SLR.4的解释相似。它意味着，对总体中x₁，x₂和的任何值，无法观测因素的平均值都等于零。

2．含有k个自变量的模型

（1）多元回归模型

一般多元性回归模型在总体中可以写成：

y＝β₀＋β₁x₁＋β₂x₂＋…＋β_kx_k＋u

其中，β₀为截距（intercept），β₁是与x₁相联系的参数，β₂是与x₂相联系的参数，等等。由于有k个自变量和一个截距项，所以方程包含了k＋1个（未知的）总体参数。把这种不同于截距的参数称为斜率参数。

多元回归的术语类似于简单回归的术语。

（2）多元回归模型的关键假定

用条件期望的形式可以表示为：

E（u｜x₁，x₂，…，x_k）＝0

该假定表示不可观测的误差项中的所有因素都与解释变量无关。任何一个导致u与某个自变量相关的问题，都会导致式假定不成立。

二、普通最小二乘法的操作和解释

1．如何得到OLS估计值

（1）包含两个自变量模型的估计

在形式上，被估计的OLS方程为：

普通最小二乘法选择能最小化残差平方和的估计值。即要使下式尽可能小：

下标i表示观测序号。第二个下标只是区别不同自变量的方法。

（2）含有k个自变量模型的估计

OLS方程为：

该方程被称为OLS回归线或样本回归函数。称为OLS截距估计值，而把称为OLS斜率估计值。

所选择的k＋1个OLS估计值最小化残差平方和：

使用多元微积分求解可得k＋1个线性方程：

这个方程组通常被称为OLS一阶条件。必须假定上式中的方程只能得到的唯一解。

2．对OLS回归方程的解释

（1）包含两个自变量模型的解释

①方程中的截距项是Y在x₁＝0和x₂＝0情况下的预测值。在多数情况下，令x₁和x₂都等于零没有什么意义。

②估计值和具有偏效应或其他情况不变的解释。从上式中可得：

因此能在给定x₁和x₂的变化的情况下，预测Y的变化。截距项与Y的变化没有关系。当x₂固定，因而∆x₂＝0时，于是，类似地，在保持x₁不变时，。

（2）包含多个自变量模型的解释

OLS回归线：

用变化量表示为：

x₁的系数度量的是，在所有其他条件不变的情况下，因提高一个单位的x₁而导致的变化。即在保持x₂，x₃，…，x_k不变的情况下，。因此，在估计x₁对Y的影响时，已经控制了变量x₂，x₃，…，x_k的影响。其他系数与此相似。

3．多元回归中“保持其他因素不变”的含义

因为多元回归分析中斜率参数的偏效应解释可能会导致一些混淆，所以要尽量避免这个问题。多元回归有效地模拟了对自变量的值不加限制的情况。

多元回归分析能在非实验环境中进行自然科学家在受控实验中所能做的事情：保持其他因素不变。

4．同时改变不止一个自变量

通过方程可以改变一个以上的自变量，并能够得到由此对因变量的影响。

5．OLS的拟合值和残差

（1）拟合值和残差

在得到OLS回归线式后，对每次观测都得到一个拟合值或预测值。对观测，其拟合值为：

在求拟合值，不应该忘记截距项；否则，结果就极具误导性。

规范地讲，对任一观测i，实际值y_i都不等于预测值；OLS最小化了预测误差评分的平均值，但对任何一个观测的预测误差都没做说明。第i个观测的残差只是像在简单回归中那样，被定义为：

每次观测都有一个残差。若，则小于y_i，y_i被预测得过低。若，则大于y_i，y_i被预测得过高。

（2）OLS拟合值和残差的重要性质

①残差的样本平均值为零。

②OLS拟合值和OLS残差之间的样本协方差值为零。

③点总位于OLS回归线上：

6．对多元回归“排除其他变量影响”的解释

（1）在简单回归分析中，由于回归中根本就不存在其他变量，所以就不用排除其变量的影响。

（2）考虑k＝2个自变量的情形

一种表示的方式为：

其中，是利用现有样本将x1对x2进行简单回归而得到的OLS残差，再将Y对进行简单回归就能得到。（残差的样本均值为零，所以就是通常简单回归的斜率参数。）

该表达式还给出的另一种偏效应解释，即度量了在排除x_i2的影响之后y和x₁之间的样本关系。

（3）在一个含有k个解释变量的一般模型中，不变，但残差来自x₁对x₂，x₃，…，x_k的回归。度量的是，在排除x₂，x₃，…，x_k等变量的影响后，x₁对y的影响。

7．简单回归和多元回归估计值的比较

（1）简单回归和多元回归估计值的关系

Y对x₁的简单回归所得到的回归估计值与将y对x₁和x₂作OLS回归时所得到x₁的偏回归估计值的关系为：

其中，是x_i2对x_i1进行简单回归的斜率系数。导致二者区别的一项，是x₂对的偏效应与x₂对x₁进行简单回归的斜率之积。

（2）两者相等的特殊情况

①样本中x₂对y的偏效应为零，即；

②样本中x₁和x₂不相关，即。

（3）在含有k个自变量的情形中两者相等的特殊情况

①从x₂到x_k所有的OLS系数都是零；

②x₁与x₂，x₃，…，x_k都不相关。

实际上，这两个条件都不太可能成立。但如果所有从x₂到x_k的系数都很小，或者x₁与其他自变量之间的样本相关关系都不显著，那么x₁影响Y的简单回归估计值和多元回归估计值可能会很相似。

8．拟合优度

（1）总平方和（SST）、解释平方和（SSE）和剩余平方和或残差平方和（SSR）

可以证明SST＝SSE＋SSR，将方程两边同时除以SST得到：SSR/SST＋SSE/SST＝1。

（2）拟合优度

①R²被定义为：

R²≡SSE/SST＝1－SSR/SST

而且被解释为Y_i的样本变异中被OLS回归线所解释的部分。根据定义，R²是一个介于0和1之间的数。

②R²等于y_i的实际值与其拟合值之相关系数的平方。即：

③有关R²的一个重要事实

在回归中多增加一个自变量后，它绝对不会减小，而且通常会增大。因为在模型中多增加一个回归元时，按照定义，残差平方和绝对不会增加。

回归中增加任何一个变量都不会使R²减小的事实，使得用R²作为判断是否应该在模型中增加一个或几个变量的工具很不适当。判断一个解释变量是否应放入模型的因素是，这个解释变量在总体中对y的偏效应是否非零。

9．过原点的回归

（1）过原点回归的定义

具体方程如下：

其中，估计值上面的符号“～”用以区别带截距的OLS回归。当x₁＝0，x₂＝0，…，x_k＝0时，则预测值也为零。在这种情况下，被称为从y对x₁，x₂，…，x_k进行过原点的回归而得到的OLS估计值。

（2）过原点回归的特点

①OLS残差的样本平均不再是零。

②如果R²被定义为R²＝1－SSR/SST，而SSR现在是

R²实际上可能为负。这意味着样本平均比解释变量更多地“解释”了y_i的变异。要么应该在回归中包含一个截距项，要么断定解释变量对Y的解释很差。

③通过原点的回归有一个重要缺陷：如果总体模型中的截距项β₀不是零，那么斜率参数的OLS估计量将有偏误。在某些情况下，这种偏误可能会很严重。当β₀确实是零时，估计带截距项方程的代价是，OLS斜率估计量的方差会更大。

三、OLS估计量的期望值

以下假定都是对简单回归模型假定的直接推广，而且在这些假定之下，OLS估计量是总体参数的无偏估计。

1．基本假定与OLS的无偏性

（1）假定MLR.1（线性于参数）

总体模型可写成：

y＝β₀＋β₁x₁＋β₂x₂＋β₃x₃＋…＋β_kx_k＋u

其中β₀，β₁，…，β_k是未知参数（常数），而u则是无法观测的随机误差或随机干扰。

模型的一个重要特点是，它是参数β₀，β₁，…，β_k的线性函数。

（2）假定MLR.2（随机抽样）

有一个包含n次观测的随机样本｛（x_i1，x_i2，…，x_ik，y_i）：i＝1，2，…，n｝，它来自假定MLR.1中的总体模型。

写出一次特定观测i的方程：

y_i＝β₀＋β₁x_i1＋β₂x_i2＋…＋β_kx_ik＋u_i

记住i表示观测次数，x的第二个角标表示变量序号。

借助模型y＝β₀＋β₁x₁＋β₂x₂＋β₃x₃＋…＋β_kx_k＋u ，从y对x₁，x₂，…，x_k的回归中得到的OLS估计量，现在被看作是β₀，β₁，…，β_k的估计量。

（3）假定MLR.3（不存在完全共线性）

①假定的主要内容

在样本（因而在总体中），没有一个自变量是常数，自变量之间也不存在严格的线性关系。

如果方程中的一个自变量刚好是其他自变量的一个线性组合，就说这个模型遇到完全共线性的问题，也就不能由OLS来估计。假定MLR.3允许自变量之间存在相关关系，只是不能完全相关。

②自变量完全相关的方式

a．不要在同一个回归方程中包括以不同单位度量的同一个解释变量。一个自变量也可能以更微妙的方式成为另一个自变量的倍数。

b．自变量可能完全线性相关的另一种方式是，一个自变量恰好可以表示成其他两个或多个自变量的线性函数。

（4）假定MLR.4（条件均值为零）

给定自变量的任何值，误差u的期望值为零，即：

E（u｜x₁，x₂，…，x_k）＝0

①假定MLR.4可能不成立的情况：

a．模型方程中被解释变量和解释变量之间的函数关系被错误地设定：当一个变量在总体中应该以对数形式出现时，却使用了其水平值等等。

b．漏掉一个与x₁，x₂，…，x_k中任何一个自变量相关的重要因素，也能导致MLR.4不成立。

c．u还可能以其他方式与一个解释变量相关。

当假定MLR.4成立时，则模型具有外生解释变量。如果出于某种原因x仍与u相关，那么x_j就被称为内生解释变量。

②假定MLR.4与假定MLR.3相当不同，不能将它们混淆。

假定MLR.3排除了自变量和因变量之间的某些关系，而与u无关。在进行OLS估计时，就会得出假定MLR.3成立与否。

假定MLR.4则限制了u中无法观测因素与解释变量之间的关系，是一个关键假定。但无法确切地知道，无法观测因素的平均值是否与解释变量无关。

（5）定理3.1：OLS的无偏性

在假定MLR.1～MLR.4下，下式对总体参数β_j的任意值都成立

即OLS估计量是总体参数的无偏估计量。

OLS在假定MLR.1～MLR.4下是无偏的，是指，将用来得到OLS估计值的程序用于各种可能的随机样本时，这个程序是无偏的。

2．在回归模型中包含了无关变量

在多元回归分析中包含一个无关变量或对模型进行过度设定，是指尽管一个（或多个）自变量在总体中对y没有影响，却被放到了模型中（即它的总体系数为零）。

在一个多元回归模型中包含一个或多个无关变量，或对模型进行了过度设定，并不会影响到OLS估计量的无偏性。包含无关变量对OLS估计量的方差具有不利影响。

3．遗漏变量的偏误：简单情形

假设遗漏了一个实际上应包括在真实（或总体）模型中的变量，这通常被称为排除一个有关变量或对模型设定不足的问题。

（1）遗漏变量偏误

简单回归因遗漏一个变量而误设时所具有的性质。由于模型满足假定MLR.1～MLR.4，所以和将分别是β₁和β₂的无偏估计量。因此：

则中的偏误为：

此时的偏误源自遗漏的解释变量x₂，所以方程右边的项时常被称为遗漏变量偏误。

（2）无偏的两种情况

①第一种情况：若β₂＝0，则就是无偏的。

②第二种情况：若，使也是β₁≠0，也是β₁的无偏估计。当且仅当样本中的x₁和x₂不相关时，才会有。由此可得：若样本中的x₁和x₂不相关，则就是无偏估计。

若，那么的无偏性无须以x_i2为条件；于是在估计β₁时，只要调整截距，将x₂放在误差项中并不违背误差项的条件均值为零的假定。

当x₁和x₂相关时，与x₁和x₂之间的相关系数具有相同的符号：若x₁和x₂正相关，则，若x₁和x₂负相关，则。

（3）偏误的符号与大小

①偏误的符号同时取决于β₂和的符号，存在偏误时的四种可能情形如表3-1所示。

表3-1  遗漏变量时的偏误汇总表

②偏误的大小由β₂和的大小决定。

（4）与偏误有关的术语

在模型漏掉一个变量的背景下，若，就说有向上的偏误。当时，则有向下的偏误。

向零的偏误是指比β₁更接近零的情况。因此，若β₁为正，则向下的偏误就是向零的偏误；另一方面，若β₁为负，则向上的偏误就是向零的偏误。

4．遗漏变量的偏误：更一般的情形

一个解释变量与误差之间存在相关性，一般会导致所有OLS估计量都产生偏误。

假设总体模型y＝β₀＋β₁x₁＋β₂x₂＋β₃x₃＋u，满足假定MLR.1～MLR.4，但遗漏了变量x₃并估计了模型

假设x₂和x₃无关，但x₁和x₃却相关。此时和通常都是有偏的。唯一的例外是，在x₁和x₂不相关的时候。很难得到和偏误的方向，因为x₁，x₂和x₃可能会两两相关。

一种近似方法在实践中常常很有用。如果假定x₁和x₂无关，则：

四、OLS估计量的方差

1．同方差性与OLS斜率估计量的抽样方差

（1）假定MLR.5（同方差性）

给定任意解释变量值，误差项u都具有相同的方差。即：

假定MLR.5意味着，以解释变量为条件，不管解释变量出现何种组合，误差项u的方差都是一样的。如果这个假定不成立，那么模型就像在两变量情形中一样表现出异方差性。

假定MLR.1～MLR.5一起被称为（横截面回归的）高斯-马尔可夫假定。

（2）定理3.2：OLS斜率估计量的抽样方差

在假定MLR.1～MLR.5之下，以自变量的样本值为条件，对所有的j＝1，2，…，k，都有：

其中，是x_j的总样本变异，而则是将x_j对所有其他自变量（并包含一个截距项）进行回归所得到的R²。

在得到这个公式的过程中，用到了所有高斯-马尔可夫假定。

2．OLS方差的成分：多重共线性

的方差取决于三个因素：σ²、SST_j和。下标j只是表示自变量中的任意一个。

（1）误差方差σ²

σ²越大意味着OLS估计量的方差就越大。方程中的“噪音”越多（σ²越大），使得估计任何一个自变量对y的偏效应都越困难，这将通过OLS斜率估计量的较大方差反映出来。由于σ²是总体的一个特征，所以它与样本容量无关。

对于一个给定的因变量y，确实只有一个办法减少误差方差，即在方程中增加更多的解释变量（将某些因素从误差项中剔除出来）。

（2）x_j的总样本变异，SST_j

x_j的总变异越大，就越小。因此，若所有其他条件不变，就估计β_j而言，x_j的样本方差越大越好。

有一种办法来提高每个自变量的样本变异：扩大样本容量。实际上，当从总体中随机抽样时，随着样本容量越来越大，SST_j将无限递增。这是方差中系统地取决于样本容量的部分。

若SST_j很小，会变得很大。但小的SST_j并不违背假定MLR.3。从技术上讲，随着SST_j趋近于零，可能趋于无穷大。但x_j无样本变异的这种极端情形（SST_j＝0）却是假定MLR.3所不允许的。

（3）自变量之间的线性关系，

不同于Y对x₁，x₂，…，x_k回归所得到的R²：得到的回归只涉及原模型中的自变量，其中x_j是作为因变量而出现的。

①k＝2的情形：y＝β₀＋β₁x₁＋β₂x₂＋u 。

，其中是x₁对x₂（含截距）进行简单回归所得到的R²由于R²度量了拟合优度，所以当值接近于1时，则表明在这个样本中，x₂解释了x₁的大部分变动。这就意味着x₁和x₂高度相关。随着向1逐渐接近，则变得越来越大。因此x₁和x₂之间线性关系的程度越高，OLS斜率估计值的方差就越大。

②在一般情况下，是x_j总变异中可由方程中其他给定的σ²和SST_j最小的自变量加以解释的部分。对于在时得到，当且仅当x_i与其他每个自变量的样本相关系数都等于零时，才会发生这种情况。

③另一个极端情形被假定MLR.3所排除，因为意味着，x_j恰好是回归中某些自变量的线性组合。

④还有一种更重要的情形是“接近”于1的情况。这会导致很大：若则，两个或多个自变量之间高度（但不完全）相关被称为多重共线性。

（4）多重共线性的界定和解决方法

①多重共线性的界定

在“接近”于1的情况下估计β_j可能会导致多重共线性时，把“接近”一词放在引号中，因为不能给出一个绝对的数字来断定什么情况下多重共线性会成为一个问题。就统计推断而言，最终问题是与其标准差相比有多大。

很大的可能导致很大的，很小的SST_j也能导致很大的，因此，小样本容量也能导致很大的抽样方差。对样本中自变量间出现高度相关的担心，实际上无异于对小样本容量的担心：二者都会提高。

②结论

虽然不能清楚地界定多重共线性问题，但在所有其他条件都不变的情况下，就估计β_j来说，x_j与其他自变量之间越不相关越好。

另外一个重要问题是，虽然某些自变量之间高度相关，但对模型中其他参数的估计效果而言可能并不重要。

③“解决”多重共线性问题的方法：

a．搜集更多的数据外；

b．对于一个给定的数据集，可以试着从模型中去掉一些其他自变量，以努力消除多重共线性。但去掉总体模型中的一个变量常常会导致偏误。

3．误设模型中的方差

在一个回归模型中是否包含一个特定变量的决策，可以通过分析偏误和方差之间的替换关系而做出。

将满足高斯-马尔可夫假定的真实总体模型写成：y＝β₀＋β₁x₁＋β₂x₂＋u，

假定x₁和x₂不相关，可以得到如下结论：

（1）当β₂≠0时，是有偏的，是无偏的，而且。

（2）当β₂＝0时，和都是无偏的，而且。

①若β₂＝0，更好。如果x₂对y没有偏效应，那么将它放在模型中就只会加剧多重共线性问题，从而导致β₁的估计量效率较低。在模型中包括一个无关变量的代价是，β₁的估计量方差较高。

②β₂≠0的情况。不把x₂放到模型中，将导致β₁的估计量有偏误。

当β₂≠0时，模型中应该包括x₂的原因：

a．中的偏误不会随着样本容量的扩大而缩减；实际上，偏误不一定服从任何形式，偏误对任何样本容量都大致相等。

b．随着x逐渐变大，和都逐渐缩小至零，这意味着，随着样本容量逐渐变大，因增加x₂所导致的多重共线性就会变得没有那么重要。在大样本情况下，将更偏好。

c．方差公式取决于样本中x_i1和x_i2的值，这就为提供了最好的条件。当β₂≠0时，仅取决于x₁的方差比式中的方差更大。

4．估计σ²：OLS估计量的标准误

（1）残差和自由度

将每个β_i用其OLS估计量取代后，就得到OLS残差：

在简单回归情形中，这将导致一个有偏估计量。在一般多元回归情形中，σ²的无偏估计量是：

n－k－1是含有n个观测和k个自变量的一般OLS问题的自由度。即：df＝n－（k＋1）＝观测次数－估计参数的个数。

（2）定理3.3：σ²的无偏估计

在高斯-马尔可夫假定MLR.1～MLR.5下，E（σ²）＝σ²。

的正平方根被称为回归标准误或SER。SER是误差项之标准差的估计量。（对于给定样本）在方程中增加另一个自变量时，则可能减小或增加。这是因为当增加另一个解释变量时，在SSR肯定下降的同时，自由度也减少一个。因为SSR在分子中，而df在分母中，所以事先并不知道哪个作用会占主导地位。

（3）的标准差

为了构造置信区间并进行检验，估计的标准差也就是方差的平方根：

由于σ未知，所以用其估计量来取代，则：

如果误差表现出异方差性，标准误公式就不是的一个可靠估计量，从而使标准误无效。

五、OLS的有效性：高斯-马尔可夫定理

1．最优线性无偏估计量

（1）估计量：它是一个可应用于任何一个数据样本，并产生一个估计值的规则。

（2）无偏估计量：如果β_j的一个估计量，对任意β₀，β₁，…，β_k都有，那么它就是β_j的一个无偏估计量。

（3）“线性”：β_j的一个估计量是线性的充分必要条件是，它能表示成因变量数据的一个线性函数：

其中每个w_ij都可以是所有自变量样本值的一个函数。

（4）“最优”：最优被定义为最小方差。

2．定理3.4：高斯-马尔可夫定理

（1）主要内容

在假定MLR.1～MLR.5下，分别是β₀，β₁，…，β_k的最优线性无偏估计量。

假定MLR.1～MLR.5被称为（横截面数据分析的）高斯-马尔可夫假定。

（2）高斯-马尔可夫定理的重要性

当这个标准假定集成立时，不需要再去寻找其他无偏估计量：没有一个会比OLS更好。

如果高斯-马尔可夫假定中的任何一个不成立，那么这个定理也就不再成立。零条件均值的假定（假定MLR.4）不成立会导致OLS产生偏误，异方差性（假定MLR.5不成立）虽不致使OLS有偏，但它在线性无偏估计量中不再具有最小方差。