第5章 多元回归分析：OLS的渐近性
5.1 复习笔记
一、一致性
1．定理5.1：OLS的一致性
在假定MLR.1～MLR.4下，对所有的j＝0，1，2，…，k，OLS估计量
都是βj的一致估计。
（1）证明过程
写下
的公式，然后将yi＝β1＋β1X1＋ui代入其中便得到：
在分子和分母中应用大数定律，则分别依概率收敛于总体值Cov（x1，u）和Var（x1）。给定Var（x1）≠0，因为Cov（x1，u）＝0，可以使用概率极限的性质得到：
（2）假定MLR.4＇（零均值和零相关）
对所有的j＝1，2，…，k，都有E（u）＝0和Cov（x1，u）＝0。
假定MLR.4＇与假定MLR.4的比较：
①假定MLR.4＇是一个更自然的假定，因为它直接得到普通最小二乘估计值。
②使用假定MLR.4的原因
首先，如果E（u｜x1，x2，…，xk）＝0与任何一个xj相关，那么，在假定MLR.4＇下，普通最小二乘估计量都是有偏误（但一致）的。
其次，零条件均值假定意味着已经正确地设定了总体回归函数（PRF）。也就是说，在假定MLR.4下，可以得到解释变量对y的平均值或期望值的偏效应。如果只使用假定MLR.4＇，那么，β0＋β1x1＋β2x2＋…＋βkxk就不一定代表了总体回归函数，也就面临着xj的某些非线性函数可能与误差项相关的可能性。
2．推导OLS的不一致性
误差项和x1，x2，…，xk中的任何一个相关，通常也会导致所有的OLS估计量都失去其一致性。
总结为：如果误差与任何一个自变量相关，那么OLS就是有偏而又不一致的估计。它就意味着，随着样本容量的增加，偏误将继续存在。
的不一致性为：
因为Var（x1）＞0，所以，若x1和u正相关，则的不一致性就为正，而若x1和u负相关，则的不一致性就为负。如果x1和u之间的协方差相对于x1的方差很小，那么这种不一致性就可以被忽略。由于u是观测不到的，所以甚至还不能估计出这个协方差有多大。
二、渐近正态和大样本推断
1．定理5.2：OLS的渐近正态性
在高斯-马尔可夫假定MLR.1～MLR.5下，
（1）
是
的渐近方差；斜率系数，
其中
是Xj对其余自变量进行回归所得到的残差。为渐近正态分布的。
（2）σ2是σ2＝Var（u）的一个一致估计量。
（3）对每个j，都有：
其中，
就是通常的OLS标准误。
定理5.2的重要之处在于，它去掉了正态性假定MLR.6。对误差分布唯一的限制是，它具有有限方差。还对u假定了零条件均值（MLR.4）和同方差性（MLR.5）。
标准正态分布在式中出现的方式与tn－k－1分布不同。这是因为这个分布只是一个近似。实际上，由于随着自由度的变大，tn－k－1趋近于标准正态分布，所以如下写法也是合理的：
2．其他大样本检验：拉格朗日乘数统计量
（1）包含k个自变量的多元回归模型
y＝β0＋β1x1＋…＋βkxk＋u
检验这些变量中最后q个变量是否都具有零总体参数。
虚拟假设：H0：βk－q＋1＝0，…，βk＝0，它对模型施加了q个排除性约束。
对立假设：这些参数中至少有一个异于零。
LM统计量仅要求估计约束模型。于是，假定进行了如下回归
式中“～”表示估计值都来自约束模型。
表示约束模型的残差。如果被排除变量xk－q＋1到xk在总体中的系数都为零，那么应该与样本中这些变量中的每一个都不相关，至少近似无关。
进行对x1，x2，…，xk的辅助回归，辅助回归是用来计算一个检验统计量，但回归系数没有直接意义。
样本容量乘以辅助回归式的R2，渐近服从一个自由度为q的χ2随机变量的分布。LM统计量有时也被称为n－R2统计量。
（2）q个排除性约束的拉格朗日乘数统计量
①将Y对施加限制后的自变量集进行回归，并保留残差；
②将对所有自变量进行回归，并得到R2，记为
；
③计算
；
④将LM与
分布中适当的临界值c相比较，如果LM＞c，就拒绝虚拟假设。
（3）与F统计量比较
与F统计量不同，无约束模型中的自由度在进行LM检验时没有什么作用。所有起作用的因素只是被检验约束的个数（q）、辅助回归R2的大小（
）和样本容量（n）。无约束模型中的df不起什么作用，这是因为LM统计量的渐近性质。但必须确定将乘以样本容量以得到LM，如果n很大，看上去较低的值仍可能导致联合显著性。
三、OLS的渐近有效性
1．简单回归模型
y＝β0＋β1x1＋u
令g（x）为x的任意一个函数，那么u就与g（x）无关。对所有的观测i，令Zi＝g（xi）。假定g（x）和x相关，那么估计量
就是对β1的一致估计。将y＝β0＋β1x1＋u 代入，并把写成
在分子和分母中应用大数定律，由于在假定MLR.4下Cov（z，u）＝0，所以有：
2．含有k个回归元的情形
将OLS的一阶条件推广，可以得到一类一致估计量：
其中，gj（xi）表示第i次观测的所有自变量的任意函数。当g0（xi）＝1且对j＝1，2，…，k，gj（xi）＝xij时，得到OLS估计量。由于可以使用xij的任意函数，所以估计量具有无限多的种类。
3．定理5.3：OLS的渐近有效性
在高斯-马尔可夫假定下，令
表示从求解形如上式的方程所得到的估计量，而表示OLS估计量。那么，对j＝0，1，2，…，k，OLS估计量具有最小的渐近方差：
