2.2　局部加权线性回归

局部加权线性回归（Local Weighted Linear Regression，LWLR）算法介绍线性回归的一个问题是，可能出现欠拟合，因此它求得最小均方误差的无偏估计，可以通过引入一些偏差来降低均方误差。

1．算法介绍

LWLR算法给待预测点附近的每个点赋予一定的权重，在这段区间上用基于最小均方误差来进行线性回归，使分区间局部线性回归得到全局拟合。

加权函数为

式中，为用户指定的参数，值越小，被用于进行局部回归训练的点越少；=1时，退化为简单线性回归；过小时，最终会导致过拟合。

2．加权线性回归实现

前面介绍了LWLR的算法，下面直接通过一个实例来演示Python实现加权线性回归。

【例2-1】给定不同的k值，绘制对应的局部线性拟合图像。

运行程序，效果如图2-2~图2-4所示。

图2-2　k=1时的加权线性拟合效果

图2-3　k=0.003时的加权线性拟合效果

图2-4　k=0.01时的加权线性拟合效果