【加权直线回归】的意思_什么是加权直线回归

局部加权线性回归

对于一个数据集合(x0,y0),(x1,y1),⋯,(xm,ym)，我们预测它在x点时对应的y值时，如果采用的是传统的 线性回归模型，那么：

Fit θ to mininize ∑i(y(i)−θTx(i))2
Output θTx

但是对于 局部加权线性回归(Locally Weighted Linear Regression)来说，在一定程度上可以避免上述问题，但是会付出一些计算量的代价。

局部加权线性回归(Locally Weighted Linear Regression)的过程是这样的:

Fit θ to mininize ∑iw(i)(y(i)−θTx(i))2
Output θTx

其中w(i)是一个非负的权值，这个权值是用来控制每一个训练实例对于模型的贡献，假设要预测的点是x，则w(i)可以定义为:

w(i)=e−(x(i)−x)22τ2(1)

从图像中我们可以看到，越是靠近预测点x，其函数值就越接近于1，越是远离预测点x，其函数值就越接近于0。将这个函数加入到原始的 线性回归模型中，就变成了 局部加权线性回归模型，其直观意义就是越是靠近预测点的实例点，它们对预测点的影响就应该越大，越是远离预测点的实例点，它们对预测点的影响就越小，也就是说 局部加权线性回归模型只关注于预测点附近的点( 这就是局部的含义)，而不考虑其他远离预测点的实例点。

参数学习和非参数学习

局部加权线性回归其实是一个 非参数学习算法(non-parametric learning algorithm)，而相对的的， 线性回归则是一个 参数学习算法(parametric learning algorithm)，因为它的参数是固定不变的，而 局部加权线性回归的参数是随着预测点的不同而不同。

由于每次预测时都只看预测点附近的实例点，因此每一次预测都要重新运行一遍算法，得出一个组参数值，因此其计算代价是比较高的。

参考资料

斯坦福《机器学习》公开课第三集及其配套讲义

加权直线回归百科内容来自于：

局部加权线性回归

权值的意义

参数学习和非参数学习

参考资料

修改单词

加权直线回归 百科内容来自于：

局部加权线性回归

权值的意义

参数学习和非参数学习

参考资料

修改单词

加权直线回归百科内容来自于：