对于一个数据集合(x0,y0),(x1,y1),⋯,(xm,ym),我们预测它在x点时对应的y值时,如果采用的是传统的
线性回归模型,那么:
-
Fit θ to mininize ∑i(y(i)−θTx(i))2
-
Output θTx
但是对于
局部加权线性回归(Locally Weighted Linear Regression)来说,在一定程度上可以避免上述问题,但是会付出一些计算量的代价。
局部加权线性回归(Locally Weighted Linear Regression)的过程是这样的:
-
Fit θ to mininize ∑iw(i)(y(i)−θTx(i))2
-
Output θTx
其中w(i)是一个非负的权值,这个权值是用来控制每一个训练实例对于模型的贡献,假设要预测的点是x,则w(i)可以定义为:
w(i)=e−(x(i)−x)22τ2(1)