{"content":"

局部加权回归算法

为了解释这是它是如何工作的，我们以线性回归模型和普通最小二乘法来开始。

给定一个数据集X，y，我们尝试着去找到一个现行模型h(x)去将残差平方和最小化，这个解决方案是由正规方程得到的。

线性模型只能拟合一条直线，但是多项式特征可以给它赋予更多强大的模型。接下来，我们首先要先确定和解决好这个特征的类型和数量问题。

局部加权回归里有个交替方法。我们来看看。

给定一个数据集X，y，我们试图找到一个模型h(X)来最小化加权平方误差的残差和。权值由一个可以任意选择的核函数给出，在我的例子中，我选择了一个高斯核。这个解决方法与正规方程非常相似，只需插入对角权矩阵W。

这个特别的设置有什么有趣之处呢？通过调整元参数τ，你可以得到一个非线性模型，它与任何程度的多项式回归一样强。

如果你真的感兴趣的话，可以去吴家富的机器学习课程里找到关于内核到底做了些什么的完美解释。

这一次，笔记里还包含了互动的部分（详见原网址），你可以调整元参数τ，并实时观察其对模型的影响，祝开心！

算法实现

测试

","codes":[null,null,null,{"_id":"agylk","code":"def local_regression(x0, X, Y, tau):\r\n # add bias term\r\n x0 = np.r_[1, x0]\r\n X = np.c_[np.ones(len(X)), X]\r\n \r\n # fit model: normal equations with kernel\r\n xw = X.T * radial_kernel(x0, X, tau)\r\n beta = np.linalg.pinv(xw @ X) @ xw @ Y\r\n \r\n # predict value\r\n return x0 @ beta\r\ndef radial_kernel(x0, X, tau):\r\n return np.exp(np.sum((X - x0) ** 2, axis=1) / (-2 * tau * tau))","options":{}},{"_id":"qaiix","code":"n = 1000\r\n# generate dataset\r\nX = np.linspace(-3, 3, num=n)\r\nY = np.log(np.abs(X ** 2 - 1) + .5)\r\n# jitter X\r\nX += np.random.normal(scale=.1, size=n)\r\n\r\ndef plot_lwr(tau):\r\n # prediction\r\n domain = np.linspace(-3, 3, num=300)\r\n prediction = [local_regression(x0, X, Y, tau) for x0 in domain]\r\n plot = figure(plot_width=400, plot_height=400)\r\n plot.title.text = 'tau=%g' % tau\r\n plot.scatter(X, Y, alpha=.3)\r\n plot.line(domain, prediction, line_width=2, color='red')\r\n \r\n return plot\r\nshow(gridplot([\r\n [plot_lwr(10.), plot_lwr(1.)],\r\n [plot_lwr(0.1), plot_lwr(0.01)]\r\n]))","options":{}}]}

Day 97：局部加权回归算法

局部加权回归算法

算法实现

测试