最小角回归怎么解lasso回归

最小角回归怎么解lasso回归

Linear least squares，Lasso，ridge regression三者是有本质区别的。
一、最小二乘法（Linear least squares）。
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
二、套索工具（Lasso）算法。
套索工具源于Photoshop，在Photoshop CS6中，需要自由绘制出形状不规则的选区时，可以使用套索工具。选择使用套索工具后，在图像上拖拽鼠标指针绘制选区边界，松开鼠标左键时，选区将会进行自动闭合。
套索工具算法，通过构造一个惩罚函数获得一个精炼的模型；通过最终确定一些指标的系数为零，套索工具算法实现了指标集合精简的目的。这是一种处理具有复共线性数据的有偏估计。套索工具的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0的回归系数，得到解释力较强的模型。R统计的Lars算法的包提供了套索工具算法。根据模型改进的需要，数据挖掘工作者可以借助于套索工具算法，利用AIC准则和BIC准则精炼简化统计模型的变量集合，达到降维的目的。因此，套索工具算法是可以应用到数据挖掘中的实用算法。
三、岭回归算法（ridge regression）。
在回归分析中，用一种方法改进回归系数的最小二乘估计后所得的回归称为岭回归算法。
在多元回归方程中，用最小二乘估计求得的回归系数值尽管是其真值β=(β0,β1,···βp)1的无偏估计，但若将与β分别看成p+1维空间中两个点的话，它们之间的平均距离E(—β)1(-β)(称为均方差)仍可能很大，为减小此均方差，用(k)=(X′X+KI)-1X′Y去代替2，称(K)为β的岭回归估计。其中X为各变量的观测值所构成的一个n×(p+1)阶矩阵，Y是随机变量的观测值组成的n维向量，I为p+1阶单位阵，K是与未知参数有关的参数，选择它使E{[(K)-β]1[(K)-β]}达到最小。