1、线性回归方法：通常因变量和一个（或者多个）自变量之间拟合出来是一条直线（回归线），通常可以用一个普遍的公式来表示：Y（因变量）=a*X（自变量）+b+c，其中b表示截距，a表示直线的斜率，c是误差项。如下图所示。
3、多项式回归方法：通常指自变量的指数存在超过1的项，这时候最佳拟合的结果不再是一条直线而是一条曲线。比如：抛物线拟合函数Y=a+b*X^2，如下图所示。
5、套索回归方法：通常也是用来二次修正回归系数的大小，能够减小参量变化程度以提高线性回归模型的精度。如下图是其惩罚函数，注意这里的惩罚函数用的是绝对值，而不是绝对值的平方。
