最小二乘法的基本思想是什么?

如题所述

∑(X--X平)(Y--Y平)=∑X^2--nX平^2(针对y=ax+b形式)a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2)b=y(平均)-a*x(平均)。

1、定义

最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误养的平方和为最小。最小二乘法还可用于曲线拟合。

2、原理

未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后得和为最小。

3、背景

在梯度下降时候需要用到最小二乘法,极大似然估计法和交叉熵法,用来比较两个模型的概率分布,而最小二乘法也是梯度下降更新中寻找数值解的优异方法,在统计学习中,需要通过偏差计算梯度。

最小二乘法的计算方法

1、先把n个数据测量值画在坐标纸上,如果呈现一种直线趋势,才可以进行最小二乘法(直线回归法)。

2、然后就是计算这些n个数据点的横坐标和纵坐标的各自平均值。

3、接着计算所有点的横坐标求和结果,以及所有点的纵坐标求和结果。

4、然后是计算每个数据点横坐标的平方,然后求和,以及计算每个点横坐标乘以纵坐标的乘积,然后求和。

5、 最后就是利用两个公式,把将要求的直线方程中的截距a和斜率b这两个参数代入上面的公式计算出来。

6、求出了a和b这两个参数之后,就可以得到直线方程:y=ax+b。这个时候还要利用这个方程,先取两个点,这两个点要求横坐标x1和x2距离比较远,这样误差会比较小(太近的两个点,误差比较大)。

然后分别代入刚求出来的直线方程y=ax+b,求出对应的y1和y2,然后把(x1,y1)和(x2,y2)描点在坐标纸上,这样就可以利用两点画出一条最终的回归直线了。

温馨提示:答案为网友推荐,仅供参考
相似回答