如何用最小二乘法计算回归方程？

Question

如题所述

Answer 1

最小二乘法详细计算步骤如下：

材料：计算器，n个实验数据，坐标纸，铅笔，橡皮。

1、先把n个数据测量值画在坐标纸上，如果呈现一种直线趋势，才可以进行最小二乘法（直线回归法）。

2、然后就是计算这些n个数据点的横坐标和纵坐标的各自平均值，利用如下计算公式：

3、接着计算所有点的横坐标求和结果，以及所有点的纵坐标求和结果，如下图所示：

4、然后是计算每个数据点横坐标的平方，然后求和，以及计算每个点横坐标乘以纵坐标的乘积，然后求和，如下图所示：

5、最后就是利用两个公式，把将要求的直线方程中的截距a和斜率b这两个参数代入上面的公式计算出来，如下图所示：

6、求出了a和b这两个参数之后，就可以得到直线方程：y=ax+b。这个时候还要利用这个方程，先取两个点，这两个点要求横坐标x1和x2距离比较远，这样误差会比较小（太近的两个点，误差比较大），然后分别代入刚求出来的直线方程y=ax+b，求出对应的y1和y2，然后把（x1，y1）和（x2，y2）描点在坐标纸上，这样就可以利用两点画出一条最终的回归直线了。

最小二乘法

最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式，这就涉及到最小二乘估计式或估计量的最小方差（或最佳）性、线性及无偏性。