相关系数和回归系数符号相反正常吗？

Question

如题所述

Answer 1

正常。

相关系数和回归系数符号相反正常。回归方程中自变量的回归系数代表的是在控制或者说消除了方程中其他自变量的效应后，该自变量与因变量的关联，而一般的相关只单纯考查两个变量的关联，不会控制其他变量，所以二者的结果是有差别的。

相关系数和回归系数的联系和区别：

1、首先，相关系数与回归系数的方向，即符号相同。回归系数与相关系数的正负号都有两变量离均差积之和的符号业决定，所以同一资料的b与其r的符号相同。回归系数有单位，形式为（应变量单位/自变量单位）相关系数没有单位。相关系数的范围在-1～+1之间，而回归系数没有这种限制

2、在回归中，应变量即Y是随x的改变而改变，而相关则是xy相互独立，可以做x与y的相关和y与x的相关是一致的，回归就不能这样做。相关表示两变量间的相互关系，是双方向的。而回归则表示Y随X而变化，这种关系是单方向的。医学资料中的有些资料用相关表示较适宜，比如兄弟与姐妹间的身长关系、人的身长与前臂长之间的关系等资料。另有些资料用相关和回归都适宜，此时须视研究需要而定。就一般计算程序来说，是先求出相关系数r并对其进行假设检验，如果r显著并有进行回归分析之必要，再建立回归方程。

3、一般来说，相关和回归的假设检验的结果是一致的。

回归系数是指在回归方程中表示自变量x对因变量y影响大小的参数。回归系数越大表示x对y影响越大，正回归系数表示y随x增大而增大，负回归系数表示y随x增大而减小。回归方程式^Y=bX+a中之斜率b,称为回归系数，表X每变动一单位，平均而言，Y将变动b单位。

回归系数反映了自变量与因变量的关联程度，标准化的回归系数等价于相关系数。某种意义上是可以把回归系数理解为一种相关。

相关系数是用自变量预测因变量的回归系数与用因变量预测自变量的回归系数的几何平均值。

Answer 2

正常
pearson相关分析的作用就是单纯考量变量两两之间的关系，虽然你可以在分析时一次放入多个变量，但出来的结果都是两个变量的简单的相关，也就是求两变量相关时不考虑其他的控制变量。
然而回归不同，回归的结果是综合所有进入回归方程的自变量，去研究他们对因变量的影响，，也就是说，在回归当中你所看到的相关，是在控制了其他进入回归方程的变量之后的。
因此，普通相关与回归之中的回归系数会有比较大的差别。
相关和回归没有百分之百的对应关系。相关只是分析两两分析项之间的关系，并不是因果，尤其在多元线性回归时，分析人员在分析前，先进行相关分析初探数据之间的关系，也可以说它是“先单后多”中的“单因素方差分析”，回归是多因素分析。而回归是控制了其它变量的偏相关，所以与两两相关不同。所以出现这样的结果是正常的。
出现多重共线性
由于多元回归分析中，会同时将多个X（解释变量）加入到模型中，这时候就很容易产生一个问题就是，多个X之间本身就存在很强的相关关系，即X之间有着比较强的替代性。如果各个自变量x之间有很强的线性关系，就无法固定其他变量了，因此出现共线性问题，可能导致回归系数的符号与实际情况完全相反，本应该显著的自变量不显著，本不显著的自变量却呈现出显著性。
解决方法
针对共线性问题的解决方案上，可以观察出现共线性的变量，如不具有实际意义，可手动剔除不重要的解释变量；或者利用因子分析合并变量；或考虑使用逐步回归进行分析，直接移除出共线性的自变量X；当变量数不够，不能选择剔除变量时，可以考虑增大样本容量，尽量使样本容量远大于自变量个数；如共线性变量比较重要，不可剔除时可以考虑使用岭回归。
1. 逐步回归法
让系统自动进行自变量的选择剔除，使用逐步回归将共线性的自变量自动剔除出去。此种解决办法有个问题是，可能算法会剔除掉本不想剔除的自变量，如果有此类情况产生，此时最好是使用岭回归进行分析。
2. 岭回归
如果实际研究中并不想剔除掉某些自变量，某些自变量很重要，不能剔除。此时可能只有岭回归最为适合了。岭回归是当前解决共线性问题最有效的解释办法。改良最小二乘法，L2正则化。
3. 手动移除出共线性的变量
可以做一个共线性诊断，在SPSSAU的进阶方法里，先做下相关分析，如果发现某两个自变量X（解释变量）的相关系数值大于0.7，则移除掉一个自变量（解释变量），然后再做回归分析。此方法是最直接的方法，但有的时候我们不希望把某个自变量从模型中剔除，这样就要考虑使用其他方法。
4.主成分分析
对数据进行降维后，得到成分得分去表示"各主成分"，使用成分得分进行后续分析如回归分析。
5.lasso回归
改良最小二乘法，L1正则化。具体案例可以参考：
6.增加样本容量
增加样本容量是解释共线性问题的一种办法，但在实际操作中可能并不太适合，原因是样本量的收集需要成本时间等。