你的直觉是对的，数学不好的确是思维习惯不好造成的，唯一不足的是误用了智商这个词，其实用“思考能力的高低”可能更好些。
在智商这个词上，经常有人会把因果颠倒
常常看到有人评价别人能力差是因为他的智商低，这完全拧巴了。
盲人摸象的寓言我们都学过，其实智商就是摸象的瞎子之一，不过摸得是“人类思考能力”这只大象。要知道人类思考的原理可远比大象的外形复杂多了，但很多人还会犯“摸到象腿就说大象像柱子”这样的错误，“智商”就是最常见的误用。
智商只是一个局部测量量，测智商就像测体温，在不同的位置测，结果是不同的。它只能反应局部的、表面的状态，尽管可以作为系统整体性能的参考，却不能说系统整体都是这样的，更不能说这就是系统效率高低的原因。
还是用体温来做类比，疾病和体温是因与果的关系，人体受到病菌入侵使免疫系统激活，促使体温上升，才使测体温时的温度偏高，所以体温高不是患病的原因，是表面症状！
同样，不同人的思维习惯有好有坏，好的思维习惯会提高正确率和反应速度，在测智商时分数会偏高，所以思维习惯好才是根本原因，智商高只是表面的结果。
总之，智商是结果、是症状，而不是思考能力高低的原因，不要颠倒因果。
为什么物理很好，但数学却不理想？
因为你还不具备好的数学思维习惯，数学比物理要抽象一些，需要进行更多的数学思维训练才能掌握。
物理比数学好学一点，是因为物理是具体的，所有的物理定律都有现实中的物理现象来对应，只要你注意观察和实验，就可以理解物理规律。很多人在思考物理问题时，借助于头脑想象和推演就可以得出结果，不需要用笔来算。
但是数学要难一些，因为对大多数人来说数学是极为抽象的，在他们眼里，数学是数、是公式、是一大堆难记的定理。在思考数学问题时，必须依赖于纸笔去演算和推理结果，数学规律也是要靠反复做题的题海战术来熟悉，无法做到凭大脑的想象就能直观的“看到”结果。
题海法的优点是简单易行，教学上人人可做，但缺点是思维效率极低，高昂的学习成本和思维成本，毁掉了无数人对数学的兴趣和自信！以至于很多人怀疑起了自己的智商。
要想提高数学的思维效率，最关键的是用正确的数学思维习惯来降低思考的成本，最终做到不借助纸笔演算就能思考数学问题！