在数据挖掘中的建模主要需要做哪些工作，他的作用是什么？

Question

有个问题请教一下，我一直没弄明白，数据挖掘中的建模，他的作用到底是什么？在我的理解中数据挖掘就是一个，从数据中发现规律和知识的一个过程，然后将其结果展现给决策者的过程，那我们在做数据分析的过程中就应该已经将这些东西发现，并输出成实体了，难道我们分析的过程中不是全量数据吗？还只是一部分抽样数据？我们对这些抽样数据分析，在进行建模，去分析全量数据？可能是我还理解的不够深入，希望老师帮忙解答。谢谢！

Answer 1

挖掘第一步肯定是进行商业问题定位 也就是确定我们要解决什么问题，然后再去建立挖掘模型，这个过程其实就是选择合适的算法去解决我们的问题。建模时的数据是全量的（不考虑噪声数据），但是这些数据并不全部用来分析，可能还要留一部分数据验证，以预测型模型为例：我们从已知数据中抽烟一部分进行分析，建立模型，好了之后我们自然要验证模型的准确度，这个验证就是用另一部分数据追问

那我是不是可以这样理解，我得到全量数据后，将数据分成两份或多份，一份用来做分析，另外的用来验证我的分析是否正确？

追答

有些时候是这样的，有些时候分析和验证是交叉的
比如我数据量比较少，分一部分出来验证共分析的数据就太少了，准确度会很低
这个时候我可以将数据分成n组，留一组验证 其他都去分析，n次循环后得到n个模型 取平均

方法很多 也很灵活 视情况而定

追问

非常感谢你的解答，那个这模型，是我们写的代码，还是代码跑完后，分析出来的结果了？

追答

你的算法实现就是模型 也可以说是代码吧 但是严格来说建模是个过程 代码只能说是模型的的体现或实现 属于模型的一部分

Answer 2

挖掘第一步肯定是进行商业问题定位。也就是确要解决什么问题,然后再去建立挖掘。

模型,这个过程其实就是选择合适的算法去解决我们的问题。建模时的数据是全量的(不考虑噪声数据),但是这些数据并不全部用来分析,可能还要留一部分数据验证,以预测型模型为例,从已知数据中抽取一部分进行分析,建立模型,好了之后自然要验证模型的准确度,这个验证就是用另一部分数据。

关于数据挖掘的相关学习，推荐CDA数据师的相关课程，课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。课程主要培养学员硬性的数据挖掘理论与Python数据挖掘算法技能的同时，还兼顾培养学员软性数据治理思维、商业策略优化思维、挖掘经营思维、算法思维、预测分析思维，全方位提升学员的数据洞察力。点击预约免费试听课。

Answer 3

挖掘第一步肯定是进行商业问题定位
也就是确要解决什么问题，然后再去建立挖掘模型，这个过程其实就是选择合适的算法去解决我们的问题。
建模时的数据是全量的（不考虑噪声数据），但是这些数据并不全部用来分析，可能还要留一部分数据验证，以预测型模型为例，从已知数据中抽烟一部分进行分析，建立模型，好了之后自然要验证模型的准确度，这个验证就是用另一部分数据。