如何有效地进行数据挖掘和分析

如何有效地进行数据挖掘和分析

经常听人提到数据分析，那么数据怎么去分析？简单来说，可能就是做一些数据做统计、可视化、文字结论等。但是相比来说，数据挖掘就相对来说比较低调一些，这是这种低调，反而意味着数据挖掘对研究人员的要求要更高一些。
数据分析人员需要理解业务的核心指标，通过数据分析工具（比如R/SAS/SQL，或者内部的数据平台）对业务数据进行建模和分析，为相关的业务指标提供基于数据的解决方案。所以，数据分析岗位要求具备扎实的统计学功底和对数据的敏感。数据挖掘人员需要研究数据，试验和选择合适的机器学习相关的算法模型对数据进行建模和分析，最后自己在实际系统中将算法模型进行高性能的工程实现。所以，数据挖掘岗位要求同时具备深厚的机器学习功底和扎实的编程能力。
数据分析与数据挖掘不是相互独立的。数据分析通常是直接从数据库取出已有信息，进行一些统计、可视化、文字结论等，最后可能生成一份研究报告性质的东西，以此来辅助决策。但很多情况下，这种分析往往不解渴。如果要分析这些已有信息背后隐藏的信息呢，而这些信息通过观察往往是看不到的，这时数据挖掘就冲在了数据分析的前面，作为分析之前要走的一个门槛。
除此之外，因为数据挖掘的输出往往含有的信息价值比较高，因此这些输出不仅仅应用在分析上，更多的是用在其他应用上，如网站后台、APP应用上，实实在在提供一些决策来丰富应用的功能。
数据挖掘不是简单的人为推测就可以的，它往往需要针对大量数据，进行大规模运算，才能得到一些统计学规律。但是前提是，必须针对某些具体的业务来。没有落实真正的场景和需求，没有落实需要的输入和输出，空谈数据挖掘，就是纯粹的耍流氓。举个简单的例子，房价预测，这里给出了一系列的点，我们要预测未来的一点。如果不知道业务，也就是相当我们不知道这些点的由来，那么完全可以理解为这些点可能是地球轨迹中的一部分，或者其他，这样的话，会做出不一样的结论。
其实在数据分析上，往往也需要研究人员了解业务。在数据分析与数据挖掘领域，要想做好，那就先去获取数据、学好业务，再说其他吧。

建议你看看《谁说菜鸟不会数据分析》这本书。

按需进行就行。