sparkcore spark sql 什么情况下使用

sparkcore spark sql 什么情况下使用

Spark Core就是一个通用的批处理计算引擎，用来开发离线的批处理作业，它与Hadoop的MapReduce的区别就是，spark core基于内存计算，在速度方面有优势，尤其是机器学习的迭代过程。
Spark SQL就是Spark生态系统中一个开源的数据仓库组件，可以认为是Hive在Spark的实现，用来存储历史数据，做OLAP、日志分析、数据挖掘、机器学习等等

支持shark和sparksql 。 但是，随着spark的发展，其中sparksql作为spark生态的一员继续发展，而不再受限于hive，只是兼容hive；而hive on spark是一个hive的发展计划，该计划将spark作为hive的底层引擎之一，也就是说，hive将不再受限于一个引擎，可以采用map- reduce、tez、spark等引擎。