如何配置hive，使hive能使用spark引擎

如何配置hive，使hive能使用spark引擎

使用Scala写一个测试代码： object Test { def main(args: Array[String]): Unit = { println("hello world") } } 就把这个Test视为类，项目组织结构如： 然后设置编译选项： 然后在项目文件夹下面可以找到编译好的Jar包： 复制到Spark指定的目...

1、为了让spark能够连接到hive的原有数据仓库，我们需要将hive中的hive-site.xml文件拷贝到spark的conf目录下，这样就可以通过这个配置文件找到hive的元数据以及数据存放。 在这里由于我的spark是自动安装和部署的，因此需要知道cdh将hive-site.xml放在哪里。经过摸索。该文件默认所在的路径是：/etc/hive/conf 下。 同理，spark的conf也是在/etc/spark/conf。 此时，如上所述，将对应的hive-site.xml拷贝到spark/conf目录下即可 如果hive的元数据存放在mysql中，我们还需要准备好mysql相关驱动，比如：mysql-connector-java-5.1.22-bin.jar。