怎么启用spark-sql报错

怎么启用spark-sql报错

怎么启用spark-sql报错
/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2

注：/data/spark-1.4.0-bin-cdh4/为spark的安装路径

/data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看启动选项

1）过去整个业界对大数据的分析的技术栈的pipeline一般分为以下两种方式： a）data source -> hdfs -> mr/hive/spark（相当于etl）-> hdfs parquet -> spark sql/impala -> resultservice（可以放在db中，也有可能被通过jdbc/odbc来作为数据服务使用）； b）data source -> real timeupdate data to hbase/db -> export to parquet -> spark sql/impala -> resultservice（可以放在db中，也有可能被通过jdbc/odbc来作为数据服务使用）； 上述的第二种方式完全可以通过kafka+spark streaming+spark sql（内部也强烈建议采用parquet的方式来存储数据）的方式取代 2）期待的方式：datasource -> kafka -> spark streaming -> parq