永发信息网

spark中需要引入hbase的什么架包

答案:1  悬赏:30  手机版
解决时间 2021-03-05 08:54
spark中需要引入hbase的什么架包
最佳答案
Configuration conf = HBaseConfiguration.create();
  String tableName = "testTable";
  Scan scan = new Scan();
  scan.setCaching(10000);
  scan.setCacheBlocks(false);
  conf.set(TableInputFormat.INPUT_TABLE, tableName);
  ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
  String ScanToString = Base64.encodeBytes(proto.toByteArray());
  conf.set(TableInputFormat.SCAN, ScanToString);
  JavaPairRDD myRDD = sc
  .newAPIHadoopRDD(conf, TableInputFormat.class,
  ImmutableBytesWritable.class, Result.class);
  在Spark使用如上Hadoop提供的标准接口读取HBase表数据(全表读),读取5亿左右数据,要20M+,而同样的数据保存在Hive中,读取却只需要1M以内,性能差别非常大。
  转载,仅供参考。
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
nvidia geforce gtx 745 8gb ddr4显卡怎么样
歌词有burn burn burn 然后是running from yo
天空是那么的蓝
华都快捷宾馆地址在哪,我要去那里办事
读某国城市化进程和人口自然增长率变化曲线图
求小说原文,题目好像叫《短信》《今晚吃什么
求古灵的 七阎罗&七修罗系列 全本 番外
想知道:东营市 从东营汽车总站到东营港经济开
艾美莱美发用品这个地址在什么地方,我要处理
【小样英文】[“小样”],用英文怎么说?比如,
《GTA5》PC版怎么开飞机
()接入是光纤接入的终极目标。
白杨洞地址有知道的么?有点事想过去
鹏诚电子世界怎么去啊,有知道地址的么
前几天花4800多给老公买了块瑞士天骏手表型号
推荐资讯
江苏省溧阳中学的益导学义家教活动什么意思
与有过一面之缘的男孩,微信聊天大概15天,期
四十岁男士适合戴Ferrata的商务手表吗?
利润率的确定应根据工程性质和工程类别,与企
如果24小时尿蛋白定量测得8614mg/24h,肾损伤
2016年8月北京三日亲子旅游景点
拳击和泰拳哪个更实用,哪个好
Only then can you belong to me floating,fa
税收一个亿要什么样的企业
汽车的涡轮增压系统寿命多久?
i i loveyou loveyou lovesomebaby,英文歌女
爱家饰品屋我想知道这个在什么地方
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?