永发信息网

hive中创建外部分区表使用location是指定数据存放位置还是指数据来源

答案:5  悬赏:50  手机版
解决时间 2021-03-25 17:35
hive中创建外部分区表使用location是指定数据存放位置还是指数据来源
最佳答案
首先,Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据。其次,Hive 中所有的数据都存储在 HDFS 中,Hive 中包含以下数据模型:表(Table),外部表(External Table),分区(Partition),桶(Bucket)。
Hive 中的 Table 和数据库中的 Table 在概念上是类似的,每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如,一个表 pvs,它在 HDFS 中的路径为:/wh/pvs,其中,wh 是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录,所有的 Table 数据(不包括 External Table)都保存在这个目录中。
Partition 对应于数据库中的 Partition 列的密集索引,但是 Hive 中 Partition 的组织方式和数据库中的很不相同。在 Hive 中,表中的一个 Partition 对应于表下的一个目录,所有的 Partition 的数据都存储在对应的目录中。例如:pvs 表中包含 ds 和 city 两个 Partition,则对应于 ds = 20090801, ctry = US 的 HDFS 子目录为:/wh/pvs/ds=20090801/ctry=US;对应于 ds = 20090801, ctry = CA 的 HDFS 子目录为;/wh/pvs/ds=20090801/ctry=CA
Buckets 对指定列计算 hash,根据 hash 值切分数据,目的是为了并行,每一个 Bucket 对应一个文件。将 user 列分散至 32 个 bucket,首先对 user 列的值计算 hash,对应 hash 值为 0 的 HDFS 目录为:/wh/pvs/ds=20090801/ctry=US/part-00000;hash 值为 20 的 HDFS 目录为:/wh/pvs/ds=20090801/ctry=US/part-00020
全部回答
杖要得成概专区环
外部表的话,这个路径既是数据存放位置也是数据来源路径,因为外部表不会移动数据
当然是指定数据存放位置,如果没有指定,就会在hdfs的默认位置建立表文件
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
解梦,昨晚梦见已分手的女朋友
木质防火门上下是否留孔
微信支付可以网上支付购火车票吗?
谁最容易被骗 骗子想啥新招
华为BND_TL10多少价格
请教懂亲子鉴定的专家帮我看看这有问题么?为
"誉"字是什么意思?
入职一家公司要体检表,我把之前公司的体检表
告成初级中学李洪鸣
在仁寿买房,中铁·颐禾公馆的房子怎么样?
长13厘米,祖传下来的真的吗
绍兴黄酒哪里正宗?多少钱一斤
索尼18650电池最高做到多少容量,什么型号,
内墙腻子打磨完 用手搓往下掉粉子 能刷涂料吗
A股民上星期五买进某公司股票1000股,每股27元
推荐资讯
钢丝钓鱼线怎么用?
如何破解千年游戏里的物品密码
请问《中国符号》是一本怎样的书?
初音未来-流星歌词
一般下半学期都有什么假期?
我国北面临海城市哪些?
各位大师给看看这紫砂壶
车没撞到我,但是逼我撞到护栏,导致受伤!算
在绿巨人里 是不是诺顿 身材最好的时候
只有被告人供述,没有其他证据 可以定罪吗
手动挡汽1档,反向从车头推车,曲轴转动吗?
睡了一觉起来,手上浮肿怎么回事
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?