如何大量数据频繁写入Hadoop

如何大量数据频繁写入Hadoop

hadoop一般对频繁写不怎么支持，如果你要及时错了还是用其他东东比较好，不过你可将数据全部写的一个文件上，定时上传。

hadoop本身是分布式框架，如果在hadoop框架下，需要配合hbase，hive等工具来进行大数据计算。如果具体深入还要了解hdfs，map/reduce，任务机制等等。如果要分析还要考虑其他分析展现工具。 大数据还有分析才有价值 用于分析大数据的工具主要有开源与商用两个生态圈。开源大数据生态圈：1、hadoop hdfs、hadoopmapreduce, hbase、hive 渐次诞生，早期hadoop生态圈逐步形成。2、. hypertable是另类。它存在于hadoop生态圈之外，但也曾经有一些用户。3、nosql，membase、mongodb商用大数据生态圈：1、一体机数据库/数据仓库：ibm puredata(netezza), oracleexadata, sap hana等等。2、数据仓库：teradataasterdata, emc greenplum, hpvertica 等等。3、数据集市：qlikview、 tableau 、 以及国内的yonghong data mart 。