Hadoop是什么？能不能给点具体的解释？怎么用？

Hadoop是什么？能不能给点具体的解释？怎么用？

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

hadoop是apache的子项目，不过它下面又有很多子项目，简单的说就是用大量的廉价机器组成的集群去执行大规模运算，主要是海量数据的处理。 常用的就是hdfs（分布式存储）、MapReduce（分布式计算）、HBase（Nosql数据库） hdfs：分块存储文件（默认是64M），并且每个块默认有3个备份。 MapReduce：简单来说就是分治的思想，对不同的数据块执行各自的map输出key-value，再在reduce阶段将结果做合并（中间会有sort,partition,merge等阶段） hadoop目前在各互联网公司的应用非常广泛

由于datanode比较多，且各个datanode之间的namespace id一般不会错， 所以一般来说，是修改namonode上面的namespace id。 先查看某个datanode下面的namenode id 信息，比如我的默认fs路径是 /hadoop，那么就到datanode下面/hadoop/dfs/data/current/下面查看version文件，内容如下： #tue jul 31 17:31:22 jst 2012 namespaceid=590008784 storageid=ds-230267979-192.168.3.209-50010-1342056014871 ctime=0 然后查看namenode下面的/hadoop/dfs/name/current/version文件，格式如下： #fri aug 03 15:36:51 jst 2012 namespaceid=590008784 ctime=0 storagetype=name_node layoutversion=-18 如果两者namespaceid值不一样的话，修改namenode中的namespaceid值为datanode中的 namespaceid值，保持一致即可。然后重新启动集群。

由于datanode比较多，且各个datanode之间的namespace id一般不会错， 所以一般来说，是修改namonode上面的namespace id。 先查看某个datanode下面的namenode id 信息，比如我的默认fs路径是 /hadoop，那么就到datanode下面/hadoop/dfs/data/current/下面查看version文件，内容如下： #tue jul 31 17:31:22 jst 2012 namespaceid=590008784 storageid=ds-230267979-192.168.3.209-50010-1342056014871 ctime=0 然后查看namenode下面的/hadoop/dfs/name/current/version文件，格式如下： #fri aug 03 15:36:51 jst 2012 namespaceid=590008784 ctime=0 storagetype=name_node layoutversion=-18 如果两者namespaceid值不一样的话，修改namenode中的namespaceid值为datanode中的 namespaceid值，保持一致即可。然后重新启动集群。