为什么Hadoop集群中机器台数多反而执行速度慢

为什么Hadoop集群中机器台数多反而执行速度慢

里假设集群中有slave1，slave2，slave3三个节点，其中slave3工作效率低。

一共有6个任务，需要去做，slave1和slave2执行一个任务是1分钟，slave3执行一个任务是2分钟。有一个前提是每个slave完成自身的任务才回去推测执行。

如果让slave1和slave2去做，则需要3分钟，分析如下：

slave1 slave2

3 3

3*1 3*1

并行执行总时间就是单个slave的执行时间3；

那么三台同时去做需要4分钟。

slave1 slave2 slave3

2 2 2

这里slave1和slave2都完成了自身的任务，已经花费了2分钟，剩下最后一个任务考虑到数据的本地性也分给了slave3，slave3执行时间超过一分钟时，jobtracker会觉得slave3可能没有能力完成分配给他的任务，假设在slave1上推测执行，结果slave3结束了，就将运行在slave1上的推测执行任务kill掉，最后执行时间是4秒。

因为在推测执行的时候会两个推测执行的任务会同时完成。

一般都是内存问题： 1、内存容量不足，应用程序抢占内存空间会导致死机。可腾讯电脑管家卸载不要的软件 2、应用程序内存空间分配错误会导致死机。 3、内存质量不佳，应用程序写入内存的数据无法读取会导致死机。 4、多个应用程序在内存地址分配时发生冲突也会导致死机。 5、系统感染了毒，病毒大量在内存中复制导致应用程序可用内存不足从而产生应用程序内存分配冲突而导致死机用腾讯电脑管家彻底查杀病毒。