关于在robots里是否应该屏蔽404页面的问题！

关于在robots里是否应该屏蔽404页面的问题！请说明理由！

个人认为不屏蔽：1、如果网站的错误页面404很多，屏蔽了，可以减少搜索引擎分配给这些“”垃圾“”页面的权重。减少蜘蛛的不必要爬取，以及有的人认为蜘蛛迷路（鬼扯）。2、但是否这真的有必要？减少这些页面也即意味着减少了网站的流量，减少了一个给网站展示的机会。我们再来看看404页面的目的：告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。结合google的优化思想，第一条根本不用在乎，所以我的建议是，不屏蔽。

回复 丛林有情狼 的帖子首先非常感谢你的认真回复（得到一个认真的回复好难）。下面说下我的看法共同讨论下：1.如你所说自定义404页的主要目的有二：（1）告诉浏览者其所请求的页面不存在或链接错误。（这个其实主要指蜘蛛）（2）引导用户使用网站其他页面而不是关闭窗口离开。（这个其实主要指人）2.如果错误页面很多屏掉的好处有二：（1）减少蜘蛛的不必要爬取。（2）防止过多的404页面指向首页。（因为一般情况下自定义404页都会有首页的链接）3.屏掉404错误页与返回404状态没有关系。4.减少这些页面意味着减少风站流量（这个没能理解，是指404页面能给网站给来流量吗？）

回复 szyixin 的帖子我的意思是：屏掉了，蜘蛛是否还会识别出404状态！

回复 丛林有情狼 的帖子嗯！分析的非常好。现在我得出的结论是：屏不屏蔽无所谓，返回状态是问题。只要返回四零四，一切错误全OK。

回复 鱼小乞 的帖子1、减少蜘蛛的不必要爬取。减少蜘蛛给网站带来的不必要的负荷，以及SE收录分配的权重。个人认为，这个好处真的很难衡量或者效果有多大，这个对于SE来说，只是个技术问题而已，在SE发展的今天，其实SE已经处理得相当合理了。比如不会在你网站负荷较高时来大量抓取你，一般不会陷入死循环等等。2、防止过多的404页面指向首页。这个指向首页或者指向其他页面，都没有关系，要做好的是怎么处理好用户体验的问题。（如果你对于大量404指向首页有疑问，在另行讨论）3、404页面访问对用户来说，没有影响，但对SE有影响，值得注意SE的返回代码是200或者404，就这个点而已。4、SE返回404时候，知道这个url失效，然后会删除索引，得到200便会索引。所以说，处理好用户体验，在观察好se抓取代码后，一般就没有问题了。如果对于SE抓取返回代码不正确，可能会产生大量的复制页面。只要观察好了，一般没有问题的。个人见解，欢迎讨论分享。