有哪些网站是屏蔽百度抓取的???

有哪些网站是屏蔽百度抓取的???

方法很简单：在你网站下设置一个robots.txt，然后在这个文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。追问：
目前来说 还有别的网站是百度抓取不到的么?回答：
搜狐博客、51.com承认屏蔽百度，校内网、海内网等SNS网站也表示屏蔽了百度。 时下比较活跃的SNS网站也都在屏蔽或即将屏蔽搜索引擎的抓取。

淘宝、新浪博客是屏蔽百度抓取的。方法很简单：在你网站下设置一个robots.txt，然后在这个文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。