怎么写代码让百度蜘蛛无法抓取网站所有内容
答案:2 悬赏:0 手机版
解决时间 2021-02-06 05:45
- 提问者网友：沦陷
- 2021-02-06 00:09
怎么写代码让百度蜘蛛无法抓取网站所有内容
最佳答案
- 五星知识达人网友：蕴藏春秋
- 2021-02-06 01:15
写robots.txt文件,用记事本做一个robots.txt
下面是内容
User-agent: *
Disallow: /
以上可以直接复制，表示：所有搜索引擎，禁止抓取本站任何内容
风险：使用屏蔽后，就算删除该文件，网站也会长时间不收录，至少半年
做完robots.txt用FTP上传到网站服务器的根目录
本文由【九九数码】建站资料库提供
下面是内容
User-agent: *
Disallow: /
以上可以直接复制，表示：所有搜索引擎，禁止抓取本站任何内容
风险：使用屏蔽后，就算删除该文件，网站也会长时间不收录，至少半年
做完robots.txt用FTP上传到网站服务器的根目录
本文由【九九数码】建站资料库提供
全部回答
- 1楼网友：山河有幸埋战骨
- 2021-02-06 02:12
1、网站权重高，可以带动网站内每个页面的收录速度
2、页面的链接入口多，由于还页面外部链接入口多，搜索引擎蜘蛛可以多入口来访网站
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯