我想屏蔽我以前网站的一些旧的链接,robot.txt如何改写?
答案:3 悬赏:50 手机版
解决时间 2021-03-19 19:59
- 提问者网友:锁深秋
- 2021-03-19 01:15
我想屏蔽我以前网站的一些旧的链接,如/fanli/下的所有文件,/list开头的所有文件,/aixintao- 开头的文件,请指教,多谢了
最佳答案
- 五星知识达人网友:七十二街
- 2021-03-19 01:22
User-agent: *
Disallow: //fanli/
Disallow:/list
Disallow: /aixintao-
这样写就行了
Disallow: //fanli/
Disallow:/list
Disallow: /aixintao-
这样写就行了
全部回答
- 1楼网友:平生事
- 2021-03-19 03:52
如果是谷歌的话,反应很快的;如果是百度,就算你加上也有可能收录,而且去掉速度也很慢,我的情侣seo博客就是很好的例子。 ?要拦截整个网站,请使用正斜线。 Disallow: /?要拦截某一目录以及其中的所有内容,请在目录名后添加正斜线。 Disallow: /无用目录/ ?要拦截某个网页,请列出该网页。 Disallow: /私人文件.html?要从 Google 图片中删除特定图片,请添加以下内容: User-agent: Googlebot-Image Disallow: /images/狗.jpg ?要从 Goo le 图片中 除您网站上的所有图片,请执行以下指令: User-agent: Googlebot-Image Disallow: / ?要拦截某一特定文件类型的文件(例如 .gif),请使用以下内容: User-agent: Googlebot Disallow: ?要拦截对所有包含问号 (?) 的网址的访问(具体地说,这种网址以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串),请使用以下内容: User-agent: Googlebot Disallow: /*??要指定与某个网址的结尾字符相匹配,请使用 $。例如,要拦截以 .xls 结尾的所有网址,请使用以下内容: User-agent: Googlebot Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 代表一个会话 ID,那么您可能希望排除包含 ? 的所有网址,以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下,您可以对您的 robots.txt 文件进行如下设置: User-agent: * Allow: /*?$ Disallow: /*?Disallow: /*? 指令会阻止包含 ? 的所有网址(具体地说,它将拦截所有以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串的网址)。 Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说,它将允许所有以您的域名开头、后接任意字符串,然后接 ?,? 之后不接任何字符的网址)。
很不错哦
- 2楼网友:廢物販賣機
- 2021-03-19 02:22
Disallow: /fanli/
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
推荐资讯