永发信息网

我想屏蔽我以前网站的一些旧的链接,robot.txt如何改写?

答案:3  悬赏:50  手机版
解决时间 2021-03-19 19:59
我想屏蔽我以前网站的一些旧的链接,如/fanli/下的所有文件,/list开头的所有文件,/aixintao- 开头的文件,请指教,多谢了
最佳答案
User-agent: *
Disallow: //fanli/
Disallow:/list
Disallow: /aixintao-

这样写就行了
全部回答
如果是谷歌的话,反应很快的;如果是百度,就算你加上也有可能收录,而且去掉速度也很慢,我的情侣seo博客就是很好的例子。 ?要拦截整个网站,请使用正斜线。 Disallow: /?要拦截某一目录以及其中的所有内容,请在目录名后添加正斜线。 Disallow: /无用目录/ ?要拦截某个网页,请列出该网页。 Disallow: /私人文件.html?要从 Google 图片中删除特定图片,请添加以下内容: User-agent: Googlebot-Image Disallow: /images/狗.jpg ?要从 Goo le 图片中 除您网站上的所有图片,请执行以下指令: User-agent: Googlebot-Image Disallow: / ?要拦截某一特定文件类型的文件(例如 .gif),请使用以下内容: User-agent: Googlebot Disallow: ?要拦截对所有包含问号 (?) 的网址的访问(具体地说,这种网址以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串),请使用以下内容: User-agent: Googlebot Disallow: /*??要指定与某个网址的结尾字符相匹配,请使用 $。例如,要拦截以 .xls 结尾的所有网址,请使用以下内容: User-agent: Googlebot Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 代表一个会话 ID,那么您可能希望排除包含 ? 的所有网址,以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下,您可以对您的 robots.txt 文件进行如下设置: User-agent: * Allow: /*?$ Disallow: /*?Disallow: /*? 指令会阻止包含 ? 的所有网址(具体地说,它将拦截所有以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串的网址)。 Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说,它将允许所有以您的域名开头、后接任意字符串,然后接 ?,? 之后不接任何字符的网址)。 很不错哦
Disallow: /fanli/
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息,可以点下面链接进行举报!
大家都在看
我的世界0.9.1有狼的种子
邻频调制器 的输出电平多少合适
兰清阁地址在哪,我要去那里办事
什么是临时户什么是一般户交社保
请问,请问头皮屑突然增加,是什么原因,
有没有一直可以戴着的老光眼镜
什么样的游泳姿势最减肥
永济汽车运输有限公司怎么去啊,有知道地址的
谁有《泪的告白》里的背景音乐韩文的拼音
1.6自动新速腾,启动后,各项指示灯启动不熄
我的左手手指做了手术。现在天气冷了。整个左
为什么我信用卡审批通过了,制卡到现在已经超
吉神守日是什么意思
洁瑞生物技术公司地址在哪,我要去那里办事
有没有办法可以让苹果5S机型A1528用 移动4G卡
推荐资讯
苏州市美利达工艺服装厂这个地址在什么地方,
福建恒盛建筑公司在哪里啊,我有事要去这个地
苦瓜败火是什么意思
去年人家能做房,我为什么不能做,同一年做,
武汉到荆门的快递最短要几个小时
好吃的清炒地皮菇怎么做好吃又简单,做法
人品好是指什么
北京有哪些好吃的特产
第二代社保卡的余额会自动转到第三代吗?
交易密码是不是资金密码,为什么更改了交易密
润滑油快递可不可以寄 润滑油可以快递吗
大洑溪这个地址在什么地方,我要处理点事
正方形一边上任一点到这个正方形两条对角线的
阴历怎么看 ?