robots.txt中具体英文代表什么意思？
答案:1 悬赏:70 手机版
解决时间 2021-03-09 04:20
- 提问者网友：浪荡绅士
- 2021-03-08 20:59
robots.txt中具体英文代表什么意思？
最佳答案
- 五星知识达人网友：不甚了了
- 2021-03-08 21:19
User-agent: * 针对所有搜索引擎 Disallow: /$ 禁止抓取以/结尾的 Disallow: /*/login 禁止抓取所有/login文件追问按照以下英文解析
User-agent: Baiduspider
Allow: /article
Allow: /oshtml
Allow: /ershou
Disallow: /product/
Disallow: /
User-agent: Baiduspider
Allow: /article
Allow: /oshtml
Allow: /ershou
Disallow: /product/
Disallow: /
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯