网站中301定向能不能和robots.txt文件同时存在。

答案:2 悬赏:80 手机版

解决时间 2021-02-05 05:01

提问者网友：自食苦果
2021-02-04 23:33

我的网站已经做了定向跳转，我想加robots文件可以直接加吗

最佳答案

五星知识达人网友：往事埋风中
2021-02-05 00:48

当然可以，这两个如果说直白一点，木有什么联系，301定向页面永久性移走（301重定向）是一种非常重要的“自动转向”技术。网址重定向最为可行的一种办法。当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址。

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

全部回答

1楼网友：拾荒鲤
2021-02-05 01:49

user-agent: * 星号说明，允许所有的搜索引擎来收录，包括百度、google、yahoo等。 disallow: /search.html 说明不允许收录 /search.html 这个文件。 disallow: /index.php? 说明不允许收录以index.php?为前缀的链接如：index.php?122.html、index.php?=12、index.php?/baidu等等 disallow: /tempweb/ 说明不允许收录/tempweb/里的所有文件。但可以收录如：/tempwebtaim.html 的链接。

我要举报

如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！