wget --spider命令使用方法是什么？

wget --spider命令使用方法是什么？

wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

wget命令加spider参数不会下载任何东西，spider的主要作用是测试下载链接。
当你打算进行定时下载，你应该在预定时间测试下载链接是否有效。我们可以增加--spider参数进行检查。 wget --spider URL

如果下载链接正确，将会显示:
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

这保证了下载能在预定的时间进行，但当你给错了一个链接，将会显示如下错误:
wget --spider url
Spider mode enabled. Check if remote file exists.
HTTP request sent, awaiting response... 404 Not Found
Remote file does not exist -- broken link!!!

你可以在以下几种情况下使用--spider参数：
定时下载之前进行检查
间隔检测网站是否可用
检查网站页面的死链接
增加重试次数

wget_log=$(wget url -nv --spider 2>&1)是把wget的所有标准输出和标准错误输出到wget_log（2>&1的意思是将标准出错重定向到标准输出，和标准输出一起返回）