搜索引擎蜘蛛爬行是什么_请问搜索引擎蜘蛛爬行程序的来源

搜索引擎蜘蛛爬行是什么_请问搜索引擎蜘蛛爬行程序的来源

搜索引擎蜘蛛是一个程序，这个程序是为把互联网上的网页读取后放入搜索引擎缓存数据库中而设计的。所指的爬行，就是搜索引擎蜘蛛程序按网址进行取回网页内容的过程，因搜索引擎机器人称蜘蛛程序，所以有人将这一过程称做爬行（蜘蛛行动是沿网爬行的）。只要提供一个网址给此程序，他就会自动提取回该网址对应的网页，并且可以沿此网页上的链接网址，进一步的提取其它的对应的网页。
对于此程序的来源，以下是摘自百度百科的内容，或许能解释你的疑问：
现代意义上的搜索引擎的祖先，是1990年由蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，而且由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage想到了开发一个可以以文件名查找文件的系统，于是便有了Archie。 　　Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。由于Archie深受用户欢迎，受其启发，美国内华达System Computing Services大学于1993年开发了另一个与之非常相似的搜索工具，不过此时的搜索工具除了索引文件外，已能检索网页。 　　当时，“机器人”一词在编程者中十分流行。电脑“机器人”（Computer Robot）是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的“机器人”程序象蜘蛛一样在网络间爬来爬去，因此，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。

请问搜索引擎的蜘蛛是什么？请详解搜索引擎工作原理 蜘蛛是如何来到我的网页的呢？蜘蛛它并不认识你网页的美观度，他的路线就是靠链接而来的！比如你在