各位python达人，怎样写一个爬取网站目录的
答案:2 悬赏:0 手机版
解决时间 2021-03-01 12:05
- 提问者网友：浮克旳回音
- 2021-02-28 14:27
各位python达人，怎样写一个爬取网站目录的
最佳答案
- 五星知识达人网友：执傲
- 2021-02-28 15:00
如果你要的数据量很小的话，python2自带的urllib2写爬虫就可以，如果你要的数据量比较大，就需要专门的爬虫框架scrapy了。
一个爬虫，你首先要分析你要爬取的网页的页面结构，也就是你需要知道在DOM树种你要的元素在哪，然后用能操作DOM的包，比如beautifulsoup或者xpath等，解析DOM，获取你想要的值，然后保存起来
一个爬虫，你首先要分析你要爬取的网页的页面结构，也就是你需要知道在DOM树种你要的元素在哪，然后用能操作DOM的包，比如beautifulsoup或者xpath等，解析DOM，获取你想要的值，然后保存起来
全部回答
- 1楼网友：鸠书
- 2021-02-28 16:34
不明白啊 = =！
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯