如何禁止scrapy默认的url去重机制
答案:2 悬赏:0 手机版
解决时间 2021-02-25 14:21
- 提问者网友：难遇难求
- 2021-02-24 23:31
如何禁止scrapy默认的url去重机制
最佳答案
- 五星知识达人网友：一秋
- 2021-02-25 00:09
边爬边去重，我记得书上有写，把采集过的url放到同一个地方，然后下次有相同就避过不采集。
全部回答
- 1楼网友：渡鹤影
- 2021-02-25 01:36
搜一下：如何禁止scrapy默认的url去重机制
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯