使用python爬虫时，遇到多页，需要翻页，下一页时怎么处理
答案:2 悬赏:20 手机版
解决时间 2021-12-23 23:25
- 提问者网友：你挡着我发光了
- 2021-12-23 01:07
使用python爬虫时，遇到多页，需要翻页，下一页时怎么处理
最佳答案
- 五星知识达人网友：醉吻情书
- 2021-12-23 01:30
例子如下：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意：使用yield时不要用return语句。
全部回答
- 1楼网友：七十二街
- 2021-12-23 02:16
首先要弄清楚你获取第一页方式是什么，post还是get，参数是什么，比如找到其中一个参数是page:1。那么就可以通过修改参数为page:2来爬取下一页了。
可能通过谷歌的“检查”来获取具体的请求头和请求参数等。
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯