为什么 scrapy crawl myspider -o data.csv生成的CSV文件中数据是隔行输入的
答案:2 悬赏:0 手机版
解决时间 2021-03-17 14:35
- 提问者网友：沉默菋噵
- 2021-03-17 06:33
为什么 scrapy crawl myspider -o data.csv生成的CSV文件中数据是隔行输入的
最佳答案
- 五星知识达人网友：低血压的长颈鹿
- 2021-03-17 07:39
#在pipelines.py这个文件复写这个方法就可以了。(注意缩进)
class mySpiderPipeline(object):
def open_spider(self, spider):
self.f = open('mySpider.csv', 'w',encoding='utf-8',newline='', errors='ignore')
def process_item(self, item, spider):
self.f.write(str(item['email']) +'\n')
self.f.flush()
return item
# 关闭爬虫时，调用一次
def close_spider(self, spider):
self.f.close()
class mySpiderPipeline(object):
def open_spider(self, spider):
self.f = open('mySpider.csv', 'w',encoding='utf-8',newline='', errors='ignore')
def process_item(self, item, spider):
self.f.write(str(item['email']) +'\n')
self.f.flush()
return item
# 关闭爬虫时，调用一次
def close_spider(self, spider):
self.f.close()
全部回答
- 1楼网友：蕴藏春秋
- 2021-03-17 08:03
py:10: ScrapyDeprecationWarning: Module `scrapy.contrib.spiders` is...
答：都提示你了 scrapy.contrib.spiders已经过时了，请用scrapy.spiders替代 from scrapy.contrib.spiders import CrawlSpider 换成 from scrapy.spiders import CrawlSpider
我要举报
如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！
大家都在看
推荐资讯