scrapy 基于管道持久化操作，分别存在本地和数据库

定义两个管道类，每个管道类中重写process_item(self, item, spider)

pipelines.py

# 这个类把数据保存进数据库
class save_to_db:
    def process_item(self, item, spider):
        # 要返回item给下一个类调用
        return item

# 这个类把数据保存到本地text文件
class save_to_text:
    def process_item(self, item, spider):
        return item

在管道中开启

ITEM_PIPELINES = {
   ‘learn_scrapy.pipelines.LearnScrapyPipeline‘: 300,
   ‘learn_scrapy.pipelines.save_to_db‘: 200,
   ‘learn_scrapy.pipelines.save_to_text‘: 300,
}

scrapy 基于管道持久化操作，分别存在本地和数据库

原文：https://www.cnblogs.com/bibicode/p/13385147.html