1、Scrapy_redis的基础概念
2、Scrapy_redis的流程
3、Scrapy_redis的使用
1、 Scrapy_redis的基础概念
scrapy_redis：基于redis的组件的爬虫
github地址：https://github.com/rmax/scrapy-redis
scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：request去重（不仅仅是爬过的网页不再爬取，保存的数据也会去重），爬虫持久化，和轻松实现分布式
2、Scrapy_redis的流程
原文：https://www.cnblogs.com/nuochengze/p/12945291.html