首页 > 其他 > 详细

三步将一个普通的scrapy爬虫变为分布式爬虫

时间:2020-06-02 13:09:01      阅读:43      评论:0      收藏:0      [点我收藏+]

要将一个scrapy项目变为一个scrapy.redis项目只需要修改下面三点就可以了:

  1. 将爬虫类从scrapy.Spider 变成scrapy_redis.spiders.RedisSpider;或者从scripy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider。技术分享图片

     

     

  2. 将爬虫的start_urls删掉。增加一个redis_key="xxx"。这个redis_key是为了以后再redis中控制爬虫启动的。爬虫的第一个url,就是redis中通过这个发送出去的。技术分享图片
  3. 在配置文件中增加

技术分享图片

 

 

运行爬虫:

1、在爬虫服务器上,进如爬虫文件所在路径,然后输入命令:scrapy runspider [爬虫名字]

2、在redis服务器上,推入一个开始的url链接(就是redis_key那里):redis-cli lpush [redis_key] start_url

需要注意的是在1步骤中,scrapy runspider [爬虫名字],其中[爬虫名字]不是name所指的,而是爬虫的py文件,如下图

技术分享图片

 

三步将一个普通的scrapy爬虫变为分布式爬虫

原文:https://www.cnblogs.com/GouQ/p/13030298.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!