Scrapy学习-17-暂停和重启

时间：2018-05-23 16:48:40 阅读：198 评论：0 收藏：0 [点我收藏+]

Scrapy爬虫暂停和重启

在当前项目下新建一个用于存储中间过程变量的目录

　　注意不同的spider不能共用一个目录

　　同一个spider每次运行时也必须使用新的目录

　　mkdir <spider_porject_path>/job_process

带参数的命令启动方式

1 scrapy crawl <spider_name> -s JOBDIR=job_process/001

为什么不能在pycharm中使用能

　　因为爬虫暂停接收的是Ctrl+C信号，而pychar暂停时没有使用Ctrl+C信号

一次Ctrl+C

暂停只能按一次，多次也会直接关闭，并且按下Ctrl+C后spider还是会继续运行，它需要完处理未完成的任务等善后工作

重新启动

scrapy crawl <spider_name> -s JOBDIR=job_process/001

# 可以观察到两次请求的第一个页面都不一样

原文：https://www.cnblogs.com/cq146637/p/9077495.html

踩

(0)

评论一句话评论（0）

分享档案

更多>