scrapyd-实际的管理爬虫程序
scrapyd是c/s架构，运行scrapyd命令，启动服务器
对外提供接口，访问接口地址：127.0.0.1:5000(可以自行在配置文件中更改)
可以粗略的查看添加的爬虫程序，运行日志(如果配置了)，提供查看爬虫状态的接口
不过有直接封装好的模块scrapydWeb，可视化的查看和管理爬虫程序
scrapyd配置：
更改配置文件default_scrapyd.conf（所在目录C:\python\Lib\site-packages\scrapyd）
外网访问：bind_address = 0.0.0.0
部署爬虫到scrapyd
用scrapyd管理爬虫程序，只需要配置爬虫项目本身即可
scrapydweb-scrapyd的客户端
调用scrapyd接口并提供爬虫的gui管理界面
配置：
访问的地址和端口，是否要证，配置用户名/密码
原文：https://www.cnblogs.com/justaman/p/11926662.html