首页 > 其他 > 详细

SSH框架调用scrapy爬虫

时间:2018-06-24 16:33:32      阅读:366      评论:0      收藏:0      [点我收藏+]

毕设刚答辩完毕,不用担心查重了,所以补一篇毕设的内容。

毕设是图片搜索网站,使用python爬虫获取图片资源,再由javaweb管理使用图片的信息和图片,大部分实现起来十分简单,也不好意思炫耀。但是有些地方还是有自己的想法,所以记下来供以后参考。

创新之处就在于整合了SSH和scrapy两个相互独立的框架,整合好的框架图如下:

技术分享图片

 

 方法是把写好的scrapy爬虫部署到scrapyd应用程序上,关于scrapyd应用程序的安装网上有很多资料,然后是启动和关闭爬虫,是通过控制台运行curl命令实现的,关于curl网上也有很多资料。

对于两个框架之间的传值是通过数据库实现的。

这样做的优点是两个独立的模块可以同运行,增快整体的速度,其次后期维护起来十分方便,这就是解耦带来的好处。

 

SSH框架调用scrapy爬虫

原文:https://www.cnblogs.com/zhxuxu/p/9217679.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!