首页 > 数据库技术 > 详细

一淘搜索网页抓取系统的分析与实现(3)—scrapy+webkit & mysql+django

时间:2015-08-08 13:24:44      阅读:559      评论:0      收藏:0      [点我收藏+]

技术分享

scrapy+webkit:

如结构图③。
scrapy不能实现对javascript的处理,所以须要webkit解决问题。开源的解决方式能够选择scrapinghub的scrapyjs或者功能更强大的splash.

关于scrapy+webkit的使用后期进行分析。


scrapy+django:

如结构图④。


django实现的配置界面主要是对抓取系统的管理和配置,包含:网站feed、页面模块抽取、报表系统的反馈等等。


请直接參考:
[1]高速构建实时抓取集群

[2]淘宝摘星

文章链接:http://blog.csdn.net/u012150179/article/details/38227079

版权声明:本文博客原创文章,博客,未经同意,不得转载。

一淘搜索网页抓取系统的分析与实现(3)—scrapy+webkit & mysql+django

原文:http://www.cnblogs.com/mengfanrong/p/4712813.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!