首页 > Web开发 > 详细

scrapy使用大坑---meta参数传递出现之重复问题

时间:2017-12-10 18:01:05      阅读:892      评论:0      收藏:0      [点我收藏+]

问题描述:

    爬虫目标:

       实现哔哩哔哩网站的视频信息爬取,只要的信息结构爬去顺序为**关键词的搜索结果,拿到第一页上某个视频的标题,url,和时间,然后进入下级页面爬去该视频的对应的评论,回复,弹幕,点赞数等等数据,联合组成一个关于该视频的完整信息返回item进行后续处理和存储。

              问题点   :

       通过meta参数传值时出现在被调用的函数中meta参数多次重复,废话不多说代码贴图:技术分享图片

 

scrapy使用大坑---meta参数传递出现之重复问题

原文:http://www.cnblogs.com/crawer-1/p/8017533.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!