首页 > 其他 > 详细

分布式爬虫处理redis数据

时间:2021-05-03 10:51:18      阅读:19      评论:0      收藏:0      [点我收藏+]

分布式爬虫默认八数据存储在redis中,可以将数据转存到Monogdb或Mysql中,从而降低内存消耗。

 

from redis import Redis
from pymongo import MongoClient
import json

def redis_to_mongodb():
redis_cli=Redis("localhost",6379)
mongo_cli=MongoClient("localhost",27017)
col=mongo_cli[‘databa‘][‘items‘]
while True:
#blpop先进先出,
source,item=redis_cli.blpop(‘key:items‘)
data=json.loads(item)
col.insert(data)

分布式爬虫处理redis数据

原文:https://www.cnblogs.com/ajiling/p/14726831.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!