首页 > 编程语言 > 详细

python3.5读取kafka中的数据

时间:2017-05-01 01:09:10      阅读:1909      评论:0      收藏:0      [点我收藏+]

安装包 pykafka

代码如下:

from pykafka import KafkaClient


client = KafkaClient(hosts="test43:9092")
print(client.topics)
topic = client.topics[brokid]    #topic名称
consumer = topic.get_simple_consumer()
for record in consumer:
    if record is not None:
        valuestr = record.value.decode()   #从bytes转为string类型
        valuedict = eval(valuestr)
        message = valuedict["message"]
        fields = message.split("\u0001")
        for field in fields:
            kv = field.split("\u0002")
            if len(kv) == 2:
                print(kv[0],----,kv[1])
        print(-*100)

 

以上仅供开发测试使用,真正发布到线上需要多地方加固。。。

 

mark

python3.5读取kafka中的数据

原文:http://www.cnblogs.com/zhzhang/p/6790801.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!