首页 > 其他 > 详细

22 友盟项目--sparkstreaming对接kafka、集成redis--从redis中查询月留存率

时间:2018-11-15 10:10:04      阅读:209      评论:0      收藏:0      [点我收藏+]
 实时存储到redis,更新用户使用时间的最大、最小值--》来求留存率  避免全表扫描问题
1.spark 对接kafka 消费者   解析json  
2.concat(appid,‘#‘,appversion,‘#‘,brand,‘#‘,appplatform,‘#‘,devicestyle,‘#‘,ostype,‘#‘,deviceid) ---> 作为key  各个维度
3.选出用户使用app的最小时间戳min , 最大时间戳max  -->作为value
4.存储到redis
 
依赖
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.17</version>
        </dependency>

        <dependency>
            <groupId>redis.clients</groupId>
            <artifactId>jedis</artifactId>
            <version>2.9.0</version>
        </dependency>

 

 
 
 
 
 
 
 
 

22 友盟项目--sparkstreaming对接kafka、集成redis--从redis中查询月留存率

原文:https://www.cnblogs.com/star521/p/9961540.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!