首页 > 其他 > 详细

sparkStreaming实现wordcount

时间:2017-03-10 11:23:23      阅读:220      评论:0      收藏:0      [点我收藏+]

import org.apache.spark.SparkConf

import org.apache.spark.streaming.Seconds

import org.apache.spark.streaming.StreamingContext


object  WordCount extends App {

  val conf=new SparkConf().setMaster("local[2]").setAppName("wordcount")

  val streamContext=new StreamingContext(conf,Seconds(5))

  val lines=streamContext.socketTextStream("myhadoop1", 9999)

                         //监控主机的一个端口  用命令nc -lk 9999

  lines.flatMap {_.split(" ")}.map {(_,1)}.reduceByKey(_+_).print()

  streamContext.start()

  streamContext.awaitTermination()

}



sparkStreaming实现wordcount

原文:http://11194009.blog.51cto.com/11184009/1904944

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!