首页 > 其他 > 详细

通过spark-submit,本地测试SparkStreaming

时间:2018-04-06 19:01:16      阅读:256      评论:0      收藏:0      [点我收藏+]

    Spark的代码是在GitHub上托管的,如果想看源码,可以访问:GitHub。至于SparkStreaming等功能,有个测试案例的包,

sparkStreaming的案例地址:https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming

我们以NetworkWordCount.scala  为例进行测试。注意:我们假设你已经安装并配置好了spark环境,并在服务器上安装了瑞士军刀,即nc。

1、在当前窗口(A窗口)开启一个nc,端口号使用9999

nc -lk 9999

2、重新打开一个窗口(B窗口),通过spark-submit 提交spark作业

spark-submit --master local[*] --class org.apache.spark.examples.streaming.NetworkWordCount --name wordCount /opt/spark/examples/jars/spark-examples_2.11-2.0.1.jar localhost 9999

注:

1)、--master local[*] 是指通过本地方式提交作业,*是尽可能多的使用cpu核数,可以改为数字

2)、--class 为启动类,--name 为作业名字,再后面是jar文件,

3)、localhost 9999 为参数,具体可以参考NetworkWordCount.scala中的代码,是指nc的端口和ip地址

3、在窗口A输入一行文本后,可以看到窗口B会统计单词频率

A窗口输入:

技术分享图片

B窗口可以看到

技术分享图片

 

  

通过spark-submit,本地测试SparkStreaming

原文:https://www.cnblogs.com/chenyongxiang/p/8728463.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!