首页 > 其他 > 详细

spark on yarn实例练习

时间:2017-12-30 18:48:19      阅读:289      评论:0      收藏:0      [点我收藏+]

1、spark on yarn作业提交(yarn-client模式)

bin/spark-submit \
--class dajiangtai.averageAge \
--master yarn-client \
--num-executors 1 \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
lib/wordcount-1.0-SNAPSHOT.jar \
hdfs://192.168.101.128:9000/test/age.txt \
hdfs://192.168.101.128:9000/test/result1

2、求平均年龄

技术分享图片技术分享图片

技术分享图片

3、求男女最大身高

技术分享图片技术分享图片

技术分享图片

4、寻找搜索频率最高的K个关键词(注意case用法)

技术分享图片技术分享图片

技术分享图片

spark on yarn实例练习

原文:https://www.cnblogs.com/VillageKnight-Ding/p/8150545.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!