首页 > 其他 > 详细

yong scala 实现top N 排名

时间:2015-11-21 18:14:11      阅读:324      评论:0      收藏:0      [点我收藏+]
object TopNApp {
  def  main (args: Array[String]) {
    if (args != 3) {
      System.err.println("usage: <flag> <inputpath> <outputpath>")
      System.exit(1)

      //应用类型
      val flag = args(0)
      //获得上下文内容
      val sc = new SparkContext
      //hdfsduqu 数据
      val datas = sc.textFile(args(1))
      val cache = datas.cache()

      //排序
      cache.filter(_.split(‘\t‘).length == 4).filter(_.split(‘\t‘)(0) == flag).map(_.split(‘\t‘)(1) -> 1)
        .reduceByKey(_ + _).map(x => (x._2, x._1)).sortByKey(false).map(y => (y._2, y._1)).saveAsTextFile(args(2))
      map((_, 1))
    }
  }
}

 

yong scala 实现top N 排名

原文:http://www.cnblogs.com/zhanggl/p/4984187.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!