首页 > 其他 > 详细

spark 分析作者发布文章的总阅读量

时间:2017-02-05 16:56:19      阅读:320      评论:0      收藏:0      [点我收藏+]

 

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.catalyst.expressions.Second
import javafx.scene.shape.Line
import org.apache.spark.SparkConf
import org.dmg.pmml.True
import org.apache.spark.SparkConf
import scala.util.matching.Regex
import java.io.FileNotFoundException
import breeze.io.TextReader.FileReader
import org.apache.spark.SparkConf
import org.apache.commons.math3.geometry.euclidean.twod.Line
import scala.tools.nsc.doc.model.Val

object spark_test {
  def main(args: Array[String]) {

    var conf = new SparkConf().setAppName("name").setMaster("local");
    val sc = new SparkContext(conf);
    var line = sc.textFile("/Users/lihu/Desktop/crawle/tap.txt", 1);
    val reduceData = line.map(line => (line.split(" ")(1), Integer.parseInt(
                                String.valueOf(line.split(" ")(2))))).reduceByKey(_+_).collect.foreach(println _);

    sc.stop()
  }
}

 

spark 分析作者发布文章的总阅读量

原文:http://www.cnblogs.com/sunyaxue/p/6367792.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!